블로그를 운영하면서 AI한테 작업 기준이나 규칙을 정해준 적이 많아요. AI는 작업이 끝났다고 했지만 실제로는 규칙을 안 지킨 경우도 있었어요. 확인하지 않으면 그렇게 넘어갈 때가 있었거든요.
1등도 세 번 중 한 번은 실패했어요
프린스턴대학교 연구팀이 AI 경영 능력을 보려고, AI한테 가상 회사를 500일 동안 운영하게 시켰어요. 시작 자본은 100만 달러였고, 잔고가 0 이하로 떨어지면 그 자리에서 게임이 끝났어요. 테스트한 AI 14개 중 시작 자본보다 돈을 더 불린 건 3개뿐이었어요. Claude Fable 5가 4,715만 달러로 가장 잘했고, Claude Opus 4.8과 GPT-5.5가 그 뒤를 이었어요. Fable 5는 현재 접근이 제한된 상태예요.
근데 1등이라고 매번 완벽했던 건 아니에요. Fable 5도 세 번 중 한 번은 스스로 진행을 거부하면서 중단됐어요. GPT-5.5는 세 번 중 두 번은 파산했어요. 더 놀라운 건, AI를 전혀 안 쓰고 단순한 규칙만 따른 방식이 1,576만 달러를 기록했다는 거예요. 이 셋을 빼면 나머지 모든 AI보다 더 잘한 거예요.
잘한 AI도 계속 확인해야 했어요
연구팀이 성공과 관련 있다고 본 건 네 가지였어요. 숨겨진 정보를 찾아내는 것, 미래를 예측하는 것, 변화에 빠르게 대응하는 것, 미리 여러 시나리오를 짜두는 것이었어요. 잘 못한 모델들은 대부분 비용을 줄이는 데만 집중했어요. 파산은 면했지만 회사를 키우지는 못했어요.
제가 겪었던 일도 비슷했어요. AI가 스스로 하는 평가와 실제 결과는 다를 수 있었거든요. 직접 확인하지 않으면, AI가 정말 목표대로 일하고 있는지, 겉으로만 그럴듯하게 움직이고 있는지 알기 어려워요. 성능이 좋은 AI라도 이번 작업이 제대로 끝났는지는 따로 확인해야 했어요.
AI가 “잘 끝났어요”라고 말하면, 그 말을 어디까지 직접 확인해보시나요?