이 글 도입부를 AI한테 맡겼어요. “Fable 5한테 업무를 맡겼는데 그럴듯하게 틀렸어요”라는 경험이 나왔어요. 문장이 자연스럽고 맥락도 맞아 보였어요. 한 번 더 읽고 나서야 알았어요. 그 경험 자체가 사실이 아니었어요. 제가 실제로 사용한 적도 없는 모델이었거든요. AI가 지어낸 거였어요.
미리 정해둔 규칙에 “사실 확인 없이 내용을 지어내지 말 것”이 있었어요. 규칙을 줬는데도 사실이 아닌 내용이 나왔어요. 전에도 비슷한 일이 있었어요.
최고 모델도 3%만 완벽하게 해내요
Artificial Analysis가 AA-Briefcase 라는 새 벤치마크를 만들었어요. 기존 벤치마크는 깔끔한 문제 하나를 푸는 방식이 많았는데, 이건 달랐어요. 슬랙 스레드, 이메일, 회의록, 대용량 데이터 파일처럼 실제 업무에서 쓰는 자료들로 수 주짜리 프로젝트를 AI에게 시켰어요.
결과가 충격적이었어요. 가장 좋은 모델인 Claude Fable 5조차 91개 태스크 중 모든 기준을 통과한 건 단 3%였어요. 생각보다 낮은 숫자였어요. 우리가 AI에게 맡기기 시작한 실제 업무 대부분을 아직은 완벽하게 처리하지 못한다는 뜻이었거든요.
약한 모델과 강한 모델의 실패 방식이 달랐어요. 약한 모델은 눈에 보이게 틀렸어요. 파일을 못 읽었다고 하거나 쓸 수 없는 결과물을 내놓으면 바로 알 수 있어요. 강한 모델은 달랐어요. 명확한 요건은 다 충족하는데, 회의록 5개 중 하나를 빼먹고 요약하는 것처럼 여러 소스를 종합해야만 알 수 있는 세부 사항을 조용히 놓쳤어요. 도입부에서 제가 놓쳤던 이유도 비슷했어요. 사실 여부보다 문장이 자연스러운지부터 보고 있었거든요.
자연스러운 오류가 더 위험해요
요즘은 회의록도 AI가 정리하고, 보고서 초안도 AI가 만들고, 이메일도 AI가 써줘요. 회의록에서 결정 사항 하나가 빠졌는데도, 보고서에서 숫자 하나가 틀렸는데도 자연스럽게 읽힐 수 있어요. 누군가는 그 안의 숨은 오류를 그대로 믿고 다음 결정을 내릴 수도 있어요.
예전에는 AI가 틀리면 금방 알 수 있었어요. 지금은 오히려 잘 만든 결과물일수록 더 오래 속을 수 있어요. 회의록 하나를 다시 읽고, 숫자 하나를 다시 확인하는 일이 줄어들수록 오히려 위험해질 수도 있어요.
결과물이 자연스러울수록 오히려 덜 검증하게 되나요?