새 AI 도구가 나오면 벤치마크 표를 먼저 봐요. 근데 그 시험을 어떻게 측정하는지 잘 모르겠고, 제가 AI 쓰는 상황과 같을 거라는 확신도 없어요. 그래서 결국 의지하게 되는 건 표가 아니라 써본 사람들 얘기예요. Fugu 라는 도구를 보면서 그 생각이 다시 한번 맞았다는 걸 알았어요.
Fable만큼 한다고 했어요
도쿄의 Sakana AI가 Fugu라는 도구를 내놓았어요. 여러 AI 모델을 안에서 조율하면서, 쓰는 사람한테는 하나의 모델처럼 보이게 만드는 방식이에요. 고성능 버전인 Fugu Ultra는 벤치마크에서 좋은 점수를 받았어요. 코딩 능력을 보는 LiveCodeBench에서 93.2점이었어요. Sakana는 이 정도면 Anthropic의 Fable 5와도 비슷한 수준이라고 했어요.
93.2점이라는 숫자는 그 자체로는 아무 맥락이 없어요. 어떤 시험이었는지, 그 시험이 제가 AI한테 시키는 일과 얼마나 비슷한지는 점수만 보고는 모르거든요. 그래서 궁금했어요. 직접 비교도 안 했는데 왜 사람들은 Fable 얘기를 같이 하고 있었을까 싶었거든요.
써본 사람들 얘기는 달랐어요
후기를 찾아보니 한 AI 연구자는 간단한 작업에 30분이 걸렸고, 결과도 Fable보다 못했다고 했어요. 사람마다 전혀 다른 경험을 하고 있었어요. 어떤 사람은 코드 리뷰는 잘한다고 했는데, 같은 도구가 프론트엔드 작업에서는 약하다는 평가도 받았어요. 실제로 베타 테스트에서는 코드 리뷰로 버그를 20개 넘게 찾아냈는데, 비슷한 다른 도구는 3개 정도만 찾았다고 해요.
여기서 제가 처음에 가졌던 의심이 더 분명해졌어요. 어떤 작업에서는 잘하고, 어떤 작업에서는 못하고, 그 차이가 벤치마크 점수 하나에는 다 안 들어가 있었어요. 점수는 시험 하나를 기준으로 매겨지는데, 저는 그 시험을 본 적도 없고 앞으로도 안 볼 거예요. 제가 정말 궁금한 건 93.2점이 아니라, 그 점수를 내기 위해 실제로 어떤 일이 벌어졌는지였어요.
벤치마크 1등 모델이 내 작업에서는 별로였던 적이 있었나요?