AI 에이전트가 실제 유료 프리랜서 작업을 전문가 수준으로 해내는 비율이 8개월 만에 2.5%에서 16.1%로 뛰었다는 연구를 봤어요. 근데 이 숫자보다 더 눈에 띄는 대목이 따로 있었어요.
채점은 원래부터 사람이 해왔다
이 수치는 Remote Labor Index(RLI)라는 벤치마크에서 나왔어요. 3D·CAD, 영상 편집, 데이터 분석 같은 프리랜서 프로젝트 240개(총 가치 14만 4천 달러)를 대상으로, 결과물이 전문가 수준인지 사람 평가자가 직접 판정해요. 처음 시작했을 땐 최고 자동화율이 2.5%였는데, 지금은 16.1%까지 올랐어요. Fable 5가 이 수치를 기록했어요. 다만 미국 정부의 접근 제한 조치로 240개 중 218개만 평가됐어요.
이 벤치마크에서는 AI가 서로 결과물을 검토하며 작업해요. 하지만 최종 채점까지 AI에 맡기는 건 또 다른 문제였어요.
사람 대신 AI로 채점해봤더니
연구팀은 채점 비용을 줄일 수 있을지 궁금해서, AI 채점 도구를 따로 만들어봤어요. 예전 모델들의 결과물로 이 도구를 먼저 보정해서, 사람 평가자의 판정과 비슷하게 맞춰놨어요. 그다음 이 도구를 한 번도 안 써본 최신 모델 두 개(GPT-5.5, Opus 4.8)에 적용해봤어요.
결과는 크게 어긋났어요. GPT-5.5는 실제보다 3배, Opus 4.8은 2.5배 더 높은 점수를 받았어요. 순위는 맞았지만, 점수 자체는 믿을 수 없는 수준이었어요.
이 블로그도 비슷한 구조예요. Claude가 쓴 초안을 ChatGPT가 검토하지만, 저는 그 피드백도 그대로 안 믿고 한 번 더 확인해요. 이 연구를 보니, 채점하는 쪽도 따로 검증이 필요하다는 생각이 들었어요.
16.1%라는 숫자보다, AI가 AI를 제대로 채점하지 못했다는 사실이 더 오래 남았어요.