시험 시간이 1시간인 시험과 4시간인 시험은, 같은 점수를 받아도 의미가 달라요. AISI(영국 AI 안전연구소) 연구를 보다가, AI 벤치마크 점수도 마찬가지라는 걸 알았어요.
시간을 더 주면 점수가 확 올랐다
AISI는 같은 AI 모델한테 컴퓨팅 예산(작업에 쓸 수 있는 토큰 양)을 다르게 주고 테스트해봤어요. 소프트웨어 개발 과제에서 예산을 100만에서 1000만으로 늘려봤어요. 성공률은 약 25% 올라갔어요. 작업을 이어가는 시간(time horizon)도 40분 수준에서 4시간까지 늘어났어요. AI가 더 오랫동안 하나의 작업을 이어갈 수 있었어요.
지금 우리가 보는 벤치마크 점수 대부분은 정해진 예산 안에서 잰 결과예요. 시험 시간이 정해져 있으면 그 안에서 푼 문제 수만 점수가 되는 것처럼요. AI한테 짧게 물어볼 때랑, 시간을 넉넉히 주고 통째로 맡길 때 결과물이 다르게 나올 수 있다는 뜻이에요.
근데 다다익선은 아니었다
예산을 늘리면 성능이 오르는 경우가 많았어요. 근데 그게 모든 과제에서 통하는 법칙은 아니었어요. 전체 과제의 10~30%에서는 오히려 최신 모델이 이전 세대보다 낮은 점수를 받았어요. ‘더 라스트 원스’라는 사이버보안 과제는 사람 전문가가 풀려면 20시간 걸리는데, 어떤 모델한테 3000만 토큰 넘게 줘도 풀지 못했어요.
AISI는 이걸 두고, 능력을 고정된 점수로만 보면 AI가 더 많은 자원을 쓸 때 뭘 할 수 있는지 계속 놀라게 될 거라고 말했어요. 지금은 여러 예산 수준에서 나눠 테스트하는 방식을 실험 중인데, 아직 검증이 끝난 방법론은 아니에요.
벤치마크 점수 하나만 보고 이 정도구나 하고 넘어갔던 적이 많았어요. 그 점수엔 시험 시간이 적혀 있지 않았던 거예요.