Claude를 쓸 때 노력(effort, 생각하는 정도)를 낮음·중간·높음처럼 고를 수 있다는 거, 다들 한 번쯤 보셨을 거예요. 저는 평소 일반 대화는 중간으로, 코드 작업은 높음으로 쓰고 있어요.
Artificial Analysis가 최근 낸 벤치마크 결과를 보면, Anthropic의 신형 모델 Claude Opus 5가 여러 지표에서 몇 달 전 출시됐던 Fable 5를 앞섰다고 해요.
그런데 종합 순위와 별개로, 실제로 어떤 설정을 고를지는 다른 문제였어요. 업무 처리 능력과 비용을 같이 보면, 최고 설정보다 “높음” 쪽이 더 눈에 들어오는 결과가 있었거든요.
종합 지표에서는 근소하게 앞섰어요
Artificial Analysis에 따르면 Opus 5는 지식·코딩·과학추론 등 9개 테스트를 합친 종합 지표인 Intelligence Index에서 Fable 5, GPT-5.6 Sol을 근소하게 앞섰다고 해요. 참고로 Artificial Analysis는 공개 출시 전 Anthropic과 협력해 이 테스트를 진행했다고 밝혔어요.
- Intelligence Index에서는 Opus 5가 61점, Fable 5가 60점, GPT-5.6 Sol이 59점이었어요.
- Epoch AI 지수에서는 Fable 5가 161점, Opus 5가 159점이었어요.
여기서 격차가 크지 않다는 점도 같이 짚고 넘어가야 할 것 같아요. 이 두 지수만 놓고 보면, 한쪽 모델이 일방적으로 앞서 나간다고 보기는 어려워요.
정확도 쪽은 아쉬운 부분도 있어요. 지식·환각을 측정하는 AA-Omniscience 벤치마크에서, Opus 5는 확신이 없어도 답을 내놓는 경향이 있어서 할루시네이션 비율이 이전 모델(Opus 4.8)보다 14포인트 오른 50%까지 올라갔다고 해요.
비용까지 보면 “높음”도 선택지였어요
Opus 5 effort 설정 은 낮음·중간·높음·엑스트라·최고 이렇게 5단계로 나뉘어요. Artificial Analysis가 업무 처리 능력을 보는 AA-Briefcase 테스트에서 매긴 점수(Elo 방식)와 과제당 비용을 보면 이래요.
두 설정 모두 Fable 5보다 점수는 높고 비용은 낮았어요. 차이는 “높음”과 “최고” 사이에 있어요. “최고”는 114점을 더 얻는 대신 과제당 7.38달러를 더 썼거든요. 그 추가 점수가 꼭 필요하지 않은 작업이라면, “높음”도 살펴볼 만한 선택지였던거죠. Anthropic 공식 문서에서도 API의 기본 이펙트를 “높음”으로 안내하고 있어요.
저도 예전에 Opus 5의 “엑스트라”와 “최고” 두 설정으로 같은 버그를 각각 고쳐보게 한 적이 있어요. 오늘 얘기와 똑같은 비교는 아니었지만(그때는 제일 높은 두 단계끼리 비교였어요), 설정에 따라 점검하는 범위가 달라진다는 점은 비슷했어요.
둘 다 버그는 제대로 고쳤는데, 엑스트라 답변에는 자모나 공백문자 같은, 물어보지 않은 엣지케이스까지 추가로 확인하는 과정이 있었고, 최고 답변은 실제 프로젝트에 영향을 줄 수 있는 다른 문제를 짚어줬어요. 설정이 다르면 답변에서 먼저 점검하는 범위도 달라질 수 있다는 걸 그때도 느꼈었거든요.
Claude를 쓰실 때 노력(effort)를 평소 어느 정도로 두고 쓰시나요?