AI 모델 순위 가 얼마나 자주 바뀌는지 보여주는 분석을 봤어요. GPT-4는 1위 자리를 거의 1년 지켰는데, 요즘 나오는 모델들은 7주도 못 버틴다는 거예요.
GPT-4의 1년은 역대 최장 기록이었다
Epoch AI 연구원 Jaeho Lee가 언어 모델 성능을 종합 측정하는 자체 지표(ECI)로 역대 1위 모델들의 재임 기간을 분석했어요. GPT-4는 2023년 3월 출시 이후 352일 동안 1위를 지켰어요. 역대 최장 기록이에요. 그다음으로 길게 버틴 OpenAI o1도 98일 정도였어요. GPT-4가 o1보다 3.6배 더 오래 버틴 셈이에요.
2024년 이후로는 순위가 거의 매달 바뀐다
2024년 2월 Claude 3 Opus가 GPT-4를 끌어내린 뒤로, 지금까지 1위가 17번 바뀌었어요. 모델 하나가 1위 자리를 지키는 기간의 중앙값은 약 7주예요. 2024년 가을 추론 모델들이 나오면서 순위가 바뀌는 속도는 더 빨라졌는데, 정작 모델 간 성능 격차는 오히려 작아졌다고 해요. 자리를 뺏기는 속도는 빨라졌는데, 뺏을 때 벌어지는 실력 차이는 줄어든 거예요. 쫓아오는 모델들이 서로 비슷한 수준까지 따라붙고 있다는 뜻이기도 해요.
이 분석이 공개된 시점에는 GPT-5.5 Pro가 ECI 1위였어요. 이 타이틀도 다음 분석 때는 다른 이름으로 바뀌어 있을 가능성이 높아요.
AI 서비스들이 “업계 1위”라고 광고하는 걸 종종 보는데, 이 분석을 보고 나니 그 타이틀이 실제로 얼마나 오래 갈지는 완전히 별개 문제라는 생각이 들었어요. 이제 AI 업계에서 “현재 1위”는 오래 유지되는 지위보다, 잠깐 붙는 타이틀에 더 가까워진 것 같아요.