AI 에이전트를 여러 개 동시에 돌리면 뭐든 더 빠르고 정확해질 줄 알았어요.
그런데 OpenAI Codex 개발자의 서브에이전트 경고를 보고, 진짜인지 직접 제 자동화 스크립트로 서브에이전트 병렬 실행을 세 가지 방식으로 나눠 돌려봤어요.
그는 서브에이전트를 2개 넘게 병렬로 돌리면 품질은 그대로인데 토큰만 낭비될 수 있다고 경고했어요.
두 가지 병렬 방식 모두 순차보다 오래 걸리고 비용도 더 들었어요
같은 파이썬 스크립트 4개를 두고 세 가지 방식으로 리뷰를 시켰어요. 방식별로 걸린 시간과 비용은 이랬어요.
- 순차(서브에이전트 없이 한 번에 순서대로 읽음): 3분 19초, 0.94달러
- 파일별 병렬(파일 하나씩 서브에이전트 4개에 나눠 맡김): 20분 30초, 3.40달러(3.6배)
- 관점별 병렬(경로 처리·API 호출·CLI·렌더링 네 가지 관점을 서브에이전트 4개에 나눠 돌린 뒤 결과를 다시 검증): 14분 55초, 4.08달러(4.3배)
세 방식 다 이번에 딱 한 번씩만 돌려본 결과라, 매번 이 차이가 그대로 재현된다고 단정하긴 어려워요.
파일 내용 자체는 서로 안 겹치니 병렬로 나누기엔 유리한 조건이었는데도 순차보다 오래 걸리고 비쌌다는 게 예상 밖이었어요.
다만 관점별 병렬에는 결과를 다시 검증하는 단계가 따로 들어가 있어서, 이 비용엔 병렬 호출 자체가 아니라 그 검증 단계 비용까지 섞여 있어요.
그 외의 이유까지는 이번 한 번의 실행만으로는 정확히 가려내지 못했어요.
예전에 Opus 5의 effort 설정을 비교했을 때도 가장 높은 설정이 항상 정답은 아니었는데, 이번에도 비슷한 패턴이 보였어요.
제일 싼 방식은 버그 후보를 놓쳤고, 병렬 두 방식의 확신 수준도 달랐어요
비용만 보면 순차가 이겼는데, 결과를 나란히 놓고 보니 순차는 한 파일에서 나온 버그 후보(이미지 캡션의 별표가 그대로 노출될 수 있다는 지점)를 놓쳤어요.
파일별 병렬은 이 후보를 문제 가능성이 높다고 표시했고, 관점별 병렬도 같은 후보를 찾았지만 이번엔 확인 안 된 추정이라고 낮춰 표시했어요.
원래 경고는 병렬을 늘려도 품질 이득이 없다는 쪽이었는데, 순차가 놓친 이 후보를 병렬 두 방식 다 짚어낸 거예요.
다만 이 후보가 실제 버그인지는 아직 확인 전이라, 병렬이 품질까지 이겼다고 말하긴 일러요.
같은 작업을 다른 방식으로 시켜서 결과가 갈리는 경험은 클로드 코워크와 채팅을 비교했을 때도 있었어요.
서브에이전트 병렬 실행이 항상 빠른 길은 아니라는 걸 직접 눈으로 봤어요. 여러분은 AI 에이전트를 여러 개 동시에 써보신 적 있으신가요?
