글 하나를 발행하기 전에 AI한테 여러 번 검토를 시키는 자동화를 한 달째 돌리고 있어요.
초안을 넣으면 지적을 받고, 고치고, 또 받고, 글 한 편에 대여섯 번씩 반복해요.
한 달 동안 글 15편에 이 과정을 95번 돌렸고, 매번 얼마가 나갔는지 로그가 쌓였어요.
“왜 생각보다 많이 나오지” 싶었는데, 로그를 열어서 토큰을 종류별로 세어보고 나서야 이유를 알았어요.
매 라운드 처리량의 대부분은 늘 딸려 들어가는 배경이었어요
한 번 검토를 돌릴 때 이번 지시(“이 초안을 이렇게 봐줘”)는 짧아요.
문제는 그 지시에 매번 똑같이 붙어 들어가는 것들이에요. 작업 규칙, 이전 판단 기록, 참고 자료 같은 배경이요.
로그를 보면 한 라운드에 AI가 처리한 토큰 중 98%가 넘는 양이 이 배경을 다시 읽거나 저장하는 데 쓰였어요.
그중 라운드당 중앙값 135만 토큰은 앞에서 이미 보낸 걸 그대로 다시 읽은 분량이었고요.
이게 프롬프트 캐싱이 하는 일이에요.
매번 처음부터 다 보내지 않고, 한 번 처리한 내용은 일정 시간 안에서는 캐시로 다시 불러올 수 있어서 새로 보내는 것보다 싼값이 붙어요.
그래서 다시 읽는 1토큰은 새로 보내는 1토큰보다 한참 저렴해요.
그래도 이걸 95라운드 합치면 1억 6천만 토큰이 넘어요. 싼값이라도 이만큼 쌓이면 무시하기 어려워요.
라운드 비용을 뜯어보면 이렇게 나뉘어요
로그에 찍힌 라운드별 실제 비용을 토큰 종류대로 나눠봤어요. 한 라운드에 평균 1.5달러쯤 나갔는데, 항목별로 보면 이랬어요.
여기서 처리량 비율과 비용 비율은 달라요.
캐시 읽기는 토큰 수는 많아도 단가가 낮고, 캐시를 새로 만드는 쪽은 양보다 비용 비중이 더 커졌어요.
- 배경 캐시를 새로 만드는 비용: 약 46%
- 이미 만들어진 배경 캐시를 다시 읽는 비용: 약 31%
- AI가 실제로 써낸 답변의 출력 비용: 약 21%
- 새로 넣는 짧은 지시의 입력 비용: 약 2%
실제 답변이 제일 작은 덩어리예요. AI가 지적을 정리하고 고친 문장을 뽑아내는 그 결과물이 비용의 5분의 1이고, 나머지는 작업할 준비를 하는 데 쓰였어요.
제일 큰 46%는 배경 캐시를 매 라운드 새로 만드는 비용이었어요. 제 자동화가 라운드마다 완전히 새로 시작하는 구조라서 그래요.
대화를 이어가지 않고 매번 깨끗한 상태로 시작하니까, 그때마다 그 긴 내용을 처음부터 다시 올려야 하거든요.
가장 싸게 끝난 라운드도 이 캐시 생성 몫이 전체 비용의 4분의 3이 넘었어요.
Fable 5.1이 내린 건 이 중 한 조각이에요
얼마 전 앤트로픽이 Fable 5.1을 내놓으면서 캐시 읽기 값을 100만 토큰당 1달러에서 0.25달러로, 75% 내렸어요.
일반 작업은 25%, 여러 단계짜리 작업은 최대 45%까지 비용이 준다고 설명했고요.
그런데 제 프롬프트 캐싱 비용에서 캐시 읽기는 31%짜리 조각이에요.
발표에서 말한 75% 인하를 이 비용 구성에 그대로 대입해도, 전체 비용에서 줄어드는 몫은 23%쯤이에요.
제가 쓴 모델과 요금 조건은 Fable 5.1과 다르니 실제 비율이 똑같다고 말할 수는 없어요. 다만 캐시 읽기만 싸져도 전체 비용이 발표 숫자만큼 줄어들지는 않는다는 방향은 보여줘요.
게다가 독립 벤치마킹 기관 Artificial Analysis 측정으로는, Fable 5.1이 같은 벤치마크에서 이전 모델보다 출력 토큰을 1.7배쯤 더 썼어요.
이 벤치마크만으로 모든 실제 작업이 그렇다고 말할 순 없지만, 캐시 읽기 가격을 내려도 출력량이 늘면 절감분 일부가 다른 비용으로 다시 이어질 수는 있어요.
제 경우엔 제일 큰 덩어리가 캐시 읽기도 출력도 아닌, 매번 배경 캐시를 새로 만드는 비용이었어요.
이건 이번 캐시 읽기 요금 인하로는 줄어들지 않는 비용이에요. 대화를 이어 쓰면 줄어들 가능성이 커 보이지만, 직접 비교해보기 전까진 얼마나 줄어드는지는 확실히 말하기 어려워요.
내 프롬프트 캐싱 비용, 어디서 나오는지 보려면 사용량 로그의 입력·캐시 읽기·캐시 생성·출력 항목을 따로 확인해보세요. 반복 작업이라면 새 질문과 함께 어떤 배경이 매번 다시 따라 들어가는지부터 나눠서 볼 수 있어요.
지금 AI한테 반복해서 시키는 작업이 있다면, 그 비용은 새로 던지는 질문에서 나올까요, 아니면 매번 딸려 들어가는 배경에서 나올까요?
