AI 자동화 파이프라인을 돌리다 보면 API 비용 청구서를 볼 때마다 뜨끔한 순간이 있어요.
리뷰 스크립트를 여러 라운드 돌리다 보니 비용이 자꾸 쌓여서, 프롬프트 구조를 바꿔가며 캐싱을 직접 써본 적이 있어요.
자동화를 직접 만들 때는 캐싱과 MCP 같은 용어가 먼저 걸렸고, AI 모델 출시 뉴스를 읽을 때는 AGI·증류·MoE·RLHF 같은 용어가 반복해서 나왔어요. 그렇게 두 갈래로 마주친 AI 용어 6개를 정리해봤어요.
캐싱은 같은 계산을 반복하지 않게 해줘요
자동화 스크립트를 만들면서 프롬프트를 안 변하는 부분(지침)과 매번 바뀌는 부분(그날의 기사 내용)으로 나눠본 적이 있어요.
이렇게 반복되는 앞부분을 미리 처리해뒀다가 재사용하는 걸 프롬프트 캐싱 이라고 하는데, 지원하는 API에서는 같은 계산을 다시 안 해도 되니까 입력 비용과 처리 시간을 함께 줄일 수 있어요.
MCP는 AI를 외부 도구에 연결해요
Claude나 ChatGPT가 파일, 데이터베이스, Slack 같은 외부 도구에 연결할 수 있게 해주는 개방형 표준이에요.
Anthropic이 2024년 말 처음 공개했고, 이후 OpenAI·Google·Microsoft 등도 잇따라 지원을 발표하면서 빠르게 자리 잡았어요.
2025년 말에는 Anthropic이 이 표준을 Linux Foundation 산하 재단에 넘기면서, 한 회사가 아니라 여러 기업이 함께 관리하는 구조로 바뀌었어요.
AGI는 전문가마다 정의가 달라요
사람 수준, 혹은 그 이상으로 다양한 작업을 해내는 AI를 뜻하는데, 정작 정의가 하나로 통일돼 있지 않아요.
- OpenAI CEO 샘 올트먼은 개인적으로 중간 수준의 동료 한 명을 고용하는 것과 맞먹는 수준이라고 봤어요
- 반면 OpenAI 헌장은 대부분의 경제적으로 가치 있는 일에서 인간을 능가하는 자율 시스템으로 정의해요
- Google DeepMind는 연구 논문에서 대부분의 인지 작업에서 인간만큼 능력 있는 AI라는 기준을 제시해요
이렇게 같은 AGI라는 단어를 써도, 어디까지를 인간 수준으로 볼지 기준이 제각각이에요.
증류는 큰 모델의 지식을 작은 모델에 옮겨요
교사-학생 구조로, 큰 모델(교사)의 답변을 작은 모델(학생)이 따라 배우게 하는 방식이에요. GPT-4o mini도 GPT-4o의 지식을 증류해서 더 작고 빠르게 만든 모델로 알려져 있어요.
다만 경쟁사 모델의 응답을 대량으로 가져다 증류에 쓰는 건 여러 AI API 이용약관에서 금지하는 경우가 많아요.
2025년 초에는 마이크로소프트와 OpenAI가 딥시크(DeepSeek) 관련 계정이 OpenAI API로 데이터를 대량으로 가져간 정황을 조사했다는 보도도 있었는데, 실제로 증류에 썼는지까지 공식적으로 확인되지는 않았어요.
MoE는 필요한 전문가만 골라 써요
모델 전체를 하나의 큰 신경망으로 만드는 대신, 여러 개의 작은 전문가 신경망으로 쪼개두고 입력을 처리할 때마다 그중 몇 개만 골라 작동시키는 구조예요. 필요한 담당자만 부르는 셈이에요.
이렇게 하면 계산량은 줄어들지만, 전문가 전체를 유지하는 비용도 있어서 실제 속도와 비용은 운영 방식에 따라 달라져요. Mistral의 Mixtral이 잘 알려진 예시예요.
RLHF는 사람 피드백으로 모델을 다듬어요
강화학습은 어떤 행동이나 결과에 보상을 주고, 그 보상을 더 크게 만드는 방향으로 AI를 훈련하는 방법이에요.
그중 RLHF(사람 피드백 기반 강화학습)는 사람이 직접 어떤 답이 더 낫다고 평가한 걸 보상 신호로 써서, 모델이 사람이 선호하는 방향의 답을 내놓도록 유도하는 방식이에요. 다만 요즘은 RLHF 외에도 비슷한 목적의 다양한 후속 학습 방법이 함께 쓰이고 있어요.
용어 하나하나를 다 외울 필요는 없어요. 다만 뉴스에서 이런 단어가 나올 때 “아, 이게 그거구나” 하고 넘어갈 수 있는 정도면 충분해요.
지난번 글(AI 뉴스 읽다가 막히는 용어 6가지에서는 LLM·할루시네이션 같은 기초 용어를 다뤘는데, 이번엔 조금 더 실무에 가까운 용어들이었어요.
오늘 정리한 6개 중에서 가장 낯설었던 용어는 어떤 거였어요?