Fable 5 로 모델을 바꾸고 질문을 하나 입력했어요. “mRNA 백신이 어떻게 작동해요?” 다른 모델로 물어보면 아무 문제 없이 답해주는 질문이에요. 근데 Fable 5에서는 달랐어요. 대화가 멈췄어요. “채팅 일시정지됨”이라는 메시지가 뜨면서 Fable 5는 아무 말도 하지 않았어요.
계속하려면 Opus 4.8로 전환하거나 대화를 끝내야 했어요. Fable 5 자체에서는 그 질문에 답을 받을 수 없었어요.
백신 질문도 안전 조치 대상이었어요
Fable 5는 사이버보안, 생물학, 화학, 모델 증류 관련 메시지를 감지하는 안전 조치가 있어요. 감지되면 대화가 일시 중지되고, Claude 설정의 ‘메시지가 플래그 처리될 때 모델 전환’ 기능이 켜져 있으면 자동으로 Opus 4.8로 넘어가요. Anthropic이 Fable 5의 기반인 Mythos 모델이 악용될 가능성을 우려해서 적용한 거예요. 4월 테스트에서 Mythos가 주요 코드 저장소에서 2만 3천 개 이상의 심각한 취약점을 발견할 만큼 강력한 모델이었거든요.
문제는 범위가 너무 넓다는 거예요. The Verge와 Business Insider가 직접 테스트한 결과, “미토콘드리아가 뭐예요”, “mRNA 백신이 어떻게 작동해요” 같은 일반적인 생물학 질문도 대화가 중단됐어요. Anthropic은 “안전하게 배포하려면 생물학 관련 대부분의 쿼리를 차단할 수밖에 없었다”고 밝혔어요. 전체 세션의 95% 이상은 모델 전환이 일어나지 않는다고도 했어요. 문제는 연구나 보안처럼 특정 분야 질문이 많은 사람들은 이런 전환을 더 자주 겪을 수 있다는 거예요.
보안 전문가들의 반발도 나왔어요. 보안 전문가 Matt Suiche는 “보안 코드를 작성해달라고 하면 사이버보안 관련 작업으로 인식해서 다운그레이드된다”고 했어요. Anthropic 출신 연구자조차 공개적으로 비판했어요. AI 연구자 Behnam Neyshabur는 AI로 암 연구나 알츠하이머 연구를 하는 사람들도 Fable 5의 도움을 받지 못하게 됐다는 의미로 이 조치를 꼬집었어요.
같은 Fable 5인데 질문에 따라 완전히 다른 경험이에요
같은 Fable 5인데 경험이 완전히 달랐어요. Fable 5로 태양계 시뮬레이션을 프롬프트 하나로 만들었을 때는 아무 문제가 없었어요. 오늘은 백신 질문 하나로 대화가 멈췄어요.
어떤 질문이 대화를 멈추게 하는지 사용자는 정확히 알 수 없어요. 같은 Fable 5를 쓰고 있다고 생각했는데, 질문 하나로 다른 모델이 대신 답하는 상황이 생겨요. 내가 지금 어떤 모델과 대화하고 있는지 확인해야 하는 AI는 처음이었어요.
AI가 답을 거절하는 것보다, 언제 거절할지 모르는 게 더 불편할 수도 있을까요?