과제나 보고서를 받으면 “이거 AI가 썼나” 하는 생각이 들 때가 있어요. Pangram, GPTZero, Originality.ai 같은 AI 탐지기들이 그 판단을 도와준다고 하는데, 정확히 어디까지 믿을 수 있는지는 따로 확인해본 적 없었어요.
Epoch AI가 최근 진행한 테스트에서 이 세 탐지기를 직접 비교해봤는데, 글을 쓰게 한 방식에 따라 AI 탐지기 정확도 차이가 크게 났어요.
늘보도 예전에 Pangram으로 직접 실험해본 적 있는데, 그때는 판정과 확신도 차이까지만 봤을 뿐 문체 모방까지는 다루지 못했어요. 이번 Epoch AI 테스트가 그 빈틈을 정확히 채워줘요.
짧게 쓰라고만 했을 땐 거의 다 잡아냈어요
테스트 방식이 꼼꼼해요. ChatGPT 출시 이전(2022년 11월 이전) 글만 99명의 저자에게서 495개 모아서 “사람 글” 기준으로 삼았어요. ChatGPT가 나오기 전 글이니 그 표본에 AI가 쓴 텍스트가 섞였을 가능성이 낮다는 뜻이에요.
그리고 Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro 세 모델에게 짧은 프롬프트만 주고 글을 쓰게 했어요.
이렇게 짧은 프롬프트만 주고 생성한 AI 글을 세 탐지기가 놓친 비율은 최대 0.7%였어요. 사람 글을 AI로 잘못 판단한 비율도 Pangram과 GPTZero는 0%였고, Originality.ai만 3.8%였어요. 이 조건만 보면 탐지기들이 꽤 믿을 만해 보여요.
문체를 흉내 내라고 하니 못 잡는 비율이 크게 늘었어요
근데 세 모델에게 저자 글 5개를 보여주고 같은 문체로 새 글을 쓰게 하니 상황이 달라졌어요. 문체를 흉내 낸 글 297개를 판정했을 때, 세 탐지기의 평균 놓침 비율은 13%였어요. Pangram은 10%, GPTZero는 11%, Originality.ai는 18%를 놓쳤어요.
이번에 비교한 장르 중에서는 과학 글을 제일 많이 놓쳤어요. Pangram은 25%, GPTZero는 24%, Originality.ai는 29%를 각각 놓쳤어요.
반대로 소설 문체를 흉내 낸 글은 세 탐지기 다 1~5%밖에 안 놓쳤어요. 같은 흉내 내기라도 장르에 따라 이렇게 차이가 나요.
가장 높은 놓침 비율은 Gemini가 흉내 낸 과학 글을 Pangram이 판정했을 때의 48%였어요. Originality.ai도 GPT-5.5가 쓴 과학 글의 39%를 놓쳤어요.
이번 테스트만 보면 탐지기가 “AI 아님”이라고 판정했다고 해서 사람이 직접 쓴 글이라고 단정하긴 어려워요. 특히 사람 글의 문체를 흉내 내게 한 과학 글에서는 그 한계가 더 크게 나타났어요. 탐지기 판정도 결국 확률적 추정이라는 걸 전에 다른 사례에서 확인한 적 있는데, 이번 결과도 같은 방향을 가리켜요.
여러분은 AI 탐지 결과를 얼마나 그대로 믿는 편이세요?