AI 초안과 사람이 여러 번 다듬은 최종본을 AI 탐지기 에 같이 넣어봤는데, 결과가 예상이랑 달랐어요.
탐지기는 한국어 지원을 강점으로 내세우는 Pangram으로 골랐어요.
AI가 쓴 초안은 정확히 잡아냈다
이 블로그는 Claude Code로 초안을 만들고, 여러 라운드에 걸쳐 사람이 직접 다듬어서 발행하는 구조예요. 얼마 전 쓴 글(나노 바나나 2 라이트 후기)의 첫 초안, 그러니까 제가 아무것도 안 고친 그대로의 버전을 확인해봤어요.
결과는 100% AI Generated, 확신도 High — 정확히 잡아낸 거예요.
근데 사람이 손보고 나니 판정이 뒤집혔다
같은 글의 최종 발행본(ChatGPT 검토 5라운드 + 직접 수정을 여러 번 거친 버전)도 돌려봤더니, 이번엔 100% Human으로 나왔어요.
비교 삼아 처음부터 AI 도움 없이 직접 쓴 네이버 블로그 글도 테스트해봤어요. 결과는 마찬가지로 100% Human — 판정만 보면 둘이 똑같았어요.
근데 자세히 보면 완전히 같진 않았어요. 순수 사람 글은 확신도가 High였는데, 편집을 거친 제 글은 Medium이었어요. 같은 사람 판정이라도 탐지기의 확신도는 달랐다는 뜻이었어요. 탐지기가 완전히 속은 게 아니라, 사람 글 같긴 한데 100% 확신은 안 선다는 신호를 준 거예요.
다만 Medium이 정확히 무엇을 의미하는지는 Pangram도 자세히 설명하지 않아서, 이번 실험만으로 그 의미까지 단정하기는 어려웠어요.
이 결과 하나로 AI 탐지기가 무용지물이라고 말할 순 없어요, 글 한 편·탐지기 한 곳으로 낸 결과니까요. 그래도 둘 다 100% Human이었지만, 확신도까지 같지는 않았어요. 그래서 저는 이제 판정보다 확신도를 먼저 보게 됐어요.