브라운대 경제학 교수 Roberto Serrano는 20년 가까이 이 과목을 가르쳤는데, 이번 학기엔 재택 시험 평균이 96점이 나왔어요. 원래 이 과목 평균은 65~80점대였는데, 뭔가 이상했어요.
의심에서 시작된 실험
Serrano 교수는 시험 문제를 그대로 ChatGPT에 넣어봤어요. 나온 답이 학생들 답안이랑 거의 똑같았어요. 특히 한 문제는 직관적으로 풀 수 있는데도, ChatGPT와 다수 학생이 똑같이 복잡한 방식으로 풀어놨더라고요.
확신이 든 그는 기말고사를 대면 감독 시험으로 바꿨어요. 결과는 평균 48.6점이었어요. 역대 최저치였어요. 시험을 안 본 학생도, 수강을 취소한 학생도 있었고요. Serrano 교수는 이 격차를 압도적인 증거라고 봤어요.
이 사례만 보면 “부정행위 하지 마라”는 얘기로 끝날 수 있어요. 근데 Serrano 교수 사례와는 별개로, 비슷한 방향을 보여주는 장기 연구도 있었어요.
숙제에 AI를 썼을 뿐인데, 성적은 흔들렸다
중국 중부 지역에서 7~12학년 학생 26,000명 이상을 30개월 동안 추적한 연구예요. 이 연구는 부정행위가 아니라, 학생들이 숙제에 AI를 활용하는 상황을 대상으로 했어요.
그런데도 패턴이 나타났어요. AI를 쓰기 시작한 지 6개월 만에 과제 점수는 18% 올랐고, 과제를 끝내는 시간은 64분에서 45분으로 줄었어요. 근데 시험 점수는 20% 떨어졌어요. 장기적으로는 입시 성적이 18~24%까지 떨어졌고, 이 효과가 나타나기까지 약 2년이 걸렸어요. 더 흥미로운 건, 연구진이 추적한 AI 지속 사용 학생의 81%가 이 패턴을 그대로 보였고, 오히려 상위권 학생일수록 손실이 더 컸다는 거예요(24% 손실).
과제는 더 잘하게 됐는데, 시험 성적은 떨어졌어요. 부정행위 없이도 이런 일이 일어나요. 예전에 다룬 학점 인플레이션 얘기랑도 이어지는 지점이 있어요.
AI 학습 능력, 나는 예외일까
학생들 이야기만은 아닌 것 같아요. 이 글도 AI 파이프라인으로 만들고 있어요. 원문을 찾고, 사실을 확인하고, 초안을 쓰는 과정마다 드는 생각이 있어요. AI가 답을 빨리 내줄수록, 제가 그 답에 이르는 과정을 건너뛰고 있는 건 아닐까 하는 거예요.
Serrano 교수는 학생들한테 이런 질문을 던졌다고 해요. AI 에이전트가 대신 시험을 봐줬다면 왜 여기 왔냐고요. 이건 학생들한테만 해당하는 질문이 아닐 수도 있어요.
여러분은 AI에게 맡긴 일 중에, 사실은 직접 해봤어야 했던 게 있나요?