같은 AI 도구를 받아도 누구는 더 자주 써서 익숙해지고, 누구는 몇 번 써보고도 손에 익히지 못해요. 파키스탄 법원에서 있었던 일이 그 차이가 도구 사용과 사건 처리 결과에 어떻게 이어졌는지, 하나의 사례로 숫자를 보여줘요.
파키스탄은 인구 10만 명당 판사가 2명뿐이에요. 유럽연합 평균은 22명, 잉글랜드·웨일스는 30명이니, 국가별 집계 기준 차이를 감안해도 격차가 꽤 커요. 2024년 말 기준 미결 사건이 226만 건, 그중 82%가 1심 법원에 쌓여 있었어요.
같은 AI를 줬는데, 결과가 갈렸어요
취리히 연방 공과대학(ETH Zurich)·임페리얼 칼리지 런던·신경제대학(NES) 연구팀이 파키스탄 1심 판사 1,559명(전체의 약 절반)을 세 그룹으로 나눴어요. 도구는 GPT-4 기반 전용 도구 “JudgeGPT”(판결문 12만 건 이상 검색 가능)예요.
결과부터 보면, 전문 훈련을 받은 판사들은 JudgeGPT를 훨씬 더 자주 썼어요.
40주 뒤 훈련 그룹은 평균 60회 로그인하고 200회 이상 프롬프트를 썼는데, JudgeGPT는 받았지만 일반 세미나만 들은 판사들은 로그인 20회, 프롬프트 50회 미만에 그쳤어요. 로그인은 약 3배, 프롬프트 사용은 4배 이상 차이가 났죠.
숫자로 보면 지역당 연 1,848건이 더 풀렸어요
훈련 받은 판사 비중이 높은 지역은 연구진 추정으로 연간 지역당 약 1,848건이 추가로 해결됐어요(6.3% 증가). 실적이 하위 25%인 지역도 616건이 늘었고요. 투자 대비 수익은 연구진 추정으로 보수적으로 잡아도 최소 10배였고, 다른 추정에서는 투자 1달러당 38.50달러의 수익으로 계산됐어요.
연구팀이 살핀 판결 품질 지표에서는 악화가 확인되지 않았어요. 약 4,000건을 검토한 결과 판결 가독성·길이·법적 논증 수에 변화가 없었고, 두 판결문 중 어느 쪽이 더 나은지 평가하는 쌍 비교에서 훈련받은 판사 쪽 판결이 더 낫다고 평가된 비율이 59%, 비교군 판결은 42%였어요. 성별·종교 편향이 늘었다는 증거도 없었고요.
| 지표 | 훈련 그룹 | 비교 그룹 |
|---|---|---|
| 40주 뒤 로그인 | 약 60회 | 약 20회 |
| 40주 뒤 프롬프트 | 200회 이상 | 50회 미만 |
| 판결 우위 평가(쌍비교) | 59% | 42% |
이 결과에서 눈에 띄는 건 판사들이 AI한테 뭘 물었는지예요. 쿼리의 60%가 법률·절차 정보 조회였고, 판단이나 논리 초안을 맡기는 “실질적 위임”은 20%뿐이었어요. 이 비중은 AI가 판단을 대신했다기보다 찾고 확인하는 부담을 줄여준 쪽에 가까웠다는 뜻이에요.
다만 이 결과를 그대로 “AI를 주기만 하면 된다”는 뜻으로 읽으면 안 돼요.
90분씩 6번, 3주짜리 훈련이 법원이라는 조직 안에서 체계적으로 이뤄졌기 때문에 이 정도 차이가 났어요. 개인은 이런 환경이 항상 갖춰져 있진 않지만 그래도 막연하게 맡기기보다, 찾고 비교하고 확인하는 일부터 나눠보면 AI 제대로 쓰는 법이 조금씩 잡혀요.
여러분은 지금 쓰는 AI 도구, 그 사용법을 제대로 배워본 적 있으신가요?