파키스탄 판사들이 JudgeGPT에 대한 평결을 내리다
OpenAI
파키스탄에서 진행된 대규모 시험에서 판사용 맞춤형 AI 도구와 교육을 결합한 결과, 결정의 질을 떨어뜨리지 않으면서 사건 해결률이 6.3% 향상된 것으로 나타났습니다. OpenAI의 GPT-4와 파키스탄 법률 데이터를 기반으로 구축된 이 도구는 1,500명 이상의 판사가 사용했습니다.
파키스탄에서 1심 법원 판사 1,559명이 참여한 실험이 진행되어, OpenAI의 GPT-4와 128,292건의 판결문 및 943개 법령으로 구성된 데이터베이스를 결합한 맞춤형 인공지능(artificial intelligence, AI) 도구 'JudgeGPT'가 시험되었다. 이 도구는 판사들의 법률 조사와 판결문 작성을 지원했으며, 그 결과 지역별로 처리된 사건 수가 6.3% 증가했고 판결의 질 저하는 나타나지 않았다. 경제학자 Sultan Mehmood가 이끈 이 연구에서는 일부 판사들에게 교육도 제공했는데, 이것이 핵심적인 변수로 드러났다. JudgeGPT 전용 교육을 받은 판사들은 평균 56회 로그인하고 212개의 프롬프트를 입력한 반면, 일반적인 교육만 받은 판사들은 평균 10회 로그인에 25개의 프롬프트에 그쳤고, 교육을 전혀 받지 않은 판사들은 도구 사용을 포기하는 경우가 많았다. 연구진은 환각(hallucination) 현상을 줄이기 위해 검색 증강 생성(retrieval-augmented generation, RAG) 기법을 활용했고, OpenAI의 GPT-5-mini가 교육 전후의 판결문을 비교하도록 하여 판결의 질을 평가했으며, 경험이 풍부한 변호사들은 70.6%의 경우 모델의 평가에 동의했다. 이 도구가 판사들의 시간을 절약해 주기는 했지만, 사법의 질과 AI에 대한 과도한 의존 위험에 대한 우려는 여전히 남아 있다.
출처: IEEE Spectrum AI —
원문