AI 감지기를 통과하지 못한 당신의 텍스트: 러시아어 텍스트로 실험하다

Habr의 AI 허브에 게재된 이번 기사는 AI가 생성한 콘텐츠의 증가와 이를 판별하는 AI 탐지기(AI detector)의 확산을 다룬다. Graphite의 조사에 따르면 2024년 11월 기준 AI가 생성한 텍스트가 인간이 작성한 텍스트보다 이미 많아졌으며, 2026년 봄에 발표된 업데이트 조사에서는 양쪽이 거의 같아졌다고 주장한다. 필자는 전형적인 탐지기들의 작동 방식을 설명하면서 Yandex의 Neurodetector와 Text.ru의 AI 탐지기를 예시로 든다. 또한 OpenAI가 2023년에 자사의 분류기를 정확도 저하를 이유로 중단했다는 사실도 언급한다. Sber의 GigaCheck는 파인튜닝된 Mistral 모델을 기반으로 하며 94.7%의 정확도를 자랑한다. 이번 실험에서는 네 가지 탐지기(Yandex Neurodetector, GigaCheck, Text.ru AI 탐지기, GPTZero)와 여섯 개의 대형 언어 모델(large language model, LLM)—Claude Opus 5, Kimi K3, GPT-5.6 Sol, GLM 5.2, DeepSeek V4 Pro, GigaChat 3.5 Ultra—을 사용했다. 2021년 이전에 발표된 팬그램(pangram) 관련 인간 작성 텍스트 세 편을 대조군으로 삼았다. 각 모델은 비슷한 길이의 텍스트를 생성했고, 모든 텍스트는 각 탐지기로 한 번씩 검사되었다. 결과는 AI/인간(HUMAN) 두 범주로 정규화되었다. 필자는 표본 크기가 작고 단 한 차례만 실험을 진행했으며, 실험 시점이 2026년 7월 27일이라는 점 등 한계를 인정한다. 결과를 보면 긴 텍스트일수록 더 정확하게 분류되는 반면, 짧은 텍스트는 오류를 더 많이 일으키는 경향이 있었다. 특히 Yandex Neurodetector는 Claude Opus 5가 작성한 텍스트 세 편을 인간이 쓴 것으로 잘못 판정했고, Text.ru는 GPT-5.6 Sol이 생성한 텍스트를 인간 작성물로 오인하는 등, 각 탐지기마다 '사각지대'가 존재함을 시사했다. 기사는 어떤 탐지기를 추천하는 것은 자제하고 있다.