Metniniz Yapay Zeka Dedektöründen Geçemedi: Rusça Metinlerle Bir Deney
Anthropic
Moonshot AI
OpenAI
DeepSeek
Сбер
Яндекс
Text.ru
GPTZero
Bir deney, altı büyük dil modeli tarafından üretilen metinleri ve insan tarafından yazılan Rusça metinleri dört yapay zeka dedektörüne karşı test etti. Sonuçlar, dedektörlerin kısa metinlerde zorlandığını ve belirli modeller için 'kör noktaları' olduğunu gösteriyor. Makale, yapay zeka tespitinin arkasındaki ilkeleri ve doğruluğuyla ilgili tartışmayı ele alıyor.
Habr'ın yapay zeka bölümündeki makale, yapay zeka tarafından üretilen içeriklerin yükselişini ve yapay zeka dedektörlerinin çoğalmasını inceliyor. Graphite'in Kasım 2024'te yaptığı bir çalışmanın, yapay zeka tarafından üretilen metinlerin insan yazımı metinleri geride bıraktığını gösterdiğini ve 2026 baharında güncellenen bir çalışmanın eşitliği iddia ettiğini belirtiyor. Yazar, tipik dedektörlerin nasıl çalıştığını anlatarak örnek olarak Yandex'in Nörodedektörünü ve Text.ru'nun yapay zeka dedektörünü gösteriyor ve OpenAI'ın sınıflandırıcısını düşük doğruluk nedeniyle 2023'te kapattığından bahsediyor. Sber'in GigaCheck'i, ince ayarlı bir Mistral modeline dayanarak %94,7 doğruluk iddia ediyor. Deneyde dört dedektör (Yandex Nörodedektör, GigaCheck, Text.ru yapay zeka dedektörü, GPTZero) ve altı büyük dil modeli (Claude Opus 5, Kimi K3, GPT-5.6 Sol, GLM 5.2, DeepSeek V4 Pro, GigaChat 3.5 Ultra) kullanıldı. 2021'den önce yayınlanmış pangramlar üzerine üç insan yazımı metin kontrol grubu olarak görev yaptı. Modeller benzer uzunlukta metinler üretti ve tüm metinler her dedektör tarafından bir kez kontrol edildi. Sonuçlar YAPAY ZEKA/İNSAN kategorilerine normalleştirildi. Yazar sınırlamaları kabul ediyor: küçük örneklem, tek çalıştırma ve 27 Temmuz 2026 tarihi. Bulgular, daha uzun metinlerin daha doğru sınıflandırıldığını, kısa metinlerin ise daha fazla hataya neden olduğunu gösteriyor. Özellikle, Yandex Nörodedektörü Claude Opus 5 metinlerinden üçünü insan olarak yanlış sınıflandırdı ve Text.ru yanlışlıkla GPT-5.6 Sol metinlerini insan olarak işaretledi; bu da 'kör noktalar' olduğunu düşündürüyor. Makale herhangi bir dedektörü önermiyor.
Kaynak: Habr — хаб ИИ —
orijinal