Tekstisi epäonnistui tekoälytunnistimessa: kokeilu venäjänkielisillä teksteillä
Anthropic
Moonshot AI
OpenAI
DeepSeek
Сбер
Яндекс
Text.ru
GPTZero
Kokeessa testattiin neljää tekoälytunnistinta kuuden suuren kielimallin tuottamia tekstejä sekä ihmisten kirjoittamia venäjänkielisiä tekstejä vastaan. Tulokset osoittavat, että tunnistimet kamppailevat lyhyiden tekstien kanssa ja niillä on "sokeita pisteitä" tietyille malleille. Artikkelissa käsitellään tekoälytunnistuksen periaatteita ja sen tarkkuutta koskevaa kiistaa.
Habrin tekoälyhubin artikkeli käsittelee tekoälyn tuottaman sisällön kasvua ja tekoälyntunnistimien yleistymistä. Siinä viitataan Graphiten tutkimukseen, jonka mukaan marraskuussa 2024 tekoälyn tuottamat tekstit ylittivät määrässä ihmisten kirjoittamat, ja keväällä 2026 päivitetty tutkimus väitti tilanteen olevan tasoissa. Kirjoittaja kuvailee, miten tyypilliset tunnistimet toimivat, mainiten esimerkkeinä Yandexin Neurodetectorin ja Text.ru:n tekoälyntunnistimen, ja toteaa, että OpenAI sulki luokittelijansa vuonna 2023 alhaisen tarkkuuden vuoksi. Sberin GigaCheck, joka perustuu hienosäädettyyn Mistral-malliin, väittää saavuttavansa 94,7 prosentin tarkkuuden. Kokeessa käytettiin neljää tunnistinta (Yandex Neurodetector, GigaCheck, Text.ru:n tekoälyntunnistin, GPTZero) ja kuutta kielimallia (Claude Opus 5, Kimi K3, GPT-5.6 Sol, GLM 5.2, DeepSeek V4 Pro, GigaChat 3.5 Ultra). Kontrollina toimi kolme ennen vuotta 2021 julkaistua ihmisen kirjoittamaa tekstiä pangrameista. Mallit tuottivat samanpituisia tekstejä, ja kaikki tekstit tarkistettiin kerran kullakin tunnistimella. Tulokset normalisoitiin tekoäly/ihminen-luokkiin. Kirjoittaja myöntää rajoitteet: pieni otos, yksi ajokerta ja päivämäärä 27. heinäkuuta 2026. Havainnot osoittavat, että pidemmät tekstit luokitellaan tarkemmin, kun taas lyhyet tekstit aiheuttavat enemmän virheitä. Erityisesti Yandex Neurodetector luokitteli kolme Claude Opus 5 -tekstiä virheellisesti ihmisen kirjoittamiksi, ja Text.ru merkitsi virheellisesti GPT-5.6 Sol -tekstit ihmisen kirjoittamiksi, mikä viittaa 'sokeisiin pisteisiin'. Artikkeli ei suosittele mitään tunnistinta.
Lähde: Habr — хаб ИИ —
Alkuperäinen