Pelikaanit polkupyörillä: Laaja tutkimus tekoälylaboratorioista
OpenAI
Anthropic
Google/DeepMind
xAI
Alibaba/Qwen
DeepSeek
Kehittäjä Dylan Castillo suoritti tutkimuksen selvittääkseen, onko tekoälymalleja koulutettu piirtämään pelikaaneja polkupyörillä. Hän testasi 48 kehotetta 7 mallilla eikä löytänyt todisteita tällaisesta koulutuksesta.
Dylan Castillo teki perusteellisen tutkimuksen yleisestä hypoteesista, jonka mukaan tekoälylaboratoriot kouluttavat malleja tarkoituksella piirtämään polkupyörällä ajava pelikaani. Hän laati 48 kehotetta yhdistämällä 8 eläintyyppiä ja 6 ajoneuvotyyppiä, ja suoritti jokaisen kolme kertaa 7 mallilla: GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2 ja DeepSeek V4 Pro. Arvioinnissa käytettiin GPT-5.6 Luna ja Gemini 3.1 Flash-Lite -malleja. Tutkimuksessa ei löydetty todisteita siitä, että polkupyörällä ajavaa pelikaania esittävät kuvat olisivat parempia kuin muut yhdistelmät. Yksikään laboratorio ei ylittänyt odotuksia pelikaanien tai polkupyörien kuvaamisessa erikseen, eikä 'pelikaani-polkupyörä'-yhdistelmässä havaittu muistamisen merkkejä. GLM-5.2-malli osoitti pientä paranemista tämän tietyn parin kohdalla, mutta vaikutusta pidettiin tilastollisesti merkityksettömänä.
Lähde: Simon Willison —
Alkuperäinen
