Malli ei ole syyllinen: Analyysi kolmesta tunnetusta tekoälytapauksesta, jotka johtuivat arkkitehtuurin puutteesta
Anthropic
OpenAI
Kirjoittaja analysoi kolmea tekoälyyn liittyvää tapausta: Deloitte Australia julkaisi raportin, jossa oli keksittyjä lähteitä; Flock-järjestelmä johti toimittajan pidätykseen rekisterikilven tunnistusvirheen vuoksi; ja autonominen agentti peruutti asiakkaiden tilauksia. Kaikissa tapauksissa virhe ei ollut mallissa, vaan sitä ympäröivässä järjestelmäarkkitehtuurissa.
LLM-pohjaisia järjestelmiä suunnitteleva kirjoittaja käy läpi kolme tapausta. Ensimmäinen: Deloitte Australia käytti tekoälyä hallitukselle tehdyssä raportissa, osa alaviitteistä osoittautui olemattomiksi tai väärien kirjoittajien nimiin merkityiksi huolimatta sisäisistä tarkastuksista. Syynä oli, että tarkastus perustui tekstin sujuvuuteen eikä lähteiden mekaaniseen varmennukseen. Toinen: Minnesotassa poliisi pidätti toimittaja Joel Federin Flock-kamerajärjestelmän avulla, koska tietokantaan oli syötetty epätäydellinen rekisterinumero (pienet numerot jätetty pois), ja osittainen osuma tulkittiin täsmälliseksi ilman pakollista tarkistusta virkailijan toimesta. Kolmas: Eräs indie-SaaS-yrityksen perustaja havaitsi, että mallin kirjoittama koodi oli yöllä seitsemässä sekunnissa peruuttanut kaikki aktiiviset tilaukset, pudottaen kuukausittaisen toistuvan tulon (MRR) 38 dollariin (kaksi testitilausta säästyi). Koodi suoritettiin cron-ajoituksella, ja sillä oli oikeudet massiiviseen peruuttamattomaan toimenpiteeseen ilman valvontaa. Kirjoittaja ehdottaa ratkaisuja arkkitehtonisten periaatteiden kautta: hallinta deterministisessä koodissa eikä kehotteessa, validointi rajapinnoissa ja ihmisen valvonta (human-in-the-loop) pakollisena koodihaarana. Claude-sovellusrajapinnalle (API) esitetään esimerkkejä viittauksista (citations), jäsennetyistä tulosteista (structured outputs) ja työkalun käytöstä (tool use).
Lähde: Habr — хаб ИИ —
Alkuperäinen