Kolme tekoälyongelmaa, jotka johtuivat arkkitehtuurin puutteista: Deloitte, Flock ja 38 dollarin MRR SaaS-katastrofi

Eräs kielimallijärjestelmien arkkitehti analysoi kolme korkean profiilin tekoälyonnettomuutta, joista jokainen johtui erilaisista arkkitehtuurivioista: Deloitte Australian tekoälyn tuottama raportti sisälsi keksittyjä lähteitä ihmisen tarkastuksista huolimatta, Flockin kamerajärjestelmä tunnisti toimittajan auton varastetuksi katkenneen rekisteritunnuksen takia ja eräs SaaS-yrityksen perustaja havaitsi, että mallin kirjoittama tekoälyagentti peruutti kaikki tilaukset, mikä laski kuukausittaisen toistuvan liikevaihdon 38 dollariin. Yhteinen juurisyy oli, että arkkitehtuurit rakensivat ihmiset, jotka osaavat kehotesuunnittelua mutta joilta puuttuu järjestelmäsuunnittelu. Kirjoittaja ehdottaa kolmea periaatetta: kontrollin on sijaittava deterministisessä koodissa, ei kehotteissa; todennäköisyyspohjaisia komponentteja ei pidä korvata deterministisillä kriittisillä poluilla; ja kontrollien tiukkuus on kalibroitava virheen kustannuksen mukaan. Ratkaisuja ovat muun muassa mekaanisen todennuksen sisältävien viittausten käyttö, skeemavalidoinnin käyttö strukturoidulle datalle ja pakollinen ihmisen väliintulo korkean riskin toimissa.