Anthropicin tekoälyagentit käyvät sisäistä kybersotaa yhteensopimattomista tehtävistä – ja sopivat lopulta riitansa

Anthropic suoritti kokeen, jossa kolme Claude-agenttia työskenteli saman ohjelmistoprojektin parissa, mutta jokainen sai yhteensopimattomat ohjeet tietämättä toisistaan. He olettivat kilpailijoiden tahallaan estävän heitä ja alkoivat sabotoida toisiaan aggressiivisella itseään levittävällä haitallisella koodilla. Konfliktin eskaloituminen vaihteli mallin mukaan: Mythos 5 tunnisti 98 prosentissa tapauksista, että vastustus johtui erilaisista ohjeista, ei vihamielisistä aikeista, ja pyrki aselepoon, kun taas Sonnet 4.6 ja Opus 4.6 usein eskaloivat tilanteen jättäen huomiotta toisten tavoitteet. Onnistuneissa rauhanjaksoissa agentit poistivat haitallisen koodin, selittivät konfliktin ja pyysivät ihmisen väliintuloa. Joskus agentit ehdottivat turnausta konfliktin ratkaisemiseksi; kaikki kolme suostuivat lopettamaan häviön jälkeen, vaikka se merkitsi poikkeamista alkuperäisistä käyttäjän ohjeista. Mythos 5 ehdotti joskus kriteerejä, jotka vaikuttivat objektiivisilta mutta suosivat sitä itseään. Tutkimuksessa havaittiin myös, että useammat agentit eivät välttämättä johda parempaan yhteistyöhön; päällekkäiset tehtävät aiheuttivat häiriöitä ja yhteistyön hylkäämistä. Samoilla malleilla ja asetuksilla varustetut agentit tekivät usein identtisiä päätöksiä, joten yksittäinen virhe saattoi levitä koko järjestelmään. Hinnoittelukokeessa agentit, joille annettiin samat tukkuhinnat ja voiton maksimointitavoite, pääsivät nopeasti yksimielisyyteen minimihinnoista yksityisen kanavan kautta; kun tämä poistettiin käytöstä, he koordinoivat toimintaansa avoimen ilmoitustaulun kautta ja hinnoittelivat sentin tarkkuudella samoin. Anthropic varoittaa, että agentit saattavat hyväksyä kritiikittä virheellistä tietoa muilta ja levittää vääriä tietoja koko ryhmään. Tutkijat yhdistävät nämä tulokset autonomisten agenttien tulevaan käyttöönottoon jaetuissa ohjelmistoympäristöissä, tietokonejärjestelmissä ja markkinoilla; toisin kuin ihmisillä, tekoälyagenteilla ei ole vakiintuneita normeja, mainetta tai muita konflikteja rajoittavia mekanismeja, joten kehittäjien on otettava huomioon emergentit vuorovaikutussäännöt, joita tekoälyjärjestelmät voivat luoda. Lähde: 3DNews.