Tekoälynäkyvyyden takaaminen on mahdotonta: Näitä mittareita brändien tulisi mitata sen sijaan
OpenAI
Perplexity AI
Artikkelissa selitetään, miksi tekoälychatbottien, kuten ChatGPT:n, vastauksissa ei voida taata brändin mainintaa, koska kielimallit ovat luonteeltaan todennäköisyyspohjaisia. Artikkeli esittelee Model-osuuden luotettavana mittarina brändin näkyvyyden mittaamiseen ja kehottaa brändejä etsimään toimittajia, jotka tarjoavat mitattavia mittareita tyhjien lupausten sijaan.
Kirjoittaja, joka työskentelee tekoälybrändien näkyvyyden parissa, sai kolme kaupallista tarjousta, joissa luvattiin sijoittaa brändejä ChatGPT-vastausten kärkeen, jopa tietylle sijalle 30 päivässä. Hän selittää, että tällaiset takuut ovat fyysisesti mahdottomia, koska tekoälymallit tuottavat tekstiä todennäköisyyspohjaisesti, sana sanalta, ja vaikka lämpötila asetettaisiin nollaan ja satunnaissiemen kiinteäksi, pienet vaihtelut palvelimen laskennassa ja erissä johtavat erilaisiin tuloksiin. Lisäksi nykyaikaiset mallit ovat pienempien mallien kokonaisuuksia, mikä lisää ennustamattomuutta. Tekoälyvastaukset riippuvat myös sekä mallin koulutusdatasta että reaaliaikaisesta verkkohausta, jotka molemmat muuttuvat itsenäisesti eivätkä ole brändin hallittavissa. Sen sijaan kirjoittaja ehdottaa mittaamaan malli-osuutta, eli prosenttiosuutta hallituista kehotteista, joissa malli mainitsee brändin ilman suoraa vihjettä, ajamalla 15–20 oikeaa kehotetta ennen ja jälkeen sisällön optimoinnin. Hän viittaa vuoden 2024 tutkimukseen, jonka tekijöinä olivat Aggarwal ja muut, joka osoitti 30–115 prosentin kasvun viittausfrekvenssissä asianmukaisella optimoinnilla. Hän varoittaa myös punaisista lipuista alihankkijoissa, kuten tiettyjen sijoitusten lupaamisesta tai yhtenäisistä kasvuprosenteista eri alustoilla, ja kehottaa pyytämään toistettavia mittauksia sijoitustakuiden sijaan.
Lähde: Habr — хаб NLP —
Alkuperäinen
