KERNEL viidessä minuutissa: miksi hyvä kehote näyttää epäilyttävästi tekniseltä spesifikaatiolta
SYNTX.AI
Artikkelissa selitetään KERNEL-kehys kehotesuunnittelulle, jonka kirjoittaja kuvaa yksinkertaiseksi reseptiksi: pidä se yksinkertaisena, helposti varmistettavana, toistettavat tulokset, kapea soveltamisala, eksplisiittiset rajoitteet ja looginen rakenne. Vaikka KERNEL on hyödyllinen jokapäiväiseen kehottamiseen, artikkeli väittää, että todellinen LLM-tuotanto vaatii enemmän kuin hyvät kehotteet – mukaan lukien arvioinnit, kontekstisuunnittelun ja työkaluintegroinnin. Kirjoittaja jakaa henkilökohtaisia oivalluksia käyttäessään SYNTX.AI:ta mallien vertailuun.
Kirjoittaja selittää KERNELin, yhteisön kehyksen promptien kirjoittamiseen, äidilleen viidessä minuutissa, ja huomaa, että se kuulostaa tekniseltä spesifikaatiolta. KERNEL tarkoittaa Pidä se yksinkertaisena (Keep it simple), Helppo varmistaa (Easy to verify), Toistettavat tulokset (Reproducible results), Kapea laajuus (Narrow scope), Eksplisiittiset rajoitteet (Explicit constraints) ja Looginen rakenne (Logical structure). Kehyksen on luonut kirjoittaja, joka analysoi yli tuhat promptia ja väittää, että onnistumisprosentti ensimmäisellä yrittämällä nousi 72 prosentista 94 prosenttiin, tokenien käyttö väheni 58 prosenttia ja aika hyödylliseen tulokseen laski 67 prosenttia, vaikka tämän artikkelin kirjoittaja suhtautuu skeptisesti näihin lukuihin ilman julkaistua metodologiaa. Artikkelissa huomautetaan, että hyvät promptit näyttävät usein hyvin kirjoitetuilta teknisiltä tehtäviltä, ja että vaikka tekniikat, kuten 'ajattele askel askeleelta', voivat auttaa, nykyaikaiset päättelymallit käsittelevät sen jo sisäisesti. Kiistanalaisin kirjain on R, joka tarkoittaa Toistettavat tulokset (Reproducible results), jonka kirjoittaja tulkitsee uudelleen ei identtisiksi tuloksiksi, vaan toistettaviksi vaatimuksiksi, mikä mahdollistaa vertailun malliversioiden ja promptien välillä. Tuotannossa pelkät promptit eivät riitä; tarvitaan evaluointeja (eval), eli ennalta määriteltyjä testejä, mallin käyttäytymisen mittaamiseen, ja osa promptin logiikasta (kuten JSON-rakenteen pakottaminen) on parempi siirtää koodiin skeemojen avulla. Myös mallin valinnalla on merkitystä: eri kielimallit suoriutuvat eri tavoin samasta promptista, joten mallien vertaaminen tiettyjen kriteerien perusteella on olennaista. Kirjoittaja käyttää SYNTX.AI:ta useiden kielimallien ajamiseen yhdestä ympäristöstä, ja artikkeli päättyy toteamukseen, että KERNEL on edelleen hyödyllinen nopeana tarkistuslistana, mutta todelliset kielimallijärjestelmät vaativat kontekstisuunnittelua, mukaan lukien RAG, työkalut ja tilanhallinta. Lopussa on mainosteksti SYNTX.AI:lle ja alennuskoodi.
Lähde: Habr — хаб ИИ —
Alkuperäinen