Kirjoitin llms.txt-validointityökalun 64 testillä – ja tarkistin, lukevatko botit tätä tiedostoa
Kirjoittaja loi generaattorin ja validointityökalun llms.txt-tiedostolle, suoritti 64 testiä ja havaitsi, että tekoälybotit pyytävät tiedostoa harvoin: vain 408 pyyntöä 515 miljoonasta bottitapahtumasta. Validointityökalu auttaa varmistamaan, että tiedosto täyttää spesifikaation, jota rikotaan usein.
Habrissa julkaistussa artikkelissa kuvataan llms.txt-tiedoston validaattorin ja generaattorin kehittämistä. Tämä on ehdotettu standardi, jonka tarkoituksena on tarjota sivustojen yhteenvedot kielimalleille. Kirjoittaja suoritti 64 testiä ja havaitsi, että tekoälybotit pyytävät llms.txt-tiedostoa harvoin: Limy.ai:n toukokuun 2026 analyysi osoitti vain 408 pyyntöä noin 515 miljoonasta bot-tapahtumasta 90 päivän aikana. Tästä huolimatta validaattori osoittautui hyödylliseksi, koska spesifikaatiota rikotaan usein oikeissa tiedostoissa, ja ongelmina ovat esimerkiksi puuttuvat otsikot, useat H1-otsikot ja http-linkit. Jäsennin erottaa jäsentämisen validoinnista, ja validointipistemäärä vähentää painotetut sanktiot (kriittinen 40, korkea 25, keskitaso 12, alhainen 5) sadasta. Testisarja kattaa 22 tarkkaa sääntöä ja reunatapausta, ja se suoritetaan 43 millisekunnissa. Kirjoittaja suosittelee käyttämään llms.txt-tiedostoa halpana vakuutuksena eikä taattuna tienä tekoälyn vastauksiin, ja neuvoo tarkistamaan tiedoston rakenteen ennen julkaisua.
Lähde: Habr — хаб ИИ —
Alkuperäinen