Menulis validator llms.txt dengan 64 tes—dan memeriksa apakah bot membaca file ini

Sebuah artikel di Habr menjelaskan pengembangan validator dan generator untuk file llms.txt, sebuah standar yang diusulkan untuk menyediakan ringkasan situs kepada model bahasa. Penulis melakukan 64 tes dan menemukan bahwa bot AI jarang meminta llms.txt: analisis Limy.ai pada Mei 2026 menunjukkan hanya 408 permintaan dari sekitar 515 juta peristiwa bot selama 90 hari. Meskipun demikian, validator tersebut terbukti berguna karena spesifikasi sering dilanggar dalam file nyata, dengan masalah seperti judul yang hilang, beberapa H1, dan tautan http. Parser memisahkan penguraian dari validasi, dan skor validasi mengurangi penalti berbobot (kritis 40, tinggi 25, sedang 12, rendah 5) dari 100. Rangkaian pengujian mencakup 22 aturan spesifik dan kasus tepi, berjalan dalam 43 milidetik. Penulis merekomendasikan menggunakan llms.txt sebagai kebijakan asuransi murah daripada jalur yang dijamin untuk jawaban AI, dan menyarankan untuk memeriksa struktur file sebelum mempublikasikannya.