Een llms.txt-validator met 64 tests geschreven — en onderzocht of bots dit bestand lezen
De auteur creëerde een generator en validator voor llms.txt, voerde 64 tests uit, en ontdekte dat AI-bots zelden het bestand opvragen: slechts 408 verzoeken op 515 miljoen botgebeurtenissen. De validator helpt ervoor te zorgen dat het bestand voldoet aan de specificatie, die vaak wordt overtreden.
Een artikel op Habr beschrijft de ontwikkeling van een validator en generator voor het llms.txt-bestand, een voorgestelde standaard voor het verstrekken van sitesamenvattingen aan taalmodellen. De auteur voerde 64 tests uit en ontdekte dat AI-bots zelden om llms.txt vragen: de analyse van Limy.ai van mei 2026 toonde slechts 408 verzoeken van ongeveer 515 miljoen botgebeurtenissen in 90 dagen. Desondanks bleek de validator nuttig, omdat de specificatie vaak wordt overtreden in echte bestanden, met problemen zoals ontbrekende titels, meerdere H1's en http-links. De parser scheidt parsing van validatie, en de validatiescore trekt gewogen straffen (kritiek 40, hoog 25, gemiddeld 12, laag 5) af van 100. De testsuite omvat 22 specifieke regels en randgevallen en draait in 43 milliseconden. De auteur raadt aan om llms.txt te gebruiken als een goedkope verzekering, en niet als een gegarandeerde weg naar AI-antwoorden, en adviseert om de bestandsstructuur te controleren voordat je publiceert.
Bron: Habr — хаб ИИ —
origineel