llms.txt-Validator mit 64 Tests geschrieben – und geprüft, ob Bots diese Datei lesen

Ein Artikel auf Habr beschreibt die Entwicklung eines Validators und Generators für die llms.txt-Datei, einen vorgeschlagenen Standard zur Bereitstellung von Website-Zusammenfassungen für Sprachmodelle. Der Autor führte 64 Tests durch und stellte fest, dass KI-Bots selten llms.txt anfordern: Eine Analyse von Limy.ai vom Mai 2026 zeigte nur 408 Anfragen unter etwa 515 Millionen Bot-Ereignissen über 90 Tage. Trotzdem erwies sich der Validator als nützlich, da die Spezifikation in echten Dateien oft verletzt wird, etwa durch fehlende Titel, mehrere H1-Überschriften und http-Links. Der Parser trennt das Parsen von der Validierung, und die Validierungsbewertung subtrahiert gewichtete Strafen (kritisch 40, hoch 25, mittel 12, niedrig 5) von 100. Die Testsuite umfasst 22 spezifische Regeln und Randfälle und läuft in 43 Millisekunden. Der Autor empfiehlt, llms.txt als günstige Versicherung zu nutzen, nicht als garantierten Weg zu KI-Antworten, und rät, die Dateistruktur vor der Veröffentlichung zu prüfen.