Escribí un validador de llms.txt con 64 pruebas — y comprobé si los bots leen este archivo

Un artículo en Habr describe el desarrollo de un validador y generador para el archivo llms.txt, un estándar propuesto para proporcionar resúmenes de sitios web a los modelos de lenguaje. El autor realizó 64 pruebas y descubrió que los bots de IA rara vez solicitan llms.txt: el análisis de Limy.ai de mayo de 2026 mostró solo 408 solicitudes de aproximadamente 515 millones de eventos de bots en 90 días. A pesar de esto, el validador resultó útil porque la especificación a menudo se viola en archivos reales, con problemas como títulos faltantes, múltiples H1 y enlaces http. El analizador separa el análisis sintáctico de la validación, y la puntuación de validación resta penalizaciones ponderadas (críticas 40, altas 25, medias 12, bajas 5) de 100. El conjunto de pruebas cubre 22 reglas específicas y casos límite, ejecutándose en 43 milisegundos. El autor recomienda usar llms.txt como una póliza de seguro económica en lugar de una ruta garantizada para obtener respuestas de IA, y aconseja verificar la estructura del archivo antes de publicarlo.