Viết trình xác thực llms.txt với 64 bài kiểm tra — và kiểm tra xem bot có đọc tệp này không

Một bài viết trên Habr mô tả quá trình phát triển bộ kiểm tra (validator) và bộ tạo (generator) cho tệp llms.txt — một chuẩn được đề xuất nhằm cung cấp bản tóm tắt nội dung trang web cho các mô hình ngôn ngữ. Tác giả đã thực hiện 64 bài kiểm tra và phát hiện ra rằng các bot AI hiếm khi truy cập llms.txt: phân tích của Limy.ai vào tháng 5 năm 2026 cho thấy chỉ có 408 yêu cầu trong tổng số khoảng 515 triệu sự kiện bot trong vòng 90 ngày. Dù vậy, bộ kiểm tra vẫn tỏ ra hữu ích vì đặc tả kỹ thuật thường xuyên bị vi phạm trong các tệp thực tế, với những lỗi như thiếu tiêu đề, nhiều thẻ H1, và các liên kết http. Bộ phân tích cú pháp (parser) tách biệt khâu phân tích khỏi khâu kiểm tra, còn điểm số kiểm tra được tính bằng cách lấy 100 trừ đi các mức phạt có trọng số (nghiêm trọng 40, cao 25, trung bình 12, thấp 5). Bộ kiểm thử bao phủ 22 quy tắc cụ thể và các trường hợp biên, chạy trong 43 mili giây. Tác giả khuyến nghị nên coi llms.txt như một chính sách bảo hiểm rẻ tiền chứ không phải con đường chắc chắn dẫn tới các câu trả lờI từ AI, đồng thờI khuyên nên kiểm tra cấu trúc tệp trước khi xuất bản.