64개 테스트로 llms.txt 검증기 작성 — 그리고 봇이 이 파일을 읽는지 확인

Habr에 게시된 한 글에서는 언어 모델에 사이트 요약 정보를 제공하기 위한 표준안으로 제안된 llms.txt 파일의 검증기(validator)와 생성기(generator) 개발 과정을 소개하고 있다. 저자는 총 64건의 테스트를 진행했으며, 그 결과 인공지능(AI) 봇이 llms.txt를 요청하는 일은 극히 드물다는 사실을 확인했다. Limy.ai가 2026년 5월에 낸 분석에 따르자면, 90일 동안 발생한 약 5억 1,500만 건의 봇 이벤트 가울러 llms.txt 요청은 408건에 불과했다. 그럼에도 검증기는 충분히 유용한 것으로 드러났는데, 실제로 배포된 파일에서는 명세 위반이 흔하게 발견되기 때문이다. 대표적으로 제목 누락, H1 태그의 중복 사용, 하이퍼텍스트 전송 프로토콜(HTTP) 링크 사용 같은 문제가 있었다. 파서(parser)는 파싱과 검증을 분리하도록 설계되었으며, 검증 점수는 100점에서 가중치가 부여된 감점(치명적 40점, 높음 25점, 중간 12점, 낮음 5점)을 차감하는 방식으로 산출된다. 테스트 스위트는 22개의 구체적인 규칙과 경계 사례를 다루며, 실행 시간은 43밀리초에 불과하다. 저자는 llms.txt를 AI 답변에 반드시 노출되는 보장된 경로가 아니라 저렴한 보험 정책으로 활용할 것을 권하며, 게시 전에 파일 구조를 확인하라고 조언한다.