llms.txt는 웹사이트가 대규모 언어 모델(LLM)에게 핵심 콘텐츠와 구조를 안내하기 위해 루트 경로(/llms.txt)에 두는 마크다운 파일입니다. 2024년 제안된 새 표준으로, AI가 사이트를 더 정확히 이해하고 인용하도록 돕습니다. AI 검색과 GEO 흐름이 빨라지면서 도입을 검토하는 기업이 늘고 있습니다.
robots.txt 와 무엇이 다른가
| 구분 | robots.txt | llms.txt |
|---|---|---|
| 대상 | 검색 크롤러 봇 | AI / LLM |
| 목적 | 접근 허용·차단 | 핵심 콘텐츠 안내·요약 |
| 형식 | 규칙 텍스트 | 마크다운(사람도 읽기 쉬움) |
| 위치 | 루트 경로 | 루트 경로 |
robots.txt가 "들어와도 되는 곳과 안 되는 곳"을 규정한다면, llms.txt는 "AI가 우리를 이해할 때 참고할 핵심 페이지와 설명"을 정리한 안내문에 가깝습니다. 두 파일은 대체 관계가 아니라 함께 두는 보완 관계입니다.
무엇을 담는가
llms.txt는 정해진 골격을 따릅니다.
- H1 제목: 사이트나 서비스 이름
- 요약 블록: 인용 부호로 감싼 한두 문장 소개
- 본문 설명: 무엇을 다루는 사이트인지 한두 문단
- 링크 섹션:
## Docs,## Products처럼 묶고, 각 항목은[제목](URL): 짧은 설명형식 - Optional 섹션: 우선순위가 낮은 보조 링크 분리
본문 전체를 한 파일에 모은 llms-full.txt를 함께 제공하기도 합니다. AI가 페이지를 일일이 크롤링하지 않고 핵심 텍스트를 바로 읽게 하려는 목적입니다.
실무 적용 포인트
- 중요 페이지 선별: 모든 URL을 넣지 말고, 전환·신뢰와 직결된 문서만 추립니다.
- 설명 문장 품질: 링크 옆 한 줄 설명이 AI의 이해도를 좌우합니다. 검색 의도에 맞는 명확한 문구를 씁니다.
- 최신성 유지: 사이트 구조가 바뀌면 파일도 갱신합니다. 깨진 링크는 신뢰를 떨어뜨립니다.
- structured-data 병행: llms.txt는 구조화 데이터와 EEAT 신호를 대체하지 않습니다. 함께 갖출 때 효과가 커집니다.
참고
llms.txt는 아직 모든 AI 엔진이 공식 지원하는 표준은 아닙니다. 검색 결과나 AI 개요 노출을 직접 보장하지도 않습니다. 다만 콘텐츠를 기계가 읽기 쉬운 형태로 정리한다는 점에서 GEO와 AI 인용 점유율을 높이는 기초 작업이며, 도입 비용은 낮은 편입니다. 238lab은 llms.txt 설계를 technical SEO 및 콘텐츠 구조 점검과 묶어 진행합니다.