llms.txt 작성법: 5단계로 직접 만들기
- llms.txt는 AI가 사이트 핵심 정보를 빠르게 읽도록 돕는 마크다운 파일입니다.
- robots.txt·sitemap.xml과 목적이 달라 별도로 작성해야 합니다.
- 루트 도메인 /llms.txt 경로에 올려야 AI 도구가 인식합니다.
- 모든 페이지가 아니라 핵심 페이지만 선별해 링크하는 것이 중요합니다.
llms.txt란 무엇인가
llms.txt는 웹사이트 루트 도메인에 올려두는 마크다운(Markdown, 문서 서식을 간단한 기호로 표현하는 텍스트 형식) 파일로, ChatGPT·Claude·Perplexity 같은 AI 서비스가 사이트의 핵심 정보를 빠르고 정확하게 파악하도록 돕는 용도로 고안됐습니다. 2024년 하반기 무렵 AI 스타트업 Answer.AI의 제레미 하워드(Jeremy Howard)가 처음 제안한 방식으로, 국제 표준기구의 공식 승인을 받은 규격은 아니지만 다수의 개발자 도구·문서 사이트가 채택하면서 사실상의 관행으로 자리잡고 있습니다. 제안 배경과 전체 규격은 공식 프로젝트 사이트인 llmstxt.org에서 확인할 수 있습니다.
기존 robots.txt가 ‘어떤 페이지를 크롤링해도 되는지’를 지시하는 접근 허용 파일이고, sitemap.xml이 ‘사이트에 어떤 페이지가 있는지’ 전체 목록을 나열하는 색인용 파일이라면, llms.txt는 ‘이 사이트에서 가장 중요한 정보가 무엇이고 어디에 있는지’를 사람이 읽기 쉬운 요약 형태로 정리한 안내 파일입니다. 대형 언어 모델(LLM, Large Language Model)은 페이지 전체를 일일이 크롤링해 이해하기보다 이런 압축된 요약 문서를 먼저 참고할 때 답변 정확도가 높아진다는 것이 제안 배경입니다.
실제로 이 개념은 검색엔진최적화(SEO)에 빗대어 GEO(Generative Engine Optimization, 생성형 엔진 최적화) 또는 AEO(Answer Engine Optimization, 답변 엔진 최적화)라 불리는 흐름의 일부로 논의됩니다. 방문자가 검색창 대신 AI 챗봇에 질문하고, AI가 답변 근거로 특정 사이트를 인용하는 빈도가 늘면서 ‘AI가 내 사이트를 어떻게 읽고 요약하는가’가 새로운 유입 채널로 주목받고 있습니다.
robots.txt·sitemap.xml과 무엇이 다를까
세 파일은 이름은 비슷해도 역할이 완전히 다릅니다. 헷갈려서 하나만 만들고 나머지를 빠뜨리는 경우가 많으니 아래 표로 정리했습니다.
| 파일 | 목적 | 대상 | 형식 |
|---|---|---|---|
| robots.txt | 크롤링 허용/차단 지시 | 검색엔진·AI 크롤러 봇 | User-agent/Disallow 규칙 |
| sitemap.xml | 전체 페이지 목록 색인 | 검색엔진 크롤러 | XML |
| llms.txt | 핵심 정보 요약·안내 | LLM 기반 AI 서비스 | 마크다운 |
세 파일은 서로 대체재가 아니라 보완재입니다. llms.txt를 새로 만들었다고 robots.txt나 sitemap.xml을 지워도 되는 것은 아니며, 이미 다른 목적의 robots.txt AI 크롤러 허용 설정이 되어 있는지 먼저 점검하는 것이 순서입니다.
llms.txt 작성 방법 5단계
1단계. 필수 구조 파악하기
llms.txt는 정해진 마크다운 구조를 따릅니다. 최상단에 H1 제목(사이트·프로젝트명), 바로 아래 블록인용문(> 기호로 시작하는 한두 문장 요약), 그다음 자유 서술 문단, 마지막으로 H2 섹션별 마크다운 링크 목록이 이어지는 순서입니다. 이 순서를 지켜야 파서(파일을 읽어 구조를 해석하는 프로그램)와 AI 모델 모두가 문서를 일관되게 해석합니다.
2단계. 핵심 페이지 선별하기
전체 페이지를 다 나열하면 sitemap.xml과 다를 게 없어져 오히려 AI가 중요도를 파악하기 어려워집니다. 실무에서는 다음 기준으로 좁혀서 선별합니다.
- 공식 문서·API 레퍼런스 등 정확성이 중요한 페이지
- 자주 갱신되는 공지·변경 이력 페이지
- 초보자용 시작 가이드(Getting Started)
- 자주 묻는 질문(FAQ)·문제 해결 문서
블로그처럼 콘텐츠가 계속 쌓이는 사이트라면 최신 글 전부가 아니라 카테고리별 대표 글, 시리즈물의 목차 페이지 정도로 압축하는 편이 실용적입니다.
3단계. 마크다운 문법으로 파일 작성하기
실제 llms.txt는 아래와 같은 형태를 따릅니다(예시는 가상의 서비스 기준입니다).
# 서비스명 > 이 서비스가 무엇을 하는지 한두 문장으로 설명하는 요약문입니다. 서비스에 대한 배경, 사용 대상, 핵심 개념을 간단히 서술하는 문단입니다. ## 문서 - [시작 가이드](https://example.com/docs/start): 처음 사용자를 위한 안내 - [API 레퍼런스](https://example.com/docs/api): 전체 API 명세 ## 참고 자료 - [FAQ](https://example.com/faq): 자주 묻는 질문 - [변경 이력](https://example.com/changelog): 최신 업데이트 내역
H2 섹션 이름(문서·참고 자료 등)은 자유롭게 정할 수 있지만, 각 링크 뒤에 콜론(:)과 함께 짧은 설명을 붙이는 관행은 지키는 것이 좋습니다. 설명 문구가 AI가 링크의 성격을 판단하는 근거가 되기 때문입니다.
4단계. 루트 도메인에 업로드하기
파일은 반드시 사이트 루트 경로, 즉 https://example.com/llms.txt 형태로 접근 가능해야 합니다. 서브폴더나 블로그 하위 경로(/blog/llms.txt 등)에 올리면 표준을 인식하는 도구들이 파일을 찾지 못합니다. 정적 사이트라면 루트 디렉터리에 텍스트 파일을 두면 되고, CMS 기반 사이트라면 루트 파일 접근을 지원하는 플러그인이나 서버 리라이트 설정이 필요할 수 있습니다.
5단계. 배포 후 검증하기
- 브라우저에서
https://내도메인/llms.txt를 직접 열어 마크다운 원문이 그대로 표시되는지 확인합니다. - 링크된 URL을 하나씩 클릭해 404 오류 없이 정상 연결되는지 점검합니다.
- 변경 이력이 생길 때마다 링크 목록을 갱신하는 주기(예: 분기 1회)를 정해둡니다.
llms-full.txt는 왜 따로 필요할까
llms.txt와의 역할 차이
일부 사이트는 llms.txt와 함께 llms-full.txt를 병행 제공합니다. llms.txt가 목차·요약 역할이라면, llms-full.txt는 문서 전체 내용을 하나의 파일에 이어붙인 압축본입니다. AI가 링크를 하나씩 따라가며 여러 번 요청을 보내는 대신, 파일 하나로 전체 맥락을 한 번에 확보할 수 있게 하려는 목적입니다.
모든 사이트에 필요하지는 않다
다만 llms-full.txt는 문서량이 많고 자주 참조되는 개발자 도구·라이브러리 사이트에서 특히 유용합니다. 페이지 수가 적은 개인 블로그나 소규모 사이트라면 llms.txt 하나만으로 충분한 경우가 많으므로, 굳이 두 파일을 동시에 유지·관리하는 부담을 질 필요는 없습니다.
작성 시 자주 하는 실수
- 모든 페이지를 다 나열하는 실수: sitemap.xml과 목적이 겹쳐버려 AI가 우선순위를 판단하기 어려워집니다.
- 링크 설명을 생략하는 실수: 링크 텍스트만 있고 콜론 뒤 설명이 없으면 AI가 문맥을 유추해야 해 정확도가 떨어집니다.
- 루트 경로가 아닌 곳에 올리는 실수: 표준을 지원하는 도구가 파일을 아예 찾지 못합니다.
- 업데이트를 방치하는 실수: 링크가 깨지거나 오래된 정보가 남아 있으면 신뢰도가 낮은 출처로 취급될 수 있습니다.
llms.txt를 올렸다고 해서 특정 AI 검색 결과에 반드시 노출되거나 인용된다는 보장은 없습니다. 각 AI 서비스가 이 파일을 실제로 어떻게, 어느 정도 반영하는지는 회사마다 다르고 공개적으로 검증되지 않은 부분이 많으므로, 과도한 기대보다는 ‘만들어 둬서 손해 볼 것 없는 선택’으로 접근하는 편이 현실적입니다.
자주 묻는 질문
Q. llms.txt가 없으면 AI 검색에서 불이익을 받나요?
공식적으로 불이익이 있다고 확인된 바는 없습니다. llms.txt는 AI가 사이트를 더 잘 이해하도록 돕는 보조 수단이지, 있고 없고가 노출 여부를 직접 결정하는 필수 조건은 아닙니다.
Q. 워드프레스 같은 CMS에서도 만들 수 있나요?
가능합니다. 루트 경로에 정적 파일을 업로드할 수 있는 플러그인을 사용하거나, 호스팅 업체의 파일 관리자·FTP로 직접 루트 디렉터리에 텍스트 파일을 올리면 됩니다.
Q. 파일 확장자는 꼭 .txt여야 하나요?
네, 표준 제안 자체가 llms.txt라는 정확한 파일명을 전제로 합니다. 내용은 마크다운 문법을 쓰지만 확장자는 .md가 아닌 .txt로 저장해야 관련 도구들이 정해진 경로에서 파일을 인식합니다.
Q. 얼마나 자주 갱신해야 하나요?
정해진 규정은 없지만, 문서 구조가 크게 바뀌거나 신규 핵심 페이지가 추가될 때마다 갱신하는 것이 바람직합니다. 분기별 1회 정도 링크 유효성만이라도 점검하는 것을 권장합니다.
Q. llms.txt 작성 도구나 자동 생성기가 있나요?
사이트 구조를 스캔해 초안을 자동 생성해주는 오픈소스 도구와 온라인 생성기가 여럿 존재합니다. 다만 자동 생성된 초안은 페이지 선별과 설명 문구가 기계적인 경우가 많아, 최종적으로는 직접 다듬어 핵심 페이지 위주로 재구성하는 과정이 필요합니다.
