활용·운영
AI 검색에 내 사이트가 나오게 하려면: robots.txt 봇 이름과 llms.txt 정리
챗GPT·클로드·퍼플렉시티 검색에 내 글이 나오려면 robots.txt를 어떻게 설정하나요?
AI 검색 인용은 학습용 봇이 아니라 검색용 봇이 가져갑니다. 2026년 11월 17일 각 회사 문서 기준으로 OAI-SearchBot(챗GPT 검색), Claude-SearchBot(클로드), PerplexityBot(퍼플렉시티)을 robots.txt에서 막지 않아야 합니다. 학습만 거부하려면 GPTBot과 ClaudeBot을 따로 막으면 됩니다. Google-Extended는 제미나이 인용에도 영향을 줄 수 있습니다.
3줄 요약
- AI 검색 답변에 인용되려면 검색용 봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot)을 robots.txt에서 열어 두어야 합니다.
- OpenAI와 Anthropic은 학습용 봇(GPTBot, ClaudeBot)을 검색용 봇과 따로 막을 수 있어 '학습은 거부, 검색 인용은 허용'이 가능합니다. 구글의 Google-Extended는 제미나이 학습과 그라운딩을 함께 정하므로, 막으면 제미나이 답변 인용에서도 빠질 수 있습니다.
- 사용자가 직접 요청해 가져가는 봇(ChatGPT-User, Perplexity-User)은 robots.txt를 따르지 않을 수 있다고 각 회사가 밝히고 있습니다.
핵심 수치 (2026년 11월 17일 기준)
챗GPT, 클로드, 퍼플렉시티 같은 AI 서비스가 답변에 내 글을 인용하려면, 먼저 그 회사의 봇이 내 페이지를 읽을 수 있어야 합니다. 많은 사이트가 “AI 봇 차단”을 한 줄로 켜면서 검색용 봇까지 함께 막습니다. 회사마다 봇이 용도별로 나뉘어 있어서, 어떤 봇을 막고 어떤 봇을 열지 하나씩 정해야 합니다.
회사별 봇 이름과 용도
| 회사 | 검색·인용용 | 학습용 | 사용자 요청 시 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | GPTBot | ChatGPT-User |
| Anthropic | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | (문서에 없음. 두 봇 모두 학습용이 아니라고 명시) | Perplexity-User |
| Googlebot(일반 검색) | Google-Extended(학습·그라운딩) | (해당 없음) |
- OpenAI: OAI-SearchBot은 챗GPT 검색 결과용, GPTBot은 모델 학습용입니다. robots.txt를 바꾸면 반영까지 약 24시간이 걸린다고 안내합니다(퍼플렉시티도 최대 24시간). ChatGPT-User는 사용자가 요청한 페이지를 가져오는 봇이라 robots.txt 규칙이 적용되지 않을 수 있습니다.
- Anthropic: ClaudeBot, Claude-User, Claude-SearchBot 셋 모두 robots.txt를 따르고 Crawl-delay도 지킨다고 설명합니다.
- Perplexity: PerplexityBot은 검색 결과에 사이트를 보여 주기 위한 봇이고, Perplexity-User는 사용자가 요청할 때 페이지를 가져오는 봇이라 대체로 robots.txt를 따르지 않습니다.
- Google: Google-Extended는 제미나이 학습과 그라운딩 사용 여부만 정하는 토큰이고, 구글 검색 포함이나 순위에는 영향을 주지 않습니다. 제미나이 모델 구성은 제미나이 4 라인업 정리를 참고하세요.
추천 robots.txt 예시
검색 인용은 받고 싶고, 학습은 거부하고 싶을 때의 예시입니다.
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap-index.xml
학습까지 허용해도 괜찮다면 위 예시의 GPTBot, ClaudeBot 두 묶음을 Allow: /로 바꾸면 됩니다. Google-Extended는 예시에 넣지 않았습니다. 막으면 제미나이 학습뿐 아니라 그라운딩(답변 근거로 페이지를 쓰는 것)에서도 빠질 수 있기 때문입니다. 구글은 2027년 초 학습 여부만 따로 정하는 AIPREF 신호를 지원할 계획이라고 같은 문서에 밝혔습니다. CDN이나 호스팅 업체의 봇 차단 설정이 켜져 있으면 robots.txt와 상관없이 봇이 막힐 수 있으니, 쓰는 서비스의 보안 설정도 함께 확인하세요.
llms.txt는 무엇인가
llms.txt는 사이트 맨 위 경로(/llms.txt)에 두는 마크다운 파일로, 사이트가 무엇이고 중요한 페이지가 어디 있는지를 AI 도구에 알려 주는 제안 형식입니다. 제목 한 줄, 한두 문장 요약, 주요 페이지 링크 목록으로 구성합니다. 각 페이지의 마크다운 버전을 함께 두면 AI 도구가 HTML을 해석하지 않고 바로 읽을 수 있습니다.
아직 표준 기관이 정한 규격은 아니고, 이것만으로 노출이 늘어난다는 공식 보장도 없습니다. 그래도 만드는 데 몇 분이면 되고 손해가 없습니다. 이 사이트도 /llms.txt와 글마다 마크다운 버전을 두고 있습니다.
인용되기 쉬운 글의 조건
봇이 읽을 수 있게 된 다음에는 글 자체가 인용하기 좋아야 합니다.
- 첫 문단에 답을 씁니다. 질문 하나에 두세 문장으로 답하고, 기준 날짜를 함께 적습니다.
- 숫자는 표로 정리하고 출처는 링크로 겁니다. AI 챗봇 요금제 비교표처럼 가격·날짜·출처를 한 줄씩 정리하면 인용할 때 틀리기 어렵습니다.
- 바뀐 날짜를 남깁니다. 가격이나 정책 글은 수정 날짜와 바뀐 내용을 적어 두면 사람과 AI 모두 최신 여부를 판단하기 쉽습니다.
네이버 블로그는 왜 AI 검색에 잘 안 나오나
2026년 11월 17일 blog.naver.com의 robots.txt를 열어 보면 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, meta-externalagent, Applebot-Extended, CCBot 등을 막고 있습니다. 봇들이 규칙을 지킨다면 네이버 블로그 본문은 이 서비스들의 검색 인용에 쓰이기 어렵습니다. ChatGPT-User, Claude-User, Perplexity-User처럼 사용자가 링크를 직접 줄 때 쓰는 봇은 목록에 없어서, 그런 경우에는 읽힐 수 있습니다. AI 검색 노출이 목표라면 직접 관리하는 사이트에 글을 함께 두는 편이 유리합니다.
자주 묻는 질문
GPTBot을 막으면 챗GPT 검색에 안 나오나요?
나올 수 있습니다. GPTBot은 학습용이고, 챗GPT 검색 결과에는 OAI-SearchBot이 쓰입니다. GPTBot을 막아도 OAI-SearchBot을 열어 두면 검색 답변에 나올 수 있습니다.
Google-Extended를 막으면 구글 검색 순위가 떨어지나요?
구글 문서는 Google-Extended가 구글 검색 포함 여부나 순위에 영향을 주지 않는다고 설명합니다. 제미나이 모델 학습과 그라운딩에 쓸지만 정합니다.
llms.txt를 만들면 AI 검색에 더 잘 나오나요?
llms.txt는 AI 도구가 사이트 구조를 빨리 파악하도록 돕는 제안 형식이고, 이것만으로 노출이 보장되지는 않습니다. 만들기 쉽고 손해 볼 일도 없으니 robots.txt, 사이트맵과 함께 올려 두면 됩니다.
네이버 블로그 글은 AI 검색에 인용되나요?
2026년 11월 17일 blog.naver.com의 robots.txt는 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended 등을 막고 있습니다. 이 봇들이 규칙을 지킨다면 검색용으로 네이버 블로그 본문을 가져가지 못합니다. 다만 사용자가 링크를 직접 주는 경우(ChatGPT-User 등)는 목록에 없어 읽힐 수 있습니다.
출처
2026년 11월 17일에 열어 확인한 자료입니다.
- Overview of OpenAI Crawlers (OpenAI) (developers.openai.com)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude 도움말) (support.claude.com)
- Perplexity Crawlers (Perplexity 문서) (docs.perplexity.ai)
- Google's common crawlers (Google Search Central) (developers.google.com)
- The /llms.txt file (llmstxt.org) (llmstxt.org)
- blog.naver.com robots.txt (blog.naver.com)
변경 기록
- : 첫 게시. OpenAI·Anthropic·Perplexity·Google 크롤러 문서와 llmstxt.org 확인.
이 글은 각 서비스의 공식 자료를 정리한 안내입니다. 해당 회사와 제휴하지 않았고 제휴 링크가 없습니다. 실제 가격과 한도는 결제 화면과 계정 화면이 기준입니다. 광고·제휴 고지 · 편집·검증 원칙
틀린 내용이나 바뀐 가격을 보셨나요?
공식 페이지 링크를 함께 남겨 주시면 확인 후 고치고 수정 기록에 남깁니다. 이메일은 답장이 필요할 때만 적어 주세요.