활용·운영

AI 검색에 내 사이트가 나오게 하려면: robots.txt 봇 이름과 llms.txt 정리

챗GPT·클로드·퍼플렉시티 검색에 내 글이 나오려면 robots.txt를 어떻게 설정하나요?

AI 검색 인용은 학습용 봇이 아니라 검색용 봇이 가져갑니다. 2026년 11월 17일 각 회사 문서 기준으로 OAI-SearchBot(챗GPT 검색), Claude-SearchBot(클로드), PerplexityBot(퍼플렉시티)을 robots.txt에서 막지 않아야 합니다. 학습만 거부하려면 GPTBot과 ClaudeBot을 따로 막으면 됩니다. Google-Extended는 제미나이 인용에도 영향을 줄 수 있습니다.

3줄 요약

  1. AI 검색 답변에 인용되려면 검색용 봇(OAI-SearchBot, Claude-SearchBot, PerplexityBot)을 robots.txt에서 열어 두어야 합니다.
  2. OpenAI와 Anthropic은 학습용 봇(GPTBot, ClaudeBot)을 검색용 봇과 따로 막을 수 있어 '학습은 거부, 검색 인용은 허용'이 가능합니다. 구글의 Google-Extended는 제미나이 학습과 그라운딩을 함께 정하므로, 막으면 제미나이 답변 인용에서도 빠질 수 있습니다.
  3. 사용자가 직접 요청해 가져가는 봇(ChatGPT-User, Perplexity-User)은 robots.txt를 따르지 않을 수 있다고 각 회사가 밝히고 있습니다.

핵심 수치 (2026년 11월 17일 기준)

챗GPT 검색
OAI-SearchBot (학습용은 GPTBot)[1]
클로드 검색
Claude-SearchBot (학습용 ClaudeBot, 사용자 요청 Claude-User)[2]
퍼플렉시티
PerplexityBot (사용자 요청 Perplexity-User)[3]
제미나이 학습·그라운딩
Google-Extended, 구글 검색 노출에는 영향 없음[4]
OpenAI 반영 시간
robots.txt 변경 후 약 24시간[1]

챗GPT, 클로드, 퍼플렉시티 같은 AI 서비스가 답변에 내 글을 인용하려면, 먼저 그 회사의 봇이 내 페이지를 읽을 수 있어야 합니다. 많은 사이트가 “AI 봇 차단”을 한 줄로 켜면서 검색용 봇까지 함께 막습니다. 회사마다 봇이 용도별로 나뉘어 있어서, 어떤 봇을 막고 어떤 봇을 열지 하나씩 정해야 합니다.

회사별 봇 이름과 용도

회사 검색·인용용 학습용 사용자 요청 시
OpenAI OAI-SearchBot GPTBot ChatGPT-User
Anthropic Claude-SearchBot ClaudeBot Claude-User
Perplexity PerplexityBot (문서에 없음. 두 봇 모두 학습용이 아니라고 명시) Perplexity-User
Google Googlebot(일반 검색) Google-Extended(학습·그라운딩) (해당 없음)
  • OpenAI: OAI-SearchBot은 챗GPT 검색 결과용, GPTBot은 모델 학습용입니다. robots.txt를 바꾸면 반영까지 약 24시간이 걸린다고 안내합니다(퍼플렉시티도 최대 24시간). ChatGPT-User는 사용자가 요청한 페이지를 가져오는 봇이라 robots.txt 규칙이 적용되지 않을 수 있습니다.
  • Anthropic: ClaudeBot, Claude-User, Claude-SearchBot 셋 모두 robots.txt를 따르고 Crawl-delay도 지킨다고 설명합니다.
  • Perplexity: PerplexityBot은 검색 결과에 사이트를 보여 주기 위한 봇이고, Perplexity-User는 사용자가 요청할 때 페이지를 가져오는 봇이라 대체로 robots.txt를 따르지 않습니다.
  • Google: Google-Extended는 제미나이 학습과 그라운딩 사용 여부만 정하는 토큰이고, 구글 검색 포함이나 순위에는 영향을 주지 않습니다. 제미나이 모델 구성은 제미나이 4 라인업 정리를 참고하세요.

추천 robots.txt 예시

검색 인용은 받고 싶고, 학습은 거부하고 싶을 때의 예시입니다.

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap-index.xml

학습까지 허용해도 괜찮다면 위 예시의 GPTBot, ClaudeBot 두 묶음을 Allow: /로 바꾸면 됩니다. Google-Extended는 예시에 넣지 않았습니다. 막으면 제미나이 학습뿐 아니라 그라운딩(답변 근거로 페이지를 쓰는 것)에서도 빠질 수 있기 때문입니다. 구글은 2027년 초 학습 여부만 따로 정하는 AIPREF 신호를 지원할 계획이라고 같은 문서에 밝혔습니다. CDN이나 호스팅 업체의 봇 차단 설정이 켜져 있으면 robots.txt와 상관없이 봇이 막힐 수 있으니, 쓰는 서비스의 보안 설정도 함께 확인하세요.

llms.txt는 무엇인가

llms.txt는 사이트 맨 위 경로(/llms.txt)에 두는 마크다운 파일로, 사이트가 무엇이고 중요한 페이지가 어디 있는지를 AI 도구에 알려 주는 제안 형식입니다. 제목 한 줄, 한두 문장 요약, 주요 페이지 링크 목록으로 구성합니다. 각 페이지의 마크다운 버전을 함께 두면 AI 도구가 HTML을 해석하지 않고 바로 읽을 수 있습니다.

아직 표준 기관이 정한 규격은 아니고, 이것만으로 노출이 늘어난다는 공식 보장도 없습니다. 그래도 만드는 데 몇 분이면 되고 손해가 없습니다. 이 사이트도 /llms.txt와 글마다 마크다운 버전을 두고 있습니다.

인용되기 쉬운 글의 조건

봇이 읽을 수 있게 된 다음에는 글 자체가 인용하기 좋아야 합니다.

  1. 첫 문단에 답을 씁니다. 질문 하나에 두세 문장으로 답하고, 기준 날짜를 함께 적습니다.
  2. 숫자는 표로 정리하고 출처는 링크로 겁니다. AI 챗봇 요금제 비교표처럼 가격·날짜·출처를 한 줄씩 정리하면 인용할 때 틀리기 어렵습니다.
  3. 바뀐 날짜를 남깁니다. 가격이나 정책 글은 수정 날짜와 바뀐 내용을 적어 두면 사람과 AI 모두 최신 여부를 판단하기 쉽습니다.

네이버 블로그는 왜 AI 검색에 잘 안 나오나

2026년 11월 17일 blog.naver.com의 robots.txt를 열어 보면 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, meta-externalagent, Applebot-Extended, CCBot 등을 막고 있습니다. 봇들이 규칙을 지킨다면 네이버 블로그 본문은 이 서비스들의 검색 인용에 쓰이기 어렵습니다. ChatGPT-User, Claude-User, Perplexity-User처럼 사용자가 링크를 직접 줄 때 쓰는 봇은 목록에 없어서, 그런 경우에는 읽힐 수 있습니다. AI 검색 노출이 목표라면 직접 관리하는 사이트에 글을 함께 두는 편이 유리합니다.

자주 묻는 질문

GPTBot을 막으면 챗GPT 검색에 안 나오나요?

나올 수 있습니다. GPTBot은 학습용이고, 챗GPT 검색 결과에는 OAI-SearchBot이 쓰입니다. GPTBot을 막아도 OAI-SearchBot을 열어 두면 검색 답변에 나올 수 있습니다.

Google-Extended를 막으면 구글 검색 순위가 떨어지나요?

구글 문서는 Google-Extended가 구글 검색 포함 여부나 순위에 영향을 주지 않는다고 설명합니다. 제미나이 모델 학습과 그라운딩에 쓸지만 정합니다.

llms.txt를 만들면 AI 검색에 더 잘 나오나요?

llms.txt는 AI 도구가 사이트 구조를 빨리 파악하도록 돕는 제안 형식이고, 이것만으로 노출이 보장되지는 않습니다. 만들기 쉽고 손해 볼 일도 없으니 robots.txt, 사이트맵과 함께 올려 두면 됩니다.

네이버 블로그 글은 AI 검색에 인용되나요?

2026년 11월 17일 blog.naver.com의 robots.txt는 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended 등을 막고 있습니다. 이 봇들이 규칙을 지킨다면 검색용으로 네이버 블로그 본문을 가져가지 못합니다. 다만 사용자가 링크를 직접 주는 경우(ChatGPT-User 등)는 목록에 없어 읽힐 수 있습니다.

출처

2026년 11월 17일에 열어 확인한 자료입니다.

  1. Overview of OpenAI Crawlers (OpenAI) (developers.openai.com)
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude 도움말) (support.claude.com)
  3. Perplexity Crawlers (Perplexity 문서) (docs.perplexity.ai)
  4. Google's common crawlers (Google Search Central) (developers.google.com)
  5. The /llms.txt file (llmstxt.org) (llmstxt.org)
  6. blog.naver.com robots.txt (blog.naver.com)

변경 기록

  • : 첫 게시. OpenAI·Anthropic·Perplexity·Google 크롤러 문서와 llmstxt.org 확인.

이 글은 각 서비스의 공식 자료를 정리한 안내입니다. 해당 회사와 제휴하지 않았고 제휴 링크가 없습니다. 실제 가격과 한도는 결제 화면과 계정 화면이 기준입니다. 광고·제휴 고지 · 편집·검증 원칙