30초 핵심 요약
robots.txt는 AI 크롤러가 내 사이트를 읽을 수 있는지를 결정하는 파일입니다. 여기서 AI 봇을 막으면 ChatGPT·퍼플렉시티 같은 AI가 사이트를 아예 읽지 못해 답변에 인용될 수 없습니다. 그래서 오픈타임 K-GEO 진단에서도 robots.txt는 100점 중 35점으로 가장 큰 비중을 차지합니다. 핵심은 검색·인용용 크롤러(OAI-SearchBot·PerplexityBot·Googlebot·Bingbot)를 반드시 허용하는 것입니다.
AI 크롤러가 무엇이고 왜 robots.txt가 중요한가요?
AI 크롤러는 ChatGPT·퍼플렉시티·제미나이 같은 생성형 AI가 웹을 읽기 위해 보내는 자동 수집 봇입니다. robots.txt는 사이트 최상단(example.com/robots.txt)에 두는 파일로, 어떤 봇의 접근을 허용·차단할지 지시합니다. AI 봇이 여기서 Disallow: /로 막혀 있으면, 그 AI는 사이트 내용을 읽지 못하고 답변에 인용할 수도 없습니다.
오픈타임 K-GEO 진단은 AI 크롤러 허용 여부를 가장 먼저, 가장 무겁게 봅니다. 7개 진단 항목 중 robots.txt가 35점으로 최대 비중인 이유가 여기 있습니다. 다른 항목을 아무리 잘 갖춰도 크롤러가 막혀 있으면 인용은 0에서 시작하기 때문입니다. (K-GEO 진단 점수 해석법에서 7개 항목 배점을 정리했습니다.)
어떤 AI 크롤러를 허용해야 하나요?
AI 크롤러는 크게 두 종류입니다. 하나는 모델 학습용(콘텐츠를 학습 데이터로 수집), 다른 하나는 검색·인용용(사용자 질문에 답하며 실시간으로 읽고 출처로 인용)입니다. AI 답변에 인용되고 싶다면 검색·인용용 크롤러는 반드시 허용해야 합니다. 학습용은 데이터 활용이 꺼려지면 선택적으로 막을 수 있습니다.
| 크롤러 | 주체 | 유형 | 권장 |
|---|---|---|---|
| OAI-SearchBot · ChatGPT-User | OpenAI(ChatGPT) | 검색·인용 | 허용 |
| PerplexityBot · Perplexity-User | Perplexity | 검색·인용 | 허용 |
| Googlebot | Google(AI 개요 포함) | 검색·인용 | 허용 |
| Bingbot | Microsoft(Copilot) | 검색·인용 | 허용 |
| ClaudeBot · anthropic-ai | Anthropic(Claude) | 학습/접근 | 허용 권장 |
| GPTBot | OpenAI | 학습 | 선택(막아도 검색용은 영향 적음) |
| Google-Extended | Google(Gemini 학습) | 학습 | 선택 |
| CCBot | Common Crawl | 학습 | 선택 |
정리하면, 학습 데이터 수집이 꺼려지면 GPTBot·Google-Extended·CCBot 정도만 막고, 검색·인용용인 OAI-SearchBot·PerplexityBot·Googlebot·Bingbot은 허용하는 것이 권장됩니다. 오픈타임 진단은 이런 주요 AI 크롤러 22종의 허용 여부를 점검합니다.
robots.txt는 어떻게 점검하고 고치나요?
먼저 브라우저에서 내도메인.com/robots.txt를 열어 봅니다. 특정 AI 봇 아래에 Disallow: /가 있으면 그 봇은 사이트 전체를 못 읽습니다. 검색·인용용 봇이 막혀 있다면 해당 줄을 제거하거나 Allow: /로 바꿉니다. 가장 안전한 기본형은 다음과 같습니다.
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /robots.txt는 AI 노출의 “필요조건”이지 충분조건은 아닙니다. 크롤러를 허용한 뒤에는 구조화 데이터·llms.txt·답변형 콘텐츠가 더해져야 실제 인용으로 이어집니다. 사이트맵·canonical·메타 등 나머지 기술 세팅은 AI 검색 기술 세팅 점검 글에서 함께 다룹니다.
오픈타임은 이 점검을 어떻게 돕나요?
오픈타임은 부산에서 운영하며 한국 전국을 서비스하는 한국 최초 K-GEO(한국형 Generative Engine Optimization) 진단 도구이자 AI 검색 최적화 컨설팅 업체입니다. 30초 무료 진단으로 robots.txt의 AI 크롤러 허용 상태를 포함한 7개 항목을 점검하고, ChatGPT·퍼플렉시티·제미나이·그록·클로드 글로벌 5엔진의 노출을 실측하며 네이버 AI 브리핑은 별도로 관측합니다. 의료·법률·세무 등 한국 전문직 8대 카테고리 맥락에서 GEO/AEO 서비스를 운영하고 있습니다.
내 robots.txt가 AI 크롤러를 막고 있는지 궁금하다면, 오픈타임 30초 무료 K-GEO 진단으로 바로 확인할 수 있습니다.
자주 묻는 질문
GPTBot을 막으면 ChatGPT 답변에서 사라지나요?
꼭 그렇지는 않습니다. GPTBot은 주로 모델 학습용 크롤러이고, ChatGPT가 실시간 검색으로 사이트를 읽을 때는 OAI-SearchBot·ChatGPT-User를 사용합니다. 따라서 인용을 원한다면 GPTBot 차단 여부보다 OAI-SearchBot 허용 여부가 더 중요합니다.
robots.txt만 열어두면 AI에 인용되나요?
아닙니다. robots.txt 허용은 AI가 사이트를 읽을 수 있게 하는 “입장권”일 뿐입니다. 실제 인용은 구조화 데이터(JSON-LD), llms.txt, 답변형 콘텐츠, 외부 출처의 일관된 언급 같은 신호가 더해져야 만들어집니다.
왜 K-GEO 진단에서 robots.txt가 35점으로 가장 큰가요?
크롤러가 막히면 다른 모든 항목이 무의미해지기 때문입니다. 콘텐츠·스키마·llms.txt가 아무리 좋아도 AI가 읽지 못하면 인용 후보에 들 수 없습니다. 그래서 100점 중 35점을 robots.txt에 둡니다.
학습용 크롤러(GPTBot 등)는 막는 게 좋나요?
선택입니다. 콘텐츠가 모델 학습에 쓰이는 것이 꺼려지면 GPTBot·Google-Extended·CCBot을 막을 수 있습니다. 다만 검색·인용용 크롤러(OAI-SearchBot·PerplexityBot·Googlebot·Bingbot)는 허용해야 AI 답변 인용 기회를 잃지 않습니다.
근거 출처
| 출처 | 인용 내용 |
|---|---|
| 프린스턴 GEO-bench (arXiv 2311.09735) | 인용 친화적 구조화로 AI 답변 가시성 최대 +40% |
| 오픈타임 K-GEO 진단(class-geo-site-audit) | robots.txt 35점 — 7개 항목 중 최대 비중, AI 크롤러 22종 점검 |
| 네이버 AI 브리핑 (2025년 출시, HyperCLOVA X) | 한국 통합검색 AI 답변 영역 — K-GEO 핵심 맥락 |
작성: 박정윤(오픈타임 대표·K-GEO 카테고리 정의자). 본 글은 2026년 기준이며 크롤러 정책·진단 배점은 현재 기준입니다. 다음 갱신 예정일은 2026년 9월입니다.
검증 출처
| 출처 | 내용 |
|---|---|
| OpenAI 크롤러 공식 문서 | GPTBot·OAI-SearchBot·ChatGPT-User를 robots.txt로 개별 제어하는 방법 |
| Anthropic ClaudeBot 공식 안내 | ClaudeBot을 robots.txt로 차단·허용하는 방법(공식 지원 문서) |
📚 상위 가이드: AI 검색 최적화 방법 — GEO 7단계로 AI에 인용되기 — 이 글이 속한 ‘AI 검색 최적화 실행·기술’ 주제 전체를 한눈에 볼 수 있습니다.