# Robots.txt pra IA em 2026: como deixar ChatGPT, Claude e Perplexity lerem e citarem seu blog Veja quais robôs de IA o robots.txt controla, a diferença entre busca e treinamento, três modelos prontos pra copiar e como testar o arquivo depois de mudar. Fonte: https://otto.doti.gg/blog/robots-txt-pra-ia-em-2026-como-deixar-chatgpt-claude-e-perplexity-lerem-e-citarem-seu-blog Autor: Isaque Coelho Publicado: 2026-10-24T19:59:20.808Z Atualizado: 2026-10-24T19:59:20.808Z Categoria: Alcance e viralização ![Capa em fundo creme com o título Robots.txt pra IA, quem pode ler o seu blog, e os tópicos Busca ou treinamento, GPTBot e OAI-SearchBot, Google-Extended e Teste depois](https://otto.doti.gg/api/blog/media/01a16f7e-eb49-723e-91cc-38eb50ce782a) **Resposta curta:** pra ChatGPT, Claude, Perplexity e Google acharem e citarem seu blog, o robots.txt na raiz do domínio não pode bloquear os robôs de busca de cada empresa: OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot. Bloquear GPTBot, ClaudeBot ou Google-Extended é outra decisão, sobre treinamento de modelos. Depois de editar, abra o arquivo e teste. Muita gente cuida do título, da meta description e dos dados estruturados e esquece de um arquivo de texto de poucas linhas que decide quem pode entrar. Um `Disallow: /` herdado de um tema, de um plugin ou de uma configuração de CDN tira o site da busca do ChatGPT sem aviso nenhum. Este guia mostra como ler esse arquivo, o que cada robô de IA faz segundo a documentação de cada empresa e três modelos prontos pra copiar. Se você quer o panorama completo de como ser citado por IA, comece pelo nosso [checklist de AEO e GEO](https://otto.doti.gg/blog/aeo-e-geo-em-2026-como-ser-citado-por-ia-e-pelo-google-com-um-checklist-tecnico-e-de-escrita). Aqui o foco é só o robots.txt. ## O que o robots.txt faz e o que ele não faz O robots.txt é um arquivo de texto que diz aos rastreadores quais URLs eles podem acessar. A [documentação do Google](https://developers.google.com/search/docs/crawling-indexing/robots/intro) é direta sobre o limite dele: o arquivo serve principalmente pra controlar o tráfego de rastreamento, e não é um jeito de tirar uma página do Google. Uma URL bloqueada ainda pode aparecer nos resultados, sem descrição, se outros sites apontarem pra ela. Pra esconder uma página da busca, o caminho é `noindex` ou senha. Outro ponto que vale guardar: obedecer ao robots.txt é voluntário. O Google diz que robôs respeitáveis seguem as regras, mas outros podem ignorar. A [Cloudflare](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/) repete o aviso: o arquivo expressa sua preferência, não impede o acesso no nível técnico. Na prática, isso significa duas coisas pra quem tem blog: - O robots.txt é a forma de **convidar** os robôs de busca e de IA que você quer. - Ele não é a forma de **proteger** conteúdo privado. Pra isso, login ou bloqueio no servidor. ## Quais robôs de IA existem e pra que serve cada um Cada empresa separa os robôs por função. Isso importa porque bloquear um não bloqueia o outro. A tabela resume o que cada documentação oficial diz, conferida em 24 de outubro de 2026. | Robô (token no robots.txt) | Empresa | Função segundo a documentação | | --- | --- | --- | | `OAI-SearchBot` | OpenAI | Mostrar sites nos resultados de busca do ChatGPT | | `GPTBot` | OpenAI | Rastrear conteúdo que pode ser usado no treinamento de modelos | | `ChatGPT-User` | OpenAI | Visitar páginas quando uma pessoa pede algo no ChatGPT | | `Claude-SearchBot` | Anthropic | Melhorar a qualidade dos resultados de busca do Claude | | `Claude-User` | Anthropic | Acessar sites quando uma pessoa faz uma pergunta ao Claude | | `ClaudeBot` | Anthropic | Coletar conteúdo que pode entrar no treinamento de modelos | | `PerplexityBot` | Perplexity | Mostrar e linkar sites nos resultados do Perplexity | | `Perplexity-User` | Perplexity | Visitar páginas pra responder a pergunta de uma pessoa | | `Googlebot` | Google | Busca do Google, incluindo Discover e Google Imagens | | `Google-Extended` | Google | Controlar uso em treinamento e grounding do Gemini | Alguns detalhes que mudam a decisão: - **OpenAI:** segundo a [documentação de rastreadores](https://developers.openai.com/api/docs/bots), um site que bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, embora ainda possa aparecer como link de navegação. A empresa diz que a mudança no robots.txt pode levar cerca de 24 horas pra valer na busca. Sobre o ChatGPT-User, ela avisa que, por ser uma ação iniciada pela pessoa, as regras do robots.txt podem não se aplicar. - **Anthropic:** a [página de ajuda do Claude](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) diz que desativar Claude-SearchBot ou Claude-User pode reduzir a visibilidade do site em buscas feitas por usuários. Também diz que bloquear por IP pode não funcionar direito, porque impede o robô de ler o robots.txt, e que a regra precisa estar em cada subdomínio. - **Perplexity:** a [documentação de crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers) diz que o PerplexityBot não é usado pra treinar modelos, que o Perplexity-User geralmente ignora o robots.txt por ser um pedido do usuário, e que mudanças podem levar até 24 horas. - **Google:** na [lista de rastreadores comuns](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), o Google-Extended aparece como um token de controle, sem user agent próprio. Segundo o Google, ele não afeta a inclusão do site na Busca nem é sinal de ranqueamento. ## As regras de sintaxe que mais derrubam sites O formato é simples, mas pequenos erros mudam tudo. As regras abaixo vêm da [página do Google sobre como criar o arquivo](https://developers.google.com/crawling/docs/robots-txt/create-robots-txt) e do [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309.html), o padrão do protocolo. 1. **Um arquivo por host, na raiz.** Tem que se chamar `robots.txt` e ficar em `https://seusite.com/robots.txt`. Ele vale só pro protocolo, host e porta onde está. O `blog.seusite.com` precisa do próprio arquivo. 2. **Texto em UTF-8.** O Google pode ignorar caracteres fora desse padrão e invalidar regras. 3. **Grupos começam com `User-agent`.** Cada grupo diz a quem se aplica e o que pode ou não ser acessado. Um robô segue só o grupo mais específico que bate com o nome dele, e não o grupo `*` ao mesmo tempo. Se você criar um grupo pro GPTBot, repita nele todas as regras que ele deve seguir. 4. **Caminhos diferenciam maiúsculas e minúsculas.** `Disallow: /Rascunhos/` não bloqueia `/rascunhos/`. Já o nome do robô no `User-agent` é comparado sem diferenciar maiúsculas, segundo o RFC. 5. **Vale a regra mais longa.** Quando `Allow` e `Disallow` batem na mesma URL, o RFC manda usar a regra com mais caracteres. Se empatar, o `Allow` deve ganhar. 6. **Tudo que não está bloqueado está liberado.** Não precisa listar cada pasta permitida. Um erro comum é o do item 3: alguém cria um grupo `User-agent: GPTBot` só com `Allow: /` e esquece que, a partir daí, esse robô ignora os bloqueios do grupo `*`, como `/admin/`. ## Três modelos de robots.txt pra copiar e adaptar Troque `seusite.com` pelo seu domínio e ajuste as pastas privadas. Antes de colar, decida o que você quer quanto a treinamento. Essa escolha é sua e não muda a busca. **Modelo 1: liberar busca e treinamento.** Tudo aberto, com as áreas privadas fechadas pra todo mundo. ``` User-agent: * Disallow: /admin/ Disallow: /api/ Sitemap: https://seusite.com/sitemap.xml ``` **Modelo 2: liberar busca e bloquear treinamento.** Os robôs de busca e de pedido do usuário seguem o grupo `*`. Os de treinamento ficam de fora. ``` User-agent: * Disallow: /admin/ Disallow: /api/ User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / Sitemap: https://seusite.com/sitemap.xml ``` Um detalhe do Google-Extended: segundo o Google, ele controla o uso tanto em treinamento quanto em grounding nos Gemini Apps e no Vertex AI. Bloquear esse token tira o conteúdo das duas coisas, mas não da Busca. **Modelo 3: liberar a busca do ChatGPT e fechar uma pasta só pra ele.** Repare que o grupo próprio repete as regras do `*`. ``` User-agent: * Disallow: /admin/ Disallow: /api/ User-agent: OAI-SearchBot Disallow: /admin/ Disallow: /api/ Disallow: /area-de-membros/ Sitemap: https://seusite.com/sitemap.xml ``` Um exemplo real: o [robots.txt do Otto](https://otto.doti.gg/robots.txt), conferido em 24 de outubro de 2026, libera o site pra todos, fecha `/admin/` e `/api/`, reabre `/api/blog/media/` pra que as imagens do blog possam ser lidas e repete essas regras em grupos próprios pra GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot e PerplexityBot. É o padrão do item 3 aplicado: cada grupo carrega as regras completas. ### Quando a CDN ou a hospedagem bloqueia sem você saber Às vezes o arquivo que você escreveu não é o arquivo que o robô recebe. A Cloudflare tem um recurso de robots.txt gerenciado que, quando ligado com alguma política de bloqueio, coloca diretivas próprias **antes** do seu arquivo. No exemplo da documentação, o conteúdo inserido bloqueia GPTBot, ClaudeBot, Google-Extended e outros robôs de treinamento. Se o site não tem robots.txt e o recurso está ativo, a Cloudflare cria um arquivo com esses bloqueios. O mesmo vale pra temas, plugins de SEO e plataformas de site, que às vezes geram o arquivo sozinhos. O Google lembra que, em CMS como Wix ou Blogger, pode não dar pra editar o arquivo direto, e a configuração fica numa tela de busca da plataforma. A Cloudflare também documenta os Content Signals, linhas como `Content-signal: search=yes, ai-train=no` que separam três usos: `search`, `ai-input` e `ai-train`. Eles expressam preferência de uso. A própria Cloudflare avisa que o Search Console pode marcar essas linhas como sintaxe não entendida. Por isso a regra é: confira sempre a versão publicada, e não o arquivo no seu repositório. ## Como testar depois de mudar Um checklist curto, na ordem: 1. **Abra o arquivo no navegador.** Digite `https://seusite.com/robots.txt` e leia o que está lá de verdade, incluindo blocos inseridos pela CDN. 2. **Teste pelo terminal com o nome do robô.** `curl -A "OAI-SearchBot" https://seusite.com/robots.txt` mostra se a resposta muda por user agent. Lembre que user agent pode ser falsificado, então isso testa o arquivo, não a identidade de quem visita. 3. **Abra o relatório de robots.txt no Search Console.** Segundo a [ajuda do Search Console](https://support.google.com/webmasters/answer/6062598?hl=pt-BR), ele mostra os arquivos encontrados pros 20 hosts principais da propriedade, quando foram rastreados e os erros e avisos. Depois de desbloquear uma URL importante, dá pra pedir um novo rastreamento do arquivo ali. Se ainda não usa a ferramenta, veja nosso [guia do Google Search Console](https://otto.doti.gg/blog/google-search-console-em-2026-como-saber-se-os-posts-do-blog-aparecem-no-google-e-ganham-clique). 4. **Inspecione uma URL do blog.** A ferramenta de inspeção de URL do Search Console diz se a página está bloqueada pelo robots.txt. 5. **Espere o prazo de cada empresa.** OpenAI e Perplexity falam em cerca de 24 horas. O RFC diz que robôs não devem usar uma versão em cache por mais de 24 horas, salvo quando o arquivo não pode ser acessado. 6. **Confira os logs do servidor depois.** Procure os nomes da tabela acima e veja se as visitas continuam chegando nas páginas que você quer citadas. Com o robots.txt certo, os próximos passos de leitura por IA são o [llms.txt](https://otto.doti.gg/blog/llms-txt-em-2026-o-que-e-se-o-google-usa-e-como-criar-o-seu-pra-agentes-de-ia-acharem-seu-conteudo) e os [dados estruturados](https://otto.doti.gg/blog/dados-estruturados-em-2026-como-usar-schema-no-blog-pro-google-e-a-ia-entenderem-cada-post). E não esqueça das imagens: se a pasta de mídia estiver bloqueada, a capa não aparece no Google Imagens, como explicamos no guia de [SEO de imagens](https://otto.doti.gg/blog/seo-de-imagens-em-2026-como-fazer-as-imagens-do-blog-aparecerem-no-google-imagens-no-discover-e-na-i). ## Onde o Otto entra O robots.txt abre a porta pros robôs. As pessoas chegam ao artigo de outros jeitos, e um deles são os posts no X, no LinkedIn e no Threads que apontam pra ele. O Otto escreve esses posts na sua voz a partir de um briefing, você revisa e aprova, e ele agenda nas redes. Um artigo como este vira uma semana de posts curtos, cada um com um ângulo: o erro do grupo próprio, a diferença entre robô de busca e de treinamento, o bloqueio escondido na CDN. [Conheça o Otto](https://otto.doti.gg) e transforme seu próximo artigo em posts prontos pra revisar. ## Perguntas frequentes **Bloquear o GPTBot tira meu site do ChatGPT?** Não da busca, segundo a OpenAI. O GPTBot é o robô de treinamento. Quem coloca o site nos resultados de busca do ChatGPT é o OAI-SearchBot, e as duas configurações são independentes. **Bloquear o Google-Extended prejudica meu SEO?** Segundo o Google, não. O token não afeta a inclusão do site na Busca nem é usado como sinal de ranqueamento. **Preciso criar um grupo pra cada robô de IA?** Não. Se o grupo `User-agent: *` já libera o que você quer, os robôs seguem esse grupo. Crie grupo próprio só quando a regra for diferente, e repita nele todas as regras que devem valer. **O robots.txt impede que a IA leia uma página privada?** Não. A obediência é voluntária e alguns robôs de pedido do usuário podem não seguir o arquivo. Conteúdo privado precisa de login ou bloqueio no servidor. **Meu site não tem robots.txt. É um problema?** A ajuda do Search Console diz que não ter o arquivo é normal e significa que o Google pode rastrear todas as URLs. Mesmo assim, ter um arquivo com o `Sitemap` e as áreas privadas fechadas deixa sua escolha explícita. **Quanto tempo leva pra mudança valer?** OpenAI e Perplexity citam cerca de 24 horas. No Google, dá pra pedir novo rastreamento do arquivo no Search Console, sem garantia de rastreamento imediato das URLs liberadas. ## Fontes - Google Search Central: [Introdução ao robots.txt](https://developers.google.com/search/docs/crawling-indexing/robots/intro), conferida em 24 de outubro de 2026. - Google: [Como criar e enviar um arquivo robots.txt](https://developers.google.com/crawling/docs/robots-txt/create-robots-txt), conferida em 24 de outubro de 2026. - Google: [Lista de rastreadores comuns do Google](https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers), incluindo Google-Extended, conferida em 24 de outubro de 2026. - Ajuda do Search Console: [Relatório robots.txt](https://support.google.com/webmasters/answer/6062598?hl=pt-BR), conferida em 24 de outubro de 2026. - IETF: [RFC 9309, Robots Exclusion Protocol](https://www.rfc-editor.org/rfc/rfc9309.html), conferida em 24 de outubro de 2026. - OpenAI: [Overview of OpenAI Crawlers](https://developers.openai.com/api/docs/bots), conferida em 24 de outubro de 2026. - Anthropic: [Does Anthropic crawl data from the web, and how can site owners block the crawler?](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler), conferida em 24 de outubro de 2026. - Perplexity: [Perplexity Crawlers](https://docs.perplexity.ai/docs/resources/perplexity-crawlers), conferida em 24 de outubro de 2026. - Cloudflare: [robots.txt setting](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/), conferida em 24 de outubro de 2026. - Otto: [robots.txt publicado](https://otto.doti.gg/robots.txt), conferido em 24 de outubro de 2026.