Pular para o conteúdo
Alcance e viralização

Robots.txt pra IA em 2026: como deixar ChatGPT, Claude e Perplexity lerem e citarem seu blog

Veja quais robôs de IA o robots.txt controla, a diferença entre busca e treinamento, três modelos prontos pra copiar e como testar o arquivo depois de mudar.

Isaque Coelho
Capa em fundo creme com o título Robots.txt pra IA, quem pode ler o seu blog, e os tópicos Busca ou treinamento, GPTBot e OAI-SearchBot, Google-Extended e Teste depois

Resposta curta: pra ChatGPT, Claude, Perplexity e Google acharem e citarem seu blog, o robots.txt na raiz do domínio não pode bloquear os robôs de busca de cada empresa: OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot. Bloquear GPTBot, ClaudeBot ou Google-Extended é outra decisão, sobre treinamento de modelos. Depois de editar, abra o arquivo e teste.

Muita gente cuida do título, da meta description e dos dados estruturados e esquece de um arquivo de texto de poucas linhas que decide quem pode entrar. Um Disallow: / herdado de um tema, de um plugin ou de uma configuração de CDN tira o site da busca do ChatGPT sem aviso nenhum. Este guia mostra como ler esse arquivo, o que cada robô de IA faz segundo a documentação de cada empresa e três modelos prontos pra copiar.

Se você quer o panorama completo de como ser citado por IA, comece pelo nosso checklist de AEO e GEO. Aqui o foco é só o robots.txt.

O que o robots.txt faz e o que ele não faz

O robots.txt é um arquivo de texto que diz aos rastreadores quais URLs eles podem acessar. A documentação do Google é direta sobre o limite dele: o arquivo serve principalmente pra controlar o tráfego de rastreamento, e não é um jeito de tirar uma página do Google. Uma URL bloqueada ainda pode aparecer nos resultados, sem descrição, se outros sites apontarem pra ela. Pra esconder uma página da busca, o caminho é noindex ou senha.

Outro ponto que vale guardar: obedecer ao robots.txt é voluntário. O Google diz que robôs respeitáveis seguem as regras, mas outros podem ignorar. A Cloudflare repete o aviso: o arquivo expressa sua preferência, não impede o acesso no nível técnico.

Na prática, isso significa duas coisas pra quem tem blog:

  • O robots.txt é a forma de convidar os robôs de busca e de IA que você quer.
  • Ele não é a forma de proteger conteúdo privado. Pra isso, login ou bloqueio no servidor.

Quais robôs de IA existem e pra que serve cada um

Cada empresa separa os robôs por função. Isso importa porque bloquear um não bloqueia o outro. A tabela resume o que cada documentação oficial diz, conferida em 24 de outubro de 2026.

Robô (token no robots.txt)EmpresaFunção segundo a documentação
OAI-SearchBotOpenAIMostrar sites nos resultados de busca do ChatGPT
GPTBotOpenAIRastrear conteúdo que pode ser usado no treinamento de modelos
ChatGPT-UserOpenAIVisitar páginas quando uma pessoa pede algo no ChatGPT
Claude-SearchBotAnthropicMelhorar a qualidade dos resultados de busca do Claude
Claude-UserAnthropicAcessar sites quando uma pessoa faz uma pergunta ao Claude
ClaudeBotAnthropicColetar conteúdo que pode entrar no treinamento de modelos
PerplexityBotPerplexityMostrar e linkar sites nos resultados do Perplexity
Perplexity-UserPerplexityVisitar páginas pra responder a pergunta de uma pessoa
GooglebotGoogleBusca do Google, incluindo Discover e Google Imagens
Google-ExtendedGoogleControlar uso em treinamento e grounding do Gemini

Alguns detalhes que mudam a decisão:

  • OpenAI: segundo a documentação de rastreadores, um site que bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT, embora ainda possa aparecer como link de navegação. A empresa diz que a mudança no robots.txt pode levar cerca de 24 horas pra valer na busca. Sobre o ChatGPT-User, ela avisa que, por ser uma ação iniciada pela pessoa, as regras do robots.txt podem não se aplicar.
  • Anthropic: a página de ajuda do Claude diz que desativar Claude-SearchBot ou Claude-User pode reduzir a visibilidade do site em buscas feitas por usuários. Também diz que bloquear por IP pode não funcionar direito, porque impede o robô de ler o robots.txt, e que a regra precisa estar em cada subdomínio.
  • Perplexity: a documentação de crawlers diz que o PerplexityBot não é usado pra treinar modelos, que o Perplexity-User geralmente ignora o robots.txt por ser um pedido do usuário, e que mudanças podem levar até 24 horas.
  • Google: na lista de rastreadores comuns, o Google-Extended aparece como um token de controle, sem user agent próprio. Segundo o Google, ele não afeta a inclusão do site na Busca nem é sinal de ranqueamento.

As regras de sintaxe que mais derrubam sites

O formato é simples, mas pequenos erros mudam tudo. As regras abaixo vêm da página do Google sobre como criar o arquivo e do RFC 9309, o padrão do protocolo.

  1. Um arquivo por host, na raiz. Tem que se chamar robots.txt e ficar em https://seusite.com/robots.txt. Ele vale só pro protocolo, host e porta onde está. O blog.seusite.com precisa do próprio arquivo.
  2. Texto em UTF-8. O Google pode ignorar caracteres fora desse padrão e invalidar regras.
  3. Grupos começam com User-agent. Cada grupo diz a quem se aplica e o que pode ou não ser acessado. Um robô segue só o grupo mais específico que bate com o nome dele, e não o grupo * ao mesmo tempo. Se você criar um grupo pro GPTBot, repita nele todas as regras que ele deve seguir.
  4. Caminhos diferenciam maiúsculas e minúsculas. Disallow: /Rascunhos/ não bloqueia /rascunhos/. Já o nome do robô no User-agent é comparado sem diferenciar maiúsculas, segundo o RFC.
  5. Vale a regra mais longa. Quando Allow e Disallow batem na mesma URL, o RFC manda usar a regra com mais caracteres. Se empatar, o Allow deve ganhar.
  6. Tudo que não está bloqueado está liberado. Não precisa listar cada pasta permitida.

Um erro comum é o do item 3: alguém cria um grupo User-agent: GPTBot só com Allow: / e esquece que, a partir daí, esse robô ignora os bloqueios do grupo *, como /admin/.

Três modelos de robots.txt pra copiar e adaptar

Troque seusite.com pelo seu domínio e ajuste as pastas privadas. Antes de colar, decida o que você quer quanto a treinamento. Essa escolha é sua e não muda a busca.

Modelo 1: liberar busca e treinamento. Tudo aberto, com as áreas privadas fechadas pra todo mundo.

User-agent: *
Disallow: /admin/
Disallow: /api/

Sitemap: https://seusite.com/sitemap.xml

Modelo 2: liberar busca e bloquear treinamento. Os robôs de busca e de pedido do usuário seguem o grupo *. Os de treinamento ficam de fora.

User-agent: *
Disallow: /admin/
Disallow: /api/

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://seusite.com/sitemap.xml

Um detalhe do Google-Extended: segundo o Google, ele controla o uso tanto em treinamento quanto em grounding nos Gemini Apps e no Vertex AI. Bloquear esse token tira o conteúdo das duas coisas, mas não da Busca.

Modelo 3: liberar a busca do ChatGPT e fechar uma pasta só pra ele. Repare que o grupo próprio repete as regras do *.

User-agent: *
Disallow: /admin/
Disallow: /api/

User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /api/
Disallow: /area-de-membros/

Sitemap: https://seusite.com/sitemap.xml

Um exemplo real: o robots.txt do Otto, conferido em 24 de outubro de 2026, libera o site pra todos, fecha /admin/ e /api/, reabre /api/blog/media/ pra que as imagens do blog possam ser lidas e repete essas regras em grupos próprios pra GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot e PerplexityBot. É o padrão do item 3 aplicado: cada grupo carrega as regras completas.

Quando a CDN ou a hospedagem bloqueia sem você saber

Às vezes o arquivo que você escreveu não é o arquivo que o robô recebe. A Cloudflare tem um recurso de robots.txt gerenciado que, quando ligado com alguma política de bloqueio, coloca diretivas próprias antes do seu arquivo. No exemplo da documentação, o conteúdo inserido bloqueia GPTBot, ClaudeBot, Google-Extended e outros robôs de treinamento. Se o site não tem robots.txt e o recurso está ativo, a Cloudflare cria um arquivo com esses bloqueios.

O mesmo vale pra temas, plugins de SEO e plataformas de site, que às vezes geram o arquivo sozinhos. O Google lembra que, em CMS como Wix ou Blogger, pode não dar pra editar o arquivo direto, e a configuração fica numa tela de busca da plataforma.

A Cloudflare também documenta os Content Signals, linhas como Content-signal: search=yes, ai-train=no que separam três usos: search, ai-input e ai-train. Eles expressam preferência de uso. A própria Cloudflare avisa que o Search Console pode marcar essas linhas como sintaxe não entendida.

Por isso a regra é: confira sempre a versão publicada, e não o arquivo no seu repositório.

Como testar depois de mudar

Um checklist curto, na ordem:

  1. Abra o arquivo no navegador. Digite https://seusite.com/robots.txt e leia o que está lá de verdade, incluindo blocos inseridos pela CDN.
  2. Teste pelo terminal com o nome do robô. curl -A "OAI-SearchBot" https://seusite.com/robots.txt mostra se a resposta muda por user agent. Lembre que user agent pode ser falsificado, então isso testa o arquivo, não a identidade de quem visita.
  3. Abra o relatório de robots.txt no Search Console. Segundo a ajuda do Search Console, ele mostra os arquivos encontrados pros 20 hosts principais da propriedade, quando foram rastreados e os erros e avisos. Depois de desbloquear uma URL importante, dá pra pedir um novo rastreamento do arquivo ali. Se ainda não usa a ferramenta, veja nosso guia do Google Search Console.
  4. Inspecione uma URL do blog. A ferramenta de inspeção de URL do Search Console diz se a página está bloqueada pelo robots.txt.
  5. Espere o prazo de cada empresa. OpenAI e Perplexity falam em cerca de 24 horas. O RFC diz que robôs não devem usar uma versão em cache por mais de 24 horas, salvo quando o arquivo não pode ser acessado.
  6. Confira os logs do servidor depois. Procure os nomes da tabela acima e veja se as visitas continuam chegando nas páginas que você quer citadas.

Com o robots.txt certo, os próximos passos de leitura por IA são o llms.txt e os dados estruturados. E não esqueça das imagens: se a pasta de mídia estiver bloqueada, a capa não aparece no Google Imagens, como explicamos no guia de SEO de imagens.

Onde o Otto entra

O robots.txt abre a porta pros robôs. As pessoas chegam ao artigo de outros jeitos, e um deles são os posts no X, no LinkedIn e no Threads que apontam pra ele. O Otto escreve esses posts na sua voz a partir de um briefing, você revisa e aprova, e ele agenda nas redes. Um artigo como este vira uma semana de posts curtos, cada um com um ângulo: o erro do grupo próprio, a diferença entre robô de busca e de treinamento, o bloqueio escondido na CDN.

Conheça o Otto e transforme seu próximo artigo em posts prontos pra revisar.

Perguntas frequentes

Bloquear o GPTBot tira meu site do ChatGPT? Não da busca, segundo a OpenAI. O GPTBot é o robô de treinamento. Quem coloca o site nos resultados de busca do ChatGPT é o OAI-SearchBot, e as duas configurações são independentes.

Bloquear o Google-Extended prejudica meu SEO? Segundo o Google, não. O token não afeta a inclusão do site na Busca nem é usado como sinal de ranqueamento.

Preciso criar um grupo pra cada robô de IA? Não. Se o grupo User-agent: * já libera o que você quer, os robôs seguem esse grupo. Crie grupo próprio só quando a regra for diferente, e repita nele todas as regras que devem valer.

O robots.txt impede que a IA leia uma página privada? Não. A obediência é voluntária e alguns robôs de pedido do usuário podem não seguir o arquivo. Conteúdo privado precisa de login ou bloqueio no servidor.

Meu site não tem robots.txt. É um problema? A ajuda do Search Console diz que não ter o arquivo é normal e significa que o Google pode rastrear todas as URLs. Mesmo assim, ter um arquivo com o Sitemap e as áreas privadas fechadas deixa sua escolha explícita.

Quanto tempo leva pra mudança valer? OpenAI e Perplexity citam cerca de 24 horas. No Google, dá pra pedir novo rastreamento do arquivo no Search Console, sem garantia de rastreamento imediato das URLs liberadas.

Fontes