SEO
Robots.txt: o que é e como configurar (inclusive para robôs de IA)
A sintaxe que o Google entende, como testar no Search Console, a lista de robôs de IA segundo cada empresa e o que 12 grandes portais do Brasil, dos EUA e da Espanha bloqueiam.
O robots.txt é um arquivo de texto na raiz do seu site que diz aos rastreadores, do Google ou de uma IA, quais partes eles podem visitar. Ele não esconde páginas do Google nem protege nada: é um pedido que os robôs sérios respeitam e os outros ignoram.
A gente conferiu no fim de outubro de 2026, lendo o robots.txt de 12 grandes portais do Brasil, dos EUA e da Espanha: 10 bloqueiam o ClaudeBot, 7 bloqueiam o GPTBot e nenhum bloqueia o Googlebot. A Notablia fez o contrário e deixa todo mundo entrar.
Aqui você vê como o arquivo funciona, como testar, quais robôs de IA existem segundo cada empresa e os erros que tiram um site inteiro do Google. É a porta de entrada do SEO técnico.
Neste guia
O que é robots.txt e o que ele não faz
Robots.txt é um arquivo de texto simples que indica aos rastreadores quais URLs do seu site eles podem pedir e quais não.
O arquivo robots.txt fica na raiz de cada domínio ou subdomínio e segue o Protocolo de Exclusão de Robôs, padronizado como RFC 9309 em 2022. Ele agrupa regras por robô com user-agent, allow e disallow, e serve principalmente para controlar o rastreamento e não sobrecarregar o servidor.
O que ele não faz, segundo a introdução do Google ao robots.txt: impedir que uma página apareça no Google. Se outros sites linkarem para ela, a página pode aparecer nos resultados, só que sem descrição. Também não é segurança: o arquivo é público e cumprir as regras é voluntário.
Como funciona: user-agent, disallow, allow e sitemap
O robots.txt é lido em grupos: cada grupo começa com uma ou mais linhas user-agent e segue com as regras allow e disallow.
Este seria o de uma loja virtual que não quer gastar rastreamento com o carrinho nem com a busca interna.
User-agent: *
Disallow: /carrinho/
Disallow: /busca
Allow: /
Sitemap: https://sualoja.com.br/sitemap.xml| Diretiva | O que faz | Cuidado com |
|---|---|---|
User-agent | A qual robô o grupo se aplica | O * vale para todos que não têm grupo próprio |
Disallow | Caminho que não deve ser rastreado | Diferencia maiúsculas: /Blog/ não é /blog/ |
Allow | Exceção dentro de um bloqueio | Vence a regra mais longa e específica |
Sitemap | Onde está o seu sitemap | Sempre com a URL completa |
Crawl-delay | Pausa entre visitas | O Google ignora; a Anthropic respeita |
A linha Sitemap diz a qualquer robô onde está o seu sitemap XML, mesmo que você não use as ferramentas para webmasters dele.
Um detalhe que quase ninguém conta: quando um robô ganha um grupo próprio, ele deixa de ler o grupo do *. Esqueceu de copiar as regras gerais? Ele rastreia todo o resto.
O que significa disallow?
Disallow quer dizer «não permitir»: o caminho que vem depois não deve ser rastreado. Disallow: /admin/ bloqueia essa pasta, Disallow: / bloqueia o site inteiro e um Disallow: vazio não bloqueia nada. Quando allow e disallow entram em conflito, o Google aplica a regra mais específica e, no empate, a menos restritiva.
Como configurar e testar robots.txt, passo a passo
Para configurar o robots.txt você precisa de um editor de texto, acesso à raiz do site e dez minutos para testar no Search Console.
-
Veja o arquivo que você já tem
Abra seudominio.com.br/robots.txt. Muitas plataformas criam um virtual mesmo que você nunca tenha enviado nada.
-
Decida o que não deve ser rastreado
Carrinho, busca interna, filtros com parâmetros infinitos e ambiente de testes, que só gastam crawl budget. Nunca o CSS nem o JavaScript.
-
Escreva as regras em grupos
Um grupo para todos com o
*e grupos próprios só para os robôs que você vai tratar diferente. Lembre: o grupo próprio substitui o geral. -
Adicione a linha Sitemap
Com a URL completa, no fim do arquivo. Pode colocar mais de uma.
-
Envie para a raiz de cada host
O nome é robots.txt, em minúsculas e em UTF-8. Cada subdomínio e cada protocolo precisam do seu, e o Google ignora o que passar de 500 KiB.
-
Teste no Search Console
O relatório de robots.txt mostra qual arquivo o Google encontrou, quando e com quais erros. Se você desbloqueou algo importante, peça um novo rastreamento por ali: o Google guarda uma cópia por até 24 horas.
Para testar robots.txt, o kit do Google hoje tem três peças: esse relatório, a inspeção de URL para ver se uma URL específica está bloqueada e a biblioteca de código aberto do Google para testar o arquivo no seu computador.
Onde fica o robots.txt no WordPress?
O WordPress gera um robots.txt virtual que bloqueia a pasta /wp-admin/, menos o arquivo admin-ajax.php. Para editar, use o plugin de SEO (Yoast e Rank Math têm editor) ou envie um arquivo real para a raiz por FTP. Não bloqueie /wp-content/ nem /wp-includes/: ali ficam o CSS, o JavaScript e as imagens.
Como testar robots.txt (tester): o arquivo e uma URL
O Google reparte os testes entre algumas ferramentas, então use nesta ordem.
- Ele é público? Abra seudominio.com.br/robots.txt numa janela anônima. Se você vê o texto, o Google também consegue pedir.
- O Google lê direito? O relatório de robots.txt do Search Console só funciona com um arquivo que já está no ar no seu site.
- Esta URL está bloqueada? Cole na inspeção de URL.
- Minhas regras fazem o que eu imagino? Confira à mão com a lógica da especificação do Google.
As regras diferenciam maiúsculas, o * vale por qualquer sequência de caracteres e o $ marca o fim da URL. Assim se comportam três regras, seguindo essa especificação.
| Regra | Bloqueia | Não bloqueia |
|---|---|---|
Disallow: /blog | /blog, /blog.html, /blogs, /blog/promocao, /blog?id=3 | /Blog, /meu-blog, /?secao=blog |
Disallow: /blog/ | /blog/, /blog/promocao | /blog, /blog.html |
Disallow: /*.pdf$ | /catalogo.pdf, /docs/precos.pdf | /catalogo.pdf?v=2, /catalogo.pdf/ |
Quem programa também pode compilar a biblioteca de código aberto do Google e testar o arquivo localmente. E se um testador de terceiros disser "permitida" e o Search Console disser "bloqueada", acredite no Search Console.
Robots.txt no WordPress: o que vem de fábrica e o que adicionar
De fábrica, o WordPress entrega um robots.txt virtual com três linhas: um User-agent para todos, um Disallow para a área administrativa e um Allow para o admin-ajax.php.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpUm descuido comum no lançamento do site é a opção de visibilidade para mecanismos de busca, em Configurações e depois Leitura. Desde o WordPress 5.3 ela não escreve mais um Disallow no robots.txt: coloca uma meta tag robots em cada página. Esquecer é igualmente fácil, então desmarque a opção no dia do lançamento.
Se você vende com WooCommerce, acrescente o carrinho, a finalização da compra e a conta, com os endereços que a sua loja usar, e os parâmetros que geram URLs infinitas.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /carrinho/
Disallow: /finalizar-compra/
Disallow: /minha-conta/
Disallow: /*?orderby=Copie o endereço real de cada página no navegador antes de colar. Teste no relatório do Search Console e não exagere: cada regra a mais é uma página que o Google deixa de ver.
Robôs de IA no robots.txt: GPTBot, ClaudeBot, Google-Extended e companhia
Os robôs de IA são controlados como o Googlebot, pelo user-agent, mas cada empresa separa os robôs que treinam modelos dos que buscam e citam.
Esta é a lista segundo a documentação de cada empresa, consultada no fim de outubro de 2026.
| Empresa | Robô | Para que serve | Se você bloquear |
|---|---|---|---|
| OpenAI | GPTBot | Treinar os modelos | Seu conteúdo não é usado no treino |
| OpenAI | OAI-SearchBot | A busca do ChatGPT | Você sai das respostas com busca |
| OpenAI | ChatGPT-User | Visitas pedidas por um usuário | O robots.txt pode não valer |
| Anthropic | ClaudeBot | Treinar os modelos | Exclui seu conteúdo futuro |
| Anthropic | Claude-SearchBot | A busca do Claude | Menos visibilidade nos resultados |
| Anthropic | Claude-User | Visitas pedidas por um usuário | O Claude não lê você quando pedem |
| Google-Extended | Treinar o Gemini e as respostas com busca dele | Não afeta a Busca do Google | |
| Perplexity | PerplexityBot | O buscador dela | Você some dos links dela |
| Perplexity | Perplexity-User | Visitas pedidas por um usuário | Em geral ignora o robots.txt |
Se você quer fechar a porta para o treino sem sumir dos buscadores de IA, o padrão é este.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: *
Allow: /A Notablia escolheu o contrário: três linhas, todo mundo dentro. Somos um blog que quer ser lido e citado pelas IAs, e bloquear o treino não nos dava nada em troca.
Atenção se o seu site está atrás da Cloudflare. Segundo a documentação dela, atualizada em julho de 2026, a partir de 15 de setembro de 2026 os domínios novos bloqueiam por padrão os robôs de treino e de agente nas páginas com anúncios. O seu robots.txt pode dizer «pode entrar» e a sua CDN, «não».
Bloquear o GPTBot tira você do ChatGPT?
Não. O GPTBot só coleta conteúdo para treino; a busca do ChatGPT usa o OAI-SearchBot. A página da OpenAI sobre os seus rastreadores diz que cada ajuste é independente e que as mudanças levam cerca de 24 horas para valer. Os robôs «-User» são outra história: agem quando alguém pede, como faz um navegador com IA, e nem sempre leem o robots.txt.
Robots.txt ou noindex: qual usar para tirar uma página do Google
Se você quer uma página fora do Google, use noindex e deixe o Google rastrear: se o robots.txt bloquear a página, o Google nunca vai ver o noindex.
| Você quer que... | Use |
|---|---|
| Uma página não apareça no Google | Tag noindex ou cabeçalho X-Robots-Tag |
| O Google não perca tempo com filtros infinitos | Disallow no robots.txt |
| Ninguém veja um conteúdo privado | Senha |
| Seu conteúdo não treine uma IA | Disallow para GPTBot ou ClaudeBot, e Google-Extended |
| Ficar fora das respostas de IA do Google | nosnippet ou noindex, como no resto da Busca |
O Google deixou de aceitar noindex dentro do robots.txt em 2019. E cuidado ao bloquear páginas que recebem backlinks: o Google não vai conseguir ler essas páginas nem seguir os links delas.
Disallow: / e outros erros do robots.txt que derrubam um site
O erro mais caro do robots.txt é levar para o ar o arquivo do ambiente de testes, com um Disallow: / que bloqueia o site inteiro.
Aja como especialista em SEO técnico. Este é o meu robots.txt: [cole aqui]. E estas são as seções do meu site que eu quero no Google: [lista]. Me diga qual regra bloqueia algo que não deveria, quais robôs de IA ficam liberados ou bloqueados segundo a documentação oficial da OpenAI, da Anthropic, do Google e da Perplexity, e proponha uma versão corrigida com um comentário em cada regra.
Perguntas frequentes sobre o robots.txt
Como ver o robots.txt de um site?
Digite o domínio seguido de /robots.txt no navegador, por exemplo folha.uol.com.br/robots.txt. Se aparecer um texto com linhas User-agent, o site tem o arquivo; se aparecer uma página de erro 404, não tem. Lembre que cada subdomínio precisa do seu, então loja.exemplo.com.br e exemplo.com.br podem ter regras diferentes. No seu próprio site, o relatório de robots.txt do Search Console mostra qual arquivo o Google encontrou e quando.
O que é robot?
Na internet, robot, ou robô, é um programa que faz tarefas automáticas, como visitar páginas sem uma pessoa clicando. É o mesmo que bot, que é só a forma curta da palavra. Os buscadores usam robôs para rastrear a web, as empresas de IA usam robôs para ler páginas, e também existem robôs ruins, que copiam conteúdo ou testam senhas. Por isso o arquivo se chama robots.txt: são as instruções para esses visitantes automáticos.
Dá para editar o robots.txt no Wix?
Dá. No painel do site, entre na área de SEO, procure as ferramentas e configurações e abra o Editor de robots.txt. Ali você vê o arquivo atual, escreve suas regras e salva, ou volta à versão padrão com a opção de restaurar. O Wix avisa que é uma função avançada e que o atendimento não ajuda com essas mudanças. Os buscadores leem a nova versão no próximo rastreamento.
O que é user agent?
User agent é o texto com que um programa se identifica ao pedir uma página: o seu navegador informa qual navegador e sistema você usa, e um robô informa o próprio nome, como Googlebot ou GPTBot. No robots.txt, a linha User-agent diz a qual robô as regras de baixo se aplicam. Atenção: o user agent pode ser falsificado, por isso Google, OpenAI e Anthropic também publicam os IPs dos seus robôs para você confirmar a visita.
O que é Googlebot?
Googlebot é o robô que o Google usa para rastrear a web e alimentar a Busca. Ele visita as páginas, lê o conteúdo e segue os links, nas versões para celular e para computador. É o nome que vai no User-agent quando você quer uma regra só para o Google. Outros robôs do Google têm nomes próprios, como o Googlebot-Image, e o Google-Extended nem é um robô: é uma marcação para decidir sobre o uso do seu conteúdo no Gemini.
O que é noindex?
Noindex é uma instrução que pede ao Google para não mostrar uma página nos resultados. Ela pode ir no código da página, como meta tag robots, ou no cabeçalho HTTP, como X-Robots-Tag, que serve também para PDFs. No WordPress, os plugins de SEO têm uma opção por página para ativar. O detalhe que confunde: o Google precisa rastrear a página para ver o noindex, por isso ela não pode estar bloqueada no robots.txt.