Bots de IA no robots.txt: 7.875 sites, 2026
Muitos sites já bloqueiam robôs de IA, mas com frequência tratam como um só dois tipos de bot diferentes. Os bots de treinamento levam conteúdo para os modelos. Os bots de busca decidem se um site pode aparecer nas respostas da busca do ChatGPT, do Perplexity ou do Claude.…
Muitos sites já bloqueiam robôs de IA, mas com frequência tratam como um só dois tipos de bot diferentes. Os bots de treinamento levam conteúdo para os modelos. Os bots de busca decidem se um site pode aparecer nas respostas da busca do ChatGPT, do Perplexity ou do Claude. Analisamos o robots.txt de 7.875 sites populares em 10 zonas de domínio e vimos que o primeiro tipo é bloqueado com muito mais frequência que o segundo.
Dados: coleta de 10.11.2026
Números-chave
- 19,7% dos sites (1.551 de 7.875) bloqueiam por nome pelo menos um bot de IA de treinamento; 8,5% (669 de 7.875) bloqueiam pelo menos um bot de busca de IA. O Googlebot é bloqueado por 0,1% (9) e o Bingbot por 0,3% (24). Coleta de 10.11.2026.
- 58% dos sites que bloqueiam bots de treinamento (896 de 1.551) deixam abertos os 4 principais bots de busca de IA (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Dos 1.109 sites que bloqueiam o GPTBot, 29% (321) bloqueiam também o OAI-SearchBot.
- Por zona de domínio, pelo menos um bot de treinamento é bloqueado desde 29,7% dos sites de .it (532 sites) até 10,9% de .br (403 sites). Em .pl, 24,9% bloqueiam bots de treinamento, mas só 5,1% bloqueiam bots de busca (587 sites).
- Numa verificação ao vivo de 2.616 páginas iniciais, a requisição com o nome GPTBot foi recusada por 12,8% (336) e a requisição com o nome Googlebot, nosso controle, por 6,8% (178). Dos 247 sites que recusaram o GPTBot mas deixaram o Googlebot passar, 56% (139) não bloqueiam o GPTBot no robots.txt.
- O llms.txt existe em 13,1% dos sites (1.031 de 7.875): em 18,6% dos internacionais e em 5,9% de .fr. Se os sistemas de IA usam esse arquivo, não medimos.
Dois tipos de bots de IA
Os nomes são parecidos, mas a finalidade é diferente. Bloquear um bot de treinamento significa que seu conteúdo não é oferecido para treinar modelos. Bloquear um bot de busca significa que esse serviço pode não encontrar nem citar suas páginas nas respostas. A divisão abaixo segue a documentação de cada empresa.
| Bot | Empresa | Finalidade |
|---|---|---|
| GPTBot | OpenAI | treinamento |
| OAI-SearchBot | OpenAI | busca e respostas |
| ChatGPT-User | OpenAI | a pedido do usuário |
| ClaudeBot | Anthropic | treinamento |
| Claude-SearchBot | Anthropic | busca e respostas |
| PerplexityBot | Perplexity | busca e respostas |
| Google-Extended | modelos Gemini (treinamento e fundamentação) | |
| CCBot | Common Crawl | conjuntos de dados de treinamento |
Um ponto causa a maior confusão. Segundo a documentação do Google, o Google-Extended não afeta a Pesquisa Google nem as AI Overviews: é um controle separado sobre o uso nos modelos Gemini. Para a Pesquisa, o que conta continua sendo o Googlebot.
Quem bloqueia quem
Entre os bots de treinamento, lideram o CCBot com 14,6% (1.149 de 7.875), o GPTBot com 14,1% (1.109) e o Bytespider com 14,0% (1.105); depois vêm o ClaudeBot com 12,7% (1.002), o meta-externalagent com 11,6% (913), o Applebot-Extended com 10,8% (850) e o Google-Extended com 10,7% (842). Os bots de busca e de resposta são bloqueados menos: PerplexityBot 7,0% (549), ChatGPT-User 5,8% (458), OAI-SearchBot 4,1% (326) e Claude-SearchBot 3,3% (260). Os buscadores comuns quase nunca são bloqueados. Outros 2,3% dos sites (185 de 7.875) fecham tudo com uma regra curinga (wildcard) e não entram nos números acima, que contam apenas os bots citados no arquivo.
O treinamento é bloqueado e a busca fica aberta
Dos 1.551 sites que bloqueiam pelo menos um bot de treinamento, 896 (58%) deixam abertos os 4 principais bots de busca de IA (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Parece uma separação deliberada: não entregar conteúdo aos modelos, mas também não sumir das respostas. Com o GPTBot o quadro é menos arrumado. Dos 1.109 sites que o bloqueiam, 321 (29%) bloqueiam também o OAI-SearchBot, então esses sites podem não aparecer na busca do ChatGPT. O dono pode ter querido isso, ou pode ter apenas copiado uma lista de nomes de bots sem separar os dois tipos. O arquivo não permite saber qual é o caso.
As zonas diferem
| Zona | Sites | Bots de treinamento | Bots de busca |
|---|---|---|---|
| .it | 532 | 29,7% | 16,2% |
| .de | 580 | 26,7% | 13,4% |
| .pl | 587 | 24,9% | 5,1% |
| .uk | 425 | 23,8% | 13,4% |
| .fr | 543 | 23,6% | 12,0% |
| .es | 473 | 23,0% | 12,7% |
| internacionais (.com .org .net .io) | 3.216 | 17,2% | 7,5% |
| .pt | 522 | 15,7% | 4,6% |
| .ua | 594 | 12,6% | 2,2% |
| .br | 403 | 10,9% | 3,5% |
O bloqueio é mais comum em .it, .de, .pl, .uk, .fr e .es (de 23,0% a 29,7% para bots de treinamento) e menos comum em .ua e .br (12,6% e 10,9%). Uma zona não é um país: são sites registrados numa zona, não empresas de um país específico. O caso de .pl se destaca: 24,9% bloqueiam bots de treinamento, mas só 5,1% bloqueiam bots de busca (587 sites). Não sabemos por que em .it e .de se bloqueia mais. Uma possível razão é a posição dos editores europeus sobre o uso de seu conteúdo por empresas de IA, mas é uma hipótese que não testamos. Correlação não é causa.
O servidor contra o robots.txt
Uma regra no robots.txt é um pedido, e o servidor pode recusar por conta própria, por meio de uma CDN ou de um firewall. Por isso fizemos uma verificação ao vivo de 2.616 páginas iniciais que devolveram 200 a um navegador. Depois pedimos cada página mais quatro vezes, usando o nome de GPTBot, ClaudeBot, PerplexityBot e Googlebot.
| Nome do bot na requisição | Recusaram |
|---|---|
| GPTBot | 12,8% (336) |
| ClaudeBot | 13,3% (349) |
| PerplexityBot | 9,7% (253) |
| Googlebot (controle) | 6,8% (178) |
O controle importa. Todas as requisições saíram do nosso próprio IP, não de endereços da OpenAI, da Anthropic ou do Google. Um site pode recusar porque vê um bot falso, e não porque o bot real esteja bloqueado. Por isso enviamos também um Googlebot falso: seus 6,8% mostram o nível de fundo da proteção contra falsificações. A diferença acima desse nível é o que aponta para uma regra contra bots de IA por nome. 11,9% dos sites (310 de 2.616) recusaram pelo menos um bot de IA e deixaram passar o Googlebot falso. Dos 247 sites que recusaram o GPTBot mas deixaram o Googlebot passar, 56% (139) não bloqueiam o GPTBot no robots.txt. A recusa ao nosso GPTBot falso não prova que o GPTBot real seja recusado. O que os bots reais recebem, não sabemos.
llms.txt: existe, mas alguém o usa?
O arquivo llms.txt existe em 13,1% dos sites (1.031 de 7.875). Entre os internacionais são 18,6% (599 de 3.216), em .ua 12,1% (72 de 594), em .br 12,2% (49 de 403), em .pl 10,6% (62 de 587), em .de 7,6% (44 de 580) e em .fr 5,9% (32 de 543). O fato de o arquivo existir não significa que os sistemas de IA o usem, e isso não medimos. Há outros dois sinais no robots.txt: uma linha Content-Signal, que indica os usos permitidos do conteúdo e é promovida pela Cloudflare, está em 5,2% dos sites (409 de 7.875), e a marca das regras gerenciadas da Cloudflare em 2,9% (230 de 7.875).
O que fazer
A amostra não diz o que convém a um site específico, mas dela decorrem estes passos:
- Decida separadamente sobre o treinamento e sobre a busca. São duas decisões, não uma.
- Escreva as regras por nome de bot. Um exemplo mínimo que bloqueia o treinamento e deixa a busca aberta:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-SearchBot Allow: /
A lista está abreviada; a completa depende de quais bots você quer deixar de fora. - Verifique se a CDN ou o firewall não cortam os bots de busca de qualquer forma, por exemplo na seção Bots/WAF do painel da CDN e nos logs por user agent. Uma regra no robots.txt não adianta se o servidor os recusa.
- Não bloqueie o Googlebot para ficar fora da IA: o Google-Extended é uma regra separada.
- Leia o robots.txt de novo depois de trocar de CDN ou de hospedagem: regras gerenciadas e padrões podem acrescentar ou remover linhas.
- Adicione o llms.txt se quiser, sem expectativas.
- Revise a lista uma vez por trimestre: surgem bots novos.
Você pode verificar seu próprio robots.txt de graça: verificador de robots.txt da PromoPilot. Ele mostra quais regras valem para quais bots.
Metodologia e limites
Amostra: a lista Tranco (baixada em 10.11.2026). Parte internacional: os primeiros 5.000 domínios de .com, .org, .net e .io. Parte por países: os primeiros 700 domínios de cada uma das 9 zonas (.uk .de .fr .it .es .pt .pl .ua .br). De 11.300 domínios, 7.875 responderam: o robots.txt devolveu 200 como texto, ou 404/410, o que significa que tudo é permitido. Os 3.425 que não responderam são em sua maioria domínios técnicos (CDN, API, rastreadores). A amostra é enviesada para sites populares e não é aleatória. A coleta foi feita em 10.11.2026 a partir de um IP na Europa, com o user agent PromoPilotResearch/1.0; se o HTTPS não respondia, repetíamos com www. Os arquivos foram interpretados pelo RFC 9309: o bot segue o grupo com o próprio nome ou, se não houver, o grupo curinga. Um bot conta como bloqueado por nome quando o grupo dele fecha o caminho «/». Bloqueios parciais (seções isoladas) não são contados. A divisão dos bots segue a documentação da OpenAI, da Anthropic, do Perplexity e do Google. A verificação ao vivo cobriu 3.300 páginas iniciais (1.500 internacionais e 200 por zona), das quais 2.616 devolveram 200 a uma requisição de navegador. Recusa é uma resposta 401, 403, 406, 429, 451 ou 503, ou uma conexão encerrada.
Limites: lemos regras, não como elas são aplicadas; algumas empresas informam que agentes que abrem uma página a pedido de um usuário (ChatGPT-User, Perplexity-User) podem não seguir o robots.txt. A resposta do servidor depende do IP, do horário e da proteção contra bots, e esta é uma única medição. Não classificamos os tipos de site (mídia, lojas), então não os comparamos. A zona não é o país do público.
FAQ
Qual é a diferença entre GPTBot e OAI-SearchBot?
Segundo a documentação da OpenAI, o GPTBot coleta conteúdo que pode ser usado para treinar modelos, enquanto o OAI-SearchBot é usado para encontrar e exibir sites na busca do ChatGPT. São regras separadas no robots.txt. Em nossa amostra, 14,1% dos sites (1.109 de 7.875) bloqueiam o GPTBot por nome e 4,1% (326 de 7.875) bloqueiam o OAI-SearchBot.
Se eu bloquear o GPTBot, meu site some do ChatGPT?
Não apenas por essa regra. A busca fica a cargo de outro bot, o OAI-SearchBot. Dos 1.109 sites que bloqueiam o GPTBot, 29% (321) bloqueiam também o OAI-SearchBot, e esses sites podem não ser exibidos na busca do ChatGPT. Os outros 71% não o bloqueiam. Não medimos o que o ChatGPT mostra nesse caso, então isto descreve regras, não resultados.
O Google-Extended afeta minhas posições no Google?
Segundo a documentação do Google, não. O Google-Extended só controla se o conteúdo é usado nos modelos Gemini e não afeta a Pesquisa Google nem as AI Overviews. Em nossa amostra, 10,7% dos sites (842 de 7.875) o bloqueiam, enquanto o Googlebot é bloqueado por 0,1% (9 de 7.875).
Um site precisa do arquivo llms.txt?
É opcional. 13,1% dos sites de nossa amostra o têm (1.031 de 7.875). Não medimos se os sistemas de IA o leem, então não podemos dizer que ele mude alguma coisa. Adicioná-lo custa pouco, mas não espere nada dele.
Como verificar se meu servidor deixa os bots de IA entrarem?
Verifique duas coisas: as regras do robots.txt e a resposta real do servidor a uma requisição com o nome do bot. Em nossa verificação ao vivo de 2.616 páginas iniciais, 11,9% (310) recusaram pelo menos um bot de IA e deixaram passar um Googlebot falso. Nossas requisições saíram do nosso próprio IP, então o resultado é um indício, não uma prova sobre o bot real. Os logs do servidor e as configurações da CDN mostram o que os bots reais recebem.
Quantos sites bloqueiam bots de IA em 2026?
Em nossa amostra de 7.875 sites populares, 19,7% (1.551) bloqueiam por nome pelo menos um bot de IA de treinamento e 8,5% (669) bloqueiam pelo menos um bot de busca de IA. A amostra é enviesada para sites populares e não abrange todos os sites da internet. Data da coleta: 10.11.2026.
Como citar
PromoPilot (2026). Bots de IA no robots.txt: 7.875 sites. Dados 10.11.2026. CC BY 4,0: https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv . Artigo: https://promopilot.link/pt/blog/bots-ia-no-robots-txt-7875-sites-2026
Baixar os dados
A tabela agregada (CSV, licença CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv. Ela traz agregados por zona de domínio, não listas de domínios.
