Google sobre robots.txt: use percent-encoding em caminhos não ingleses e cite os crawlers de IA explicitamente
Em 21 de outubro de 2026, o Google Search Central publicou um vídeo sobre o que pode entrar no robots.txt. O que ele diz sobre caminhos não ingleses, linhas inválidas e crawlers de IA, e um checklist rápido para o seu próprio arquivo.
Em 21 de outubro de 2026, o canal Google Search Central publicou o segundo episódio da série Non-Canonical Cabinet, "What can you actually put in a robots.txt?", com Gary Illyes e Cherry Prommawin. O Google não anunciou regras novas: trata-se de um esclarecimento sobre o que o arquivo faz e o que não faz. Isso importa principalmente para sites com URLs que não estão em inglês e para quem escreve regras para crawlers de IA. Abaixo: o que está confirmado e de onde vem a informação, o que isso pode significar para o seu site e o que verificar em uma noite.
O que aconteceu e de onde vem a informação
O episódio está no canal do Google Search Central no YouTube. A data, 21 de outubro, e o conteúdo do episódio seguem o que foi relatado pelo Search Engine Roundtable e pelo Search Engine Journal (links no final); nós mesmos não transcrevemos o vídeo. Quando a documentação do Google confirma um ponto, indicamos isso.
- Segundo os relatos, os apresentadores descreveram o robots.txt como um protocolo de preferências de acesso (RFC 9309): ele controla quais URLs um crawler pode solicitar, não o que acontece com os dados depois.
- Segundo os relatos, uma linha que o parser não entende é descartada silenciosamente. A documentação confirma: o Google oferece suporte a quatro campos (user-agent, allow, disallow, sitemap), não oferece suporte a crawl-delay e ignora linhas inválidas.
- Segundo os relatos, para bloquear um crawler de IA específico, a regra deve citar o token de user-agent desse crawler. Textos personalizados são ignorados.
- Segundo os relatos, Cherry Prommawin recomendou escrever caminhos que não estão em inglês na forma percent-encoded, porque o parser do Google lida bem com caracteres brutos, mas outros crawlers podem não lidar. A documentação confirma o lado do Google: os caminhos das regras podem estar em UTF-8 bruto ou percent-encoded, o Google os compara na forma percent-encoded, e o próprio arquivo deve estar em UTF-8.
O que isso pode significar para o dono de um site
- URLs não ingleses. Se os seus caminhos contêm cirílico, letras polonesas ou emojis, uma regra em formato bruto funciona no Google, segundo a documentação dele, mas outro crawler pode interpretá-la de forma diferente. A forma com percent-encoding é a mais segura para escrever. Isso é uma precaução, não um fator de ranqueamento.
- Erros de digitação e diretivas inventadas não fazem nada. Uma linha que o parser não reconhece é descartada, então a página continua aberta para rastreamento, como se a linha não existisse.
- Crawlers de IA precisam de regras próprias. Uma linha de aparência genérica não basta; a regra precisa citar o token do crawler a que você se refere. E o robots.txt apenas pede que os bots que seguem as regras fiquem de fora. Ele não protege conteúdo privado.
- Nada aqui promete uma mudança no ranqueamento. O episódio fala sobre como o arquivo é lido, não sobre como as páginas são ranqueadas.
O que verificar agora
Abra o seu arquivo e leia as regras
Passe o domínio pelo verificador de robots.txt: ele mostra as regras Allow e Disallow, os user-agents, as linhas Sitemap e avisos, como um site totalmente bloqueado. Ele não tem teste de URL individual, então, para uma URL específica, use o relatório do robots.txt no Search Console.
Encontre caminhos com caracteres não ingleses
Compare as linhas Disallow e Allow com URLs reais do site. Se um caminho tiver cirílico, diacríticos ou emojis em forma bruta, considere reescrevê-lo em formato percent-encoded. O gerador de robots.txt pode ajudar você a montar uma versão limpa.
Liste suas regras para crawlers de IA
Anote quais crawlers você quer bloquear ou permitir e confira se cada regra usa o token de user-agent correto. O mesmo gerador tem predefinições para crawlers de IA.
Verifique se o arquivo e as páginas principais respondem
Abra o endereço do arquivo e algumas páginas principais no verificador de status HTTP. O arquivo deve responder com 200, e as páginas que você quer indexadas não devem ser bloqueadas por engano. Depois, valide o sitemap listado no arquivo com o verificador de sitemap.
Veja quais páginas geram impressões
Antes de bloquear qualquer coisa, veja quais páginas já recebem impressões. O SEO Radar mostra essas páginas, para que você não feche uma página útil por engano.
O que ainda não sabemos
- Quais crawlers além do Google realmente interpretam mal caminhos brutos não ingleses. Os relatos dizem "podem", sem apresentar uma lista.
- Se a documentação do Google vai mudar. Na documentação que lemos, tanto caminhos em UTF-8 bruto quanto percent-encoded são permitidos.
- Qualquer efeito nos rankings. Nada nos relatos nem na documentação menciona isso.
- A redação exata do vídeo: nos baseamos em dois relatos e na documentação, não em uma transcrição.
Fontes: Google Search Central, vídeo "What can you actually put in a robots.txt?"; Google Search Central, documentação do robots.txt; Search Engine Roundtable, 21 de outubro de 2026; Search Engine Journal, 22 de outubro de 2026. Preparado pela equipe do PromoPilot.
