O que é llms.txt e você precisa dele?
llms.txt é um arquivo Markdown simples, colocado na raiz de um site, em /llms.txt, que fornece a um modelo de linguagem uma descrição curta do site e uma lista selecionada das páginas mais úteis. Ele foi proposto por Jeremy Howard, da Answer.AI, em setembro de 2024 e está descrito em llmstxt.org. A resposta curta para "preciso dele?": ele é útil para documentação, APIs e produtos que as pessoas usam por meio de assistentes de IA, leva pouco tempo para criar, e não altera seus rankings no Google, porque o Google já disse que a Search o ignora.
O que é o llms.txt e como ele é
Uma página web é feita para pessoas: menus, banners, scripts e avisos de cookies cercam o conteúdo real. Extrair a parte útil é trabalho extra para um modelo, e a janela de contexto dele é limitada. O llms.txt resolve isso oferecendo um mapa escolhido a dedo, em um formato que os modelos leem com facilidade. A especificação define a ordem dos blocos; apenas o primeiro é obrigatório:
- Um H1 com o nome do projeto ou do site: a primeira linha do arquivo.
- Uma citação em bloco com um resumo curto: de uma a três frases com os fatos principais.
- Detalhes opcionais: parágrafos ou listas que explicam como usar o arquivo, termos ou limitações.
- Seções H2 com listas de links, cada um sendo um link em Markdown, opcionalmente seguido de dois-pontos e uma observação.
# Padaria Exemplo > Padaria artesanal em Kiev: pão de fermentação natural, doces > e entrega em toda a cidade das 8:00 às 20:00. Os pedidos são aceitos no site e por telefone. ## Catálogo - [Pão de fermentação natural](https://example.com/bread): Ingredientes, peso e preços - [Doces](https://example.com/pastry): Croissants, pãezinhos, cardápio sazonal ## Entrega - [Entrega](https://example.com/delivery): Zonas, custo e prazos ## Optional - [Nossa história](https://example.com/about)
Uma seção chamada Optional tem um significado especial: uma ferramenta com pouco contexto disponível pode ignorá-la. A especificação também sugere disponibilizar versões limpas em Markdown das páginas no mesmo endereço com .md no final, mas essa parte é opcional e a maioria dos sites aponta para páginas HTML comuns.
llms-full.txt e outras variantes
llms-full.txt é uma convenção popularizada por plataformas de documentação: em vez de links, um único arquivo contém o texto completo da documentação, para que uma ferramenta possa carregar tudo de uma vez. Ele não faz parte da proposta original, que descreve arquivos expandidos chamados llms-ctx.txt e llms-ctx-full.txt. Um arquivo com o texto completo faz sentido para documentação, referências de API e bases de conhecimento. Para uma loja ou um site de serviços, o llms.txt sozinho costuma bastar. Fique atento ao tamanho: um arquivo de vários megabytes não cabe no contexto de muitos modelos.
Quem realmente lê o llms.txt
É aqui que a maioria das afirmações de marketing desmorona, então veja o que se sabe publicamente:
- A Google Search não o usa. O guia do Google sobre recursos de IA generativa na Search diz que você não precisa criar arquivos especiais legíveis por máquina ou "arquivos de texto para IA" para aparecer, e que a Search os ignora: adicionar um não ajuda nem prejudica. Explicamos a redação e o contexto em llms.txt: o Google diz que não o lê.
- Nenhum grande provedor de busca com IA se comprometeu publicamente a ler os arquivos llms.txt de outros sites ao escolher fontes para as respostas.
- O Lighthouse do Chrome o verifica. Sua categoria experimental de navegação com agentes inclui uma auditoria de llms.txt. Ela mede o quanto um site está preparado para agentes de IA que o navegam; não é um fator de ranqueamento, e uma verificação reprovada não é um problema de SEO.
- Onde ele funciona de forma previsível: assistentes de programação, ajudantes de documentação e agentes aos quais você mesmo indica uma URL. É por isso que plataformas de documentação geram o arquivo automaticamente e que muitas documentações para desenvolvedores publicam um.
llms.txt vs robots.txt
| robots.txt | llms.txt | |
|---|---|---|
| Finalidade | Informa aos crawlers o que eles podem acessar | Sugere o que vale a pena ler e em que ordem |
| Status | Um padrão consolidado há muito tempo (RFC 9309) | Uma proposta sem status de padrão formal |
| Quem o segue | Mecanismos de busca e bots bem-comportados, incluindo crawlers de IA | Ferramentas que optam por carregá-lo |
| Pode bloquear o acesso? | Sim, para bots que o respeitam | Não: ele não permite nem bloqueia nada |
Controlar crawlers de IA é tarefa do robots.txt
Se você quer permitir ou bloquear bots de IA, o llms.txt não ajuda. Isso é feito no robots.txt, e os principais operadores dividem seus bots por função:
- Bots de busca para assistentes: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Se você bloqueá-los, o assistente não consegue encontrar nem citar suas páginas.
- Bots de treinamento: GPTBot, ClaudeBot, CCBot e outros. Bloqueá-los mantém seu conteúdo fora de dados de treinamento futuros e não remove você diretamente das respostas baseadas em busca.
- Tokens de controle: o Google-Extended controla o uso do seu conteúdo nos modelos Gemini; ele não afeta o Google Search nem as AI Overviews.
Um bot segue apenas o grupo com o próprio nome, então, depois que você adiciona um grupo separado para o GPTBot, as regras em User-agent: * deixam de valer para ele. Firewalls e CDNs também podem bloquear bots de IA independentemente do robots.txt. Verifique seu arquivo com o verificador de robots.txt e veja se a busca com IA realmente encontra e cita seu site com o verificador de visibilidade em IA. As regras em si são explicadas em como verificar o robots.txt.
Como criar e publicar o llms.txt
- Escolha as páginas que importam: normalmente de 10 a 50, como páginas de produtos ou serviços, preços, documentação e contatos. Não despeje o sitemap inteiro.
- Gere um rascunho com o gerador de llms.txt, que monta o arquivo a partir do seu site e valida a estrutura.
- Escreva o resumo manualmente. Uma a três frases simples: o que é o site, para quem e onde.
- Envie o arquivo para a raiz do site para que ele abra em
https://your-domain/llms.txtcom status 200, em UTF-8, comotext/plainoutext/markdown. - Mantenha-o atualizado. Um arquivo que aponta para páginas excluídas é pior do que nenhum arquivo. Gere-o novamente quando a estrutura do site mudar.
Erros comuns
- Colar o sitemap inteiro. O objetivo do arquivo é a seleção. Centenas de links sem observações não dizem a um modelo nada que o sitemap já não diga.
- Links que redirecionam ou retornam 404. Use URLs finais e canônicas e verifique-as após cada migração do site.
- Texto de marketing no resumo. "O melhor serviço do mercado" não serve para um modelo. Fatos são úteis: o que você faz, para quem, em qual região, em qual faixa de preço.
- Servir uma página HTML em vez do arquivo. Alguns CMSs direcionam caminhos desconhecidos para um modelo de 404 ou para a página inicial com status 200. Abra o endereço em um navegador e confirme que você vê texto simples.
- Esperar que ele bloqueie bots. Ele não bloqueia. As regras de acesso ficam apenas no robots.txt e nas configurações do seu firewall ou CDN.
Então, você precisa dele?
- Sim, se você tem documentação técnica, uma API ou um produto que desenvolvedores usam por meio de assistentes de IA.
- Por que não, se o seu CMS ou plataforma de documentação o gera automaticamente e manter o arquivo não custa nada.
- Não, se o objetivo é ranquear no Google ou aparecer nas AI Overviews. Ninguém demonstrou efeito nesses casos, e o Google diz que ignora o arquivo.
O que realmente impulsiona a visibilidade nas respostas de IA é a mesma base da busca comum: páginas indexadas e elegíveis para snippets, conteúdo que responde às perguntas diretamente e menções em outros sites. Veja o que se sabe sobre as AI Overviews.
