¿Qué es llms.txt y lo necesitas?

llms.txt es un archivo Markdown simple que se coloca en la raíz de un sitio web, en /llms.txt, y le da a un modelo de lenguaje una descripción breve del sitio y una lista seleccionada de sus páginas más útiles. Fue propuesto por Jeremy Howard de Answer.AI en septiembre de 2024 y se describe en llmstxt.org. La respuesta corta a "¿lo necesito?": es útil para documentación, APIs y productos que la gente usa a través de asistentes de IA, se crea en poco tiempo, y no cambia tu posicionamiento en Google, porque Google ha dicho que Search lo ignora.

Qué es llms.txt y cómo se ve

Una página web está hecha para personas: menús, banners, scripts y avisos de cookies rodean el contenido real. Extraer la parte útil supone un trabajo extra para un modelo, y su ventana de contexto es limitada. llms.txt lo resuelve ofreciendo un mapa elegido a mano en un formato que los modelos leen con facilidad. La especificación define el orden de los bloques; solo el primero es obligatorio:

1. Un H1 con el nombre del proyecto o del sitio: la primera línea del archivo.
2. Una cita en bloque con un resumen breve: de una a tres frases con los datos clave.
3. Detalles opcionales: párrafos o listas que explican cómo usar el archivo, términos o limitaciones.
4. Secciones H2 con listas de enlaces, cada uno un enlace Markdown seguido opcionalmente de dos puntos y una nota.

# Example Bakery

> Artisan bakery in Kyiv: sourdough bread, pastries and delivery
> across the city from 8:00 to 20:00.

Orders are accepted on the website and by phone.

## Catalogue

- [Sourdough bread](https://example.com/bread): Ingredients, weight and prices
- [Pastries](https://example.com/pastry): Croissants, buns, seasonal menu

## Delivery

- [Delivery](https://example.com/delivery): Zones, cost and timing

## Optional

- [Our story](https://example.com/about)

Una sección titulada Optional tiene un significado especial: una herramienta con poco contexto disponible puede omitirla. La especificación también sugiere ofrecer versiones limpias en Markdown de las páginas en la misma dirección añadiendo .md, pero esa parte es opcional y la mayoría de los sitios enlazan a páginas HTML normales.

llms-full.txt y otras variantes

llms-full.txt es una convención popularizada por plataformas de documentación: en lugar de enlaces, un solo archivo contiene el texto completo de la documentación, de modo que una herramienta puede cargar todo de una vez. No forma parte de la propuesta original, que describe archivos ampliados llamados llms-ctx.txt y llms-ctx-full.txt. Un archivo con el texto completo tiene sentido para documentación, referencias de API y bases de conocimiento. Para una tienda o un sitio de servicios, normalmente basta con llms.txt. Cuida el tamaño: un archivo de varios megabytes no cabrá en el contexto de muchos modelos.

Quién lee realmente llms.txt

Aquí es donde se desmoronan la mayoría de las afirmaciones de marketing, así que esto es lo que se sabe públicamente:

• Google Search no lo usa. La guía de Google sobre las funciones de IA generativa en Search dice que no necesitas crear archivos especiales legibles por máquinas ni archivos de "texto para IA" para aparecer, y que Search los ignora: añadir uno ni ayuda ni perjudica. Explicamos el texto y su contexto en llms.txt: Google dice que no lo lee.
• Ningún proveedor importante de búsqueda con IA se ha comprometido públicamente a leer los archivos llms.txt de otros sitios al elegir fuentes para sus respuestas.
• Lighthouse de Chrome sí lo revisa. Su categoría experimental de navegación con agentes incluye una auditoría de llms.txt. Eso mide qué tan preparado está un sitio para los agentes de IA que lo navegan; no es un factor de posicionamiento, y una revisión fallida no es un problema de SEO.
• Dónde funciona de forma predecible: asistentes de programación, ayudantes de documentación y agentes a los que tú mismo indicas una URL. Por eso las plataformas de documentación generan el archivo automáticamente y por eso muchas documentaciones para desarrolladores publican uno.

llms.txt vs robots.txt

Controlar los rastreadores de IA es trabajo de robots.txt

Si quieres permitir o bloquear bots de IA, llms.txt no te sirve. Eso se hace en robots.txt, y los principales operadores dividen sus bots por tarea:

• Bots de búsqueda para asistentes: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Si los bloqueas, el asistente no puede encontrar ni citar tus páginas.
• Bots de entrenamiento: GPTBot, ClaudeBot, CCBot y otros. Bloquearlos mantiene tu contenido fuera de los datos de entrenamiento futuros y no te elimina directamente de las respuestas basadas en búsqueda.
• Tokens de control: Google-Extended controla el uso de tu contenido para los modelos Gemini; no afecta a Google Search ni a las AI Overviews.

Un bot solo sigue el grupo que lleva su propio nombre, así que, una vez que añades un grupo aparte para GPTBot, las reglas de User-agent: * ya no se le aplican. Además, los firewalls y las CDN pueden bloquear bots de IA sin importar lo que diga robots.txt. Revisa tu archivo con el verificador de robots.txt y comprueba si la búsqueda con IA realmente encuentra y cita tu sitio con el verificador de visibilidad en IA. Las reglas en sí se explican en cómo revisar robots.txt.

Cómo crear y publicar llms.txt

1. Elige las páginas importantes: normalmente entre 10 y 50: páginas de producto o servicio, precios, documentación, contacto. No vuelques todo el sitemap.
2. Genera un borrador con el generador de llms.txt, que crea el archivo a partir de tu sitio y valida la estructura.
3. Escribe el resumen a mano. Entre una y tres frases sencillas: qué es el sitio, para quién y dónde.
4. Sube el archivo a la raíz del sitio para que se abra en https://your-domain/llms.txt con estado 200, en UTF-8, como text/plain o text/markdown.
5. Mantenlo actualizado. Un archivo que apunta a páginas eliminadas es peor que no tener archivo. Vuelve a generarlo cuando cambie la estructura del sitio.

Errores comunes

• Pegar todo el sitemap. El objetivo del archivo es seleccionar. Cientos de enlaces sin notas no le dicen a un modelo nada que el sitemap no le diga ya.
• Enlaces que redirigen o devuelven 404. Usa URL finales y canónicas, y revísalas después de cada migración del sitio.
• Texto de marketing en el resumen. "El mejor servicio del mercado" no le sirve a un modelo. Lo útil son los hechos: qué haces, para quién, en qué región y a qué nivel de precios.
• Servir una página HTML en lugar del archivo. Algunos CMS envían las rutas desconocidas a una plantilla 404 o a la página de inicio con estado 200. Abre la dirección en un navegador y comprueba que ves texto sin formato.
• Esperar que bloquee bots. No lo hace. Las reglas de acceso viven solo en robots.txt y en la configuración de tu firewall o CDN.

Entonces, ¿lo necesitas?

• Sí, si tienes documentación técnica, una API o un producto que los desarrolladores usan a través de asistentes de IA.
• ¿Por qué no? si tu CMS o plataforma de documentación lo genera automáticamente y mantenerlo no cuesta nada.
• No, si tu objetivo es el posicionamiento en Google o las AI Overviews. Nadie ha demostrado un efecto ahí, y Google dice que ignora el archivo.

Lo que sí impulsa la visibilidad en las respuestas de IA es la misma base que en la búsqueda tradicional: páginas indexadas y aptas para snippets, contenido que responde las preguntas de forma directa y menciones en otros sitios. Consulta lo que se sabe sobre las AI Overviews.