Bots de IA en robots.txt: 7.875 sitios, 2026
Muchos sitios bloquean ya a los robots de IA, pero con frecuencia tratan como uno solo dos tipos de bot distintos. Los bots de entrenamiento toman contenido para los modelos. Los bots de búsqueda deciden si un sitio puede aparecer en las respuestas de la búsqueda de ChatGPT,…
Muchos sitios bloquean ya a los robots de IA, pero con frecuencia tratan como uno solo dos tipos de bot distintos. Los bots de entrenamiento toman contenido para los modelos. Los bots de búsqueda deciden si un sitio puede aparecer en las respuestas de la búsqueda de ChatGPT, Perplexity o Claude. Revisamos el robots.txt de 7.875 sitios populares en 10 zonas de dominio y vimos que el primer tipo se bloquea con mucha más frecuencia que el segundo.
Datos: rastreo del 10.11.2026
Cifras clave
- El 19,7% de los sitios (1.551 de 7.875) bloquea por nombre al menos un bot de IA de entrenamiento; el 8,5% (669 de 7.875) bloquea al menos un bot de búsqueda de IA. Googlebot está bloqueado en el 0,1% (9) y Bingbot en el 0,3% (24). Rastreo del 10.11.2026.
- El 58% de los sitios que bloquean bots de entrenamiento (896 de 1.551) deja abiertos los 4 principales bots de búsqueda de IA (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). De los 1.109 sitios que bloquean GPTBot, el 29% (321) bloquea también OAI-SearchBot.
- Por zona de dominio, al menos un bot de entrenamiento lo bloquea desde el 29,7% de los sitios de .it (532 sitios) hasta el 10,9% de .br (403 sitios). En .pl bloquea bots de entrenamiento el 24,9%, pero bots de búsqueda solo el 5,1% (587 sitios).
- En una comprobación en vivo de 2.616 páginas de inicio, rechazó la petición con el nombre GPTBot el 12,8% (336) y la petición con el nombre Googlebot, nuestro control, el 6,8% (178). De 247 sitios que rechazaron a GPTBot pero dejaron pasar a Googlebot, el 56% (139) no bloquea GPTBot en robots.txt.
- llms.txt existe en el 13,1% de los sitios (1.031 de 7.875): en el 18,6% de los internacionales y en el 5,9% de .fr. Si los sistemas de IA usan ese archivo, no lo medimos.
Dos tipos de bots de IA
Los nombres se parecen, pero la finalidad es distinta. Bloquear un bot de entrenamiento significa que su contenido no se ofrece para entrenar modelos. Bloquear un bot de búsqueda significa que ese servicio puede no encontrar ni citar sus páginas en sus respuestas. La división de abajo sigue la documentación de cada empresa.
| Bot | Empresa | Finalidad |
|---|---|---|
| GPTBot | OpenAI | entrenamiento |
| OAI-SearchBot | OpenAI | búsqueda y respuestas |
| ChatGPT-User | OpenAI | a petición del usuario |
| ClaudeBot | Anthropic | entrenamiento |
| Claude-SearchBot | Anthropic | búsqueda y respuestas |
| PerplexityBot | Perplexity | búsqueda y respuestas |
| Google-Extended | modelos Gemini (entrenamiento y fundamentación) | |
| CCBot | Common Crawl | conjuntos de datos de entrenamiento |
Hay un punto que genera la mayor confusión. Según la documentación de Google, Google-Extended no afecta a Google Search ni a AI Overviews: es un control aparte sobre el uso en los modelos Gemini. Para Search sigue contando Googlebot.
Quién bloquea a quién
Entre los bots de entrenamiento van al frente CCBot con el 14,6% (1.149 de 7.875), GPTBot con el 14,1% (1.109) y Bytespider con el 14,0% (1.105); les siguen ClaudeBot con el 12,7% (1.002), meta-externalagent con el 11,6% (913), Applebot-Extended con el 10,8% (850) y Google-Extended con el 10,7% (842). Los bots de búsqueda y respuestas se bloquean menos: PerplexityBot 7,0% (549), ChatGPT-User 5,8% (458), OAI-SearchBot 4,1% (326) y Claude-SearchBot 3,3% (260). Los buscadores tradicionales casi nunca se bloquean. Otro 2,3% de los sitios (185 de 7.875) lo cierra todo con una regla comodín (wildcard) y no entra en las cifras anteriores, que cuentan solo los bots nombrados en el archivo.
Se bloquea el entrenamiento y se deja la búsqueda abierta
De los 1.551 sitios que bloquean al menos un bot de entrenamiento, 896 (58%) dejan abiertos los 4 principales bots de búsqueda de IA (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Parece una separación deliberada: no entregar contenido a los modelos, pero tampoco desaparecer de las respuestas. Con GPTBot el cuadro es menos ordenado. De los 1.109 sitios que lo bloquean, 321 (29%) bloquean también OAI-SearchBot, así que esos sitios pueden no aparecer en la búsqueda de ChatGPT. Puede que el propietario lo quisiera, o que simplemente copiara una lista de nombres de bots sin distinguir los dos tipos. El archivo no permite saber cuál es el caso.
Las zonas difieren
| Zona | Sitios | Bots de entrenamiento | Bots de búsqueda |
|---|---|---|---|
| .it | 532 | 29,7% | 16,2% |
| .de | 580 | 26,7% | 13,4% |
| .pl | 587 | 24,9% | 5,1% |
| .uk | 425 | 23,8% | 13,4% |
| .fr | 543 | 23,6% | 12,0% |
| .es | 473 | 23,0% | 12,7% |
| internacionales (.com .org .net .io) | 3.216 | 17,2% | 7,5% |
| .pt | 522 | 15,7% | 4,6% |
| .ua | 594 | 12,6% | 2,2% |
| .br | 403 | 10,9% | 3,5% |
El bloqueo es más frecuente en .it, .de, .pl, .uk, .fr y .es (del 23,0% al 29,7% para bots de entrenamiento) y menos frecuente en .ua y .br (12,6% y 10,9%). Una zona no es un país: se trata de sitios registrados en una zona, no de empresas de un país concreto. El caso de .pl destaca: el 24,9% bloquea bots de entrenamiento, pero solo el 5,1% bloquea bots de búsqueda (587 sitios). No sabemos por qué en .it y .de se bloquea más. Una posible razón es la postura de los editores europeos sobre el uso de su contenido por parte de las empresas de IA, pero es una hipótesis que no comprobamos. Correlación no es causa.
El servidor frente a robots.txt
Una regla en robots.txt es una petición, y el servidor puede negarse por su cuenta, mediante una CDN o un firewall. Para comprobarlo hicimos una verificación en vivo de 2.616 páginas de inicio que devolvieron 200 a un navegador. Después pedimos cada página otras cuatro veces, con el nombre de GPTBot, ClaudeBot, PerplexityBot y Googlebot.
| Nombre del bot en la petición | Rechazaron |
|---|---|
| GPTBot | 12,8% (336) |
| ClaudeBot | 13,3% (349) |
| PerplexityBot | 9,7% (253) |
| Googlebot (control) | 6,8% (178) |
El control importa. Todas las peticiones salieron de nuestra propia IP, no de direcciones de OpenAI, Anthropic o Google. Un sitio puede rechazar porque ve a un bot falso, y no porque el bot real esté bloqueado. Por eso enviamos también un Googlebot falso: su 6,8% muestra el nivel de fondo de protección contra falsificaciones. La diferencia por encima de ese nivel es lo que apunta a una regla contra bots de IA por nombre. El 11,9% de los sitios (310 de 2.616) rechazó al menos a un bot de IA y dejó pasar al Googlebot falso. De 247 sitios que rechazaron a GPTBot pero dejaron pasar a Googlebot, el 56% (139) no bloquea GPTBot en robots.txt. Que se rechace a nuestro GPTBot falso no prueba que se rechace al GPTBot real. Qué reciben los bots reales, no lo sabemos.
llms.txt: existe, pero ¿se usa?
El archivo llms.txt existe en el 13,1% de los sitios (1.031 de 7.875). Entre los internacionales es el 18,6% (599 de 3.216), en .ua el 12,1% (72 de 594), en .br el 12,2% (49 de 403), en .pl el 10,6% (62 de 587), en .de el 7,6% (44 de 580) y en .fr el 5,9% (32 de 543). Que el archivo exista no significa que los sistemas de IA lo usen, y eso no lo medimos. Hay otras dos señales en robots.txt: una línea Content-Signal, que indica los usos permitidos del contenido y que impulsa Cloudflare, está en el 5,2% de los sitios (409 de 7.875), y la marca de reglas gestionadas de Cloudflare en el 2,9% (230 de 7.875).
Qué hacer
La muestra no puede decir qué conviene a un sitio concreto, pero de ella se desprenden estos pasos:
- Decida por separado sobre el entrenamiento y sobre la búsqueda. Son dos decisiones, no una.
- Escriba las reglas por nombre de bot. Un ejemplo mínimo que bloquea el entrenamiento y deja abierta la búsqueda:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-SearchBot Allow: /
La lista está abreviada; la completa depende de qué bots quiera dejar fuera. - Compruebe que la CDN o el firewall no corten de todos modos a los bots de búsqueda, por ejemplo en la sección Bots/WAF del panel de la CDN y en los registros por user agent. Una regla en robots.txt no sirve si el servidor los rechaza.
- No bloquee Googlebot para dejar fuera a la IA: Google-Extended es una regla aparte.
- Vuelva a leer robots.txt tras cambiar de CDN o de hosting: las reglas gestionadas y los valores por defecto pueden añadir o quitar líneas.
- Añada llms.txt si le apetece, sin esperar nada.
- Revise la lista una vez por trimestre: aparecen bots nuevos.
Puede revisar su propio robots.txt gratis: verificador de robots.txt de PromoPilot. Muestra qué reglas se aplican a qué bots.
Metodología y límites
Muestra: la lista Tranco (descargada el 10.11.2026). Parte internacional: los primeros 5.000 dominios de .com, .org, .net y .io. Parte por países: los primeros 700 dominios de cada una de las 9 zonas (.uk .de .fr .it .es .pt .pl .ua .br). De 11.300 dominios respondieron 7.875: robots.txt devolvió 200 como texto, o 404/410, lo que significa que todo está permitido. Los 3.425 que no respondieron son sobre todo dominios técnicos (CDN, API, rastreadores). La muestra está sesgada hacia los sitios populares y no es aleatoria. La recogida se hizo el 10.11.2026 desde una IP en Europa con el user agent PromoPilotResearch/1.0; si HTTPS no respondía, repetíamos con www. Los archivos se interpretaron según el RFC 9309: un bot sigue el grupo con su propio nombre o, si no existe, el grupo comodín. Un bot cuenta como bloqueado por nombre cuando su propio grupo cierra la ruta «/». Los bloqueos parciales (secciones sueltas) no se cuentan. La división de bots sigue la documentación de OpenAI, Anthropic, Perplexity y Google. La comprobación en vivo abarcó 3.300 páginas de inicio (1.500 internacionales y 200 por zona), de las cuales 2.616 devolvieron 200 a una petición de navegador. Un rechazo es una respuesta 401, 403, 406, 429, 451 o 503, o una conexión cortada.
Límites: leemos reglas, no cómo se aplican; algunas empresas indican que los agentes que abren una página a petición de un usuario (ChatGPT-User, Perplexity-User) pueden no seguir robots.txt. La respuesta del servidor depende de la IP, la hora y la protección contra bots, y esta es una sola medición. No etiquetamos los tipos de sitio (medios, tiendas), así que no los comparamos. La zona no es el país de la audiencia.
FAQ
¿Qué diferencia hay entre GPTBot y OAI-SearchBot?
Según la documentación de OpenAI, GPTBot recopila contenido que puede usarse para entrenar modelos, mientras que OAI-SearchBot se usa para encontrar y mostrar sitios en la búsqueda de ChatGPT. Son reglas distintas en robots.txt. En nuestra muestra el 14,1% de los sitios (1.109 de 7.875) bloquea GPTBot por nombre y el 4,1% (326 de 7.875) bloquea OAI-SearchBot.
Si bloqueo GPTBot, ¿desaparecerá mi sitio de ChatGPT?
No solo por esa regla. De la búsqueda se encarga otro bot, OAI-SearchBot. De los 1.109 sitios que bloquean GPTBot, el 29% (321) bloquea también OAI-SearchBot, y esos sitios pueden no mostrarse en la búsqueda de ChatGPT. El otro 71% no lo bloquea. No medimos qué muestra entonces ChatGPT, así que esto describe reglas, no resultados.
¿Afecta Google-Extended a mis posiciones en Google?
Según la documentación de Google, no. Google-Extended solo controla si el contenido se usa en los modelos Gemini y no afecta a Google Search ni a AI Overviews. En nuestra muestra lo bloquea el 10,7% de los sitios (842 de 7.875), mientras que Googlebot está bloqueado en el 0,1% (9 de 7.875).
¿Necesita un sitio el archivo llms.txt?
Es opcional. El 13,1% de los sitios de nuestra muestra lo tiene (1.031 de 7.875). No medimos si los sistemas de IA lo leen, así que no podemos decir que cambie algo. Añadirlo cuesta poco, pero no espere nada de él.
¿Cómo comprobar si mi servidor deja entrar a los bots de IA?
Compruebe dos cosas: las reglas de robots.txt y la respuesta real del servidor a una petición con el nombre del bot. En nuestra comprobación en vivo de 2.616 páginas de inicio, el 11,9% (310) rechazó al menos a un bot de IA y dejó pasar a un Googlebot falso. Nuestras peticiones salieron de nuestra propia IP, así que el resultado es una pista, no una prueba sobre el bot real. Los registros del servidor y la configuración de la CDN muestran lo que reciben los bots reales.
¿Cuántos sitios bloquean bots de IA en 2026?
En nuestra muestra de 7.875 sitios populares, el 19,7% (1.551) bloquea por nombre al menos un bot de IA de entrenamiento y el 8,5% (669) bloquea al menos un bot de búsqueda de IA. La muestra está sesgada hacia los sitios populares y no abarca todos los sitios de internet. Fecha del rastreo: 10.11.2026.
Cómo citar
PromoPilot (2026). Bots de IA en robots.txt: 7.875 sitios. Datos 10.11.2026. CC BY 4,0: https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv . Artículo: https://promopilot.link/es/blog/bots-ia-en-robots-txt-7875-sitios-2026
Descargar los datos
La tabla agregada (CSV, licencia CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv. Contiene agregados por zona de dominio, no listas de dominios.
