Google sobre robots.txt: codifica con porcentaje las rutas no inglesas y nombra a los rastreadores de IA de forma explícita
El 21 de octubre de 2026, Google Search Central publicó un video sobre lo que puede incluirse en robots.txt. Qué dice sobre las rutas no inglesas, las líneas no válidas y los rastreadores de IA, y una lista de verificación breve para tu propio archivo.
El 21 de octubre de 2026, el canal Google Search Central publicó el segundo episodio de su serie Non-Canonical Cabinet, "¿Qué puedes poner realmente en un robots.txt?", con Gary Illyes y Cherry Prommawin. Google no anunció reglas nuevas: es una aclaración de lo que el archivo hace y de lo que no hace. Importa sobre todo a los sitios con URLs que no están en inglés y a quienes escriben reglas para rastreadores de IA. A continuación: qué está confirmado y de dónde viene, qué puede significar para tu sitio y qué revisar en una tarde.
Qué pasó y de dónde viene la información
El episodio está en el canal de YouTube de Google Search Central. La fecha, el 21 de octubre, y el contenido del episodio se indican tal como los reportaron Search Engine Roundtable y Search Engine Journal (enlaces al final); nosotros no transcribimos el video. Cuando la documentación de Google confirma un punto, lo indicamos.
- Según los reportes, los ponentes describieron robots.txt como un protocolo de preferencias de acceso (RFC 9309): controla qué URLs puede solicitar un rastreador, no lo que sucede con los datos después.
- Según los reportes, una línea que el parser no entiende se descarta en silencio. La documentación lo confirma: Google admite cuatro campos (user-agent, allow, disallow, sitemap), no admite crawl-delay e ignora las líneas no válidas.
- Según los reportes, para bloquear un rastreador de IA concreto, la regla debe nombrar el token de user-agent de ese rastreador. Las formulaciones personalizadas se ignoran.
- Según los reportes, Cherry Prommawin recomendó escribir las rutas que no están en inglés con codificación porcentual, porque el parser de Google maneja bien los caracteres sin codificar, pero otros rastreadores quizá no. La documentación confirma la parte de Google: las rutas de las reglas pueden estar en UTF-8 sin codificar o con codificación porcentual, Google las compara en su forma con codificación porcentual y el archivo debe estar en UTF-8.
Qué puede significar para el dueño de un sitio
- URL en otros idiomas. Si tus rutas contienen cirílico, letras polacas o emojis, una regla sin codificar funciona en Google según su documentación, pero otro rastreador puede interpretarla de forma distinta. Lo más seguro es escribirla con codificación porcentual. Es una precaución, no un factor de posicionamiento.
- Los errores tipográficos y las directivas inventadas no hacen nada. Una línea que el analizador no reconoce se descarta, así que la página sigue abierta al rastreo, como si esa línea no existiera.
- Los rastreadores de IA necesitan sus propias reglas. No basta con una línea de tipo general; la regla debe indicar el token del rastreador al que te refieres. Además, robots.txt solo pide a los bots que cumplen las normas que no entren. No protege el contenido privado.
- Nada de esto promete un cambio en el posicionamiento. El episodio trata de cómo se lee el archivo, no de cómo se posicionan las páginas.
Qué revisar ahora
Abre tu archivo y lee las reglas
Pasa el dominio por el verificador de robots.txt: muestra las reglas Allow y Disallow, los user-agents, las líneas Sitemap y advertencias como un sitio bloqueado por completo. No tiene una prueba de URL individual, así que para una URL específica usa el informe de robots.txt de Search Console.
Encuentra rutas con caracteres no ingleses
Compara las líneas Disallow y Allow con las URL reales del sitio. Si una ruta tiene cirílico, diacríticos o emojis en forma directa, considera reescribirla en formato codificado con porcentaje. El generador de robots.txt puede ayudarte a armar una versión limpia.
Haz una lista de tus reglas para rastreadores de IA
Anota qué rastreadores quieres bloquear o permitir y comprueba que cada regla use el token de user-agent correcto. El mismo generador incluye ajustes predefinidos para rastreadores de IA.
Comprueba que el archivo y las páginas clave respondan
Abre la dirección del archivo y algunas páginas clave en el verificador de estado HTTP. El archivo debe responder con 200, y las páginas que quieres indexar no deben estar bloqueadas por accidente. Después valida el sitemap indicado en el archivo con el verificador de sitemap.
Mira qué páginas generan impresiones
Antes de bloquear nada, revisa qué páginas ya reciben impresiones. SEO Radar te las muestra, así no cierras una página útil por error.
Lo que aún no sabemos
- Qué rastreadores distintos de Google interpretan mal realmente las rutas directas con caracteres no ingleses. Los reportes dicen "pueden", sin dar una lista.
- Si la documentación de Google cambiará. En la documentación que leímos, se permiten tanto las rutas en UTF-8 directo como las codificadas con porcentaje.
- Cualquier efecto en el posicionamiento. Nada en los reportes ni en la documentación lo menciona.
- La redacción exacta del video: nos basamos en dos reportes y en la documentación, no en una transcripción.
Fuentes: Google Search Central, video "What can you actually put in a robots.txt?"; Google Search Central, documentación de robots.txt; Search Engine Roundtable, 21 de octubre de 2026; Search Engine Journal, 22 de octubre de 2026. Preparado por el equipo de PromoPilot.
