Google o robots.txt: ścieżki nieangielskie kodować, a crawlery AI nazywać wprost
21 października 2026 Google Search Central opublikował film o tym, co można wpisać do robots.txt. Co mówi o ścieżkach nieangielskich, błędnych liniach i crawlerach AI oraz krótka lista kontrolna dla Twojego pliku.
21 października 2026 kanał Google Search Central opublikował drugi odcinek serii Non-Canonical Cabinet, „What can you actually put in a robots.txt?”, z Garym Illyesem i Cherry Prommawin. Google nie ogłosił nowych zasad: to wyjaśnienie, co plik robi, a czego nie robi. Najbardziej dotyczy serwisów z nieangielskimi adresami oraz osób, które piszą reguły dla crawlerów AI. Poniżej: co jest potwierdzone i skąd to wiadomo, co może to znaczyć dla Twojej strony i co sprawdzić w jeden wieczór.
Co się stało i skąd to wiadomo
Odcinek jest na kanale YouTube Google Search Central. Data, 21 października, i treść odcinka podajemy według doniesień Search Engine Roundtable i Search Engine Journal (linki na końcu): sami nie transkrybowaliśmy filmu. Tam, gdzie punkt potwierdza dokumentacja Google, zaznaczamy to.
- Według doniesień prowadzący opisali robots.txt jako protokół preferencji dostępu (RFC 9309): określa, jakie adresy URL crawler może pobierać, ale nie to, co dzieje się z danymi potem.
- Według doniesień linia, której parser nie rozumie, jest po cichu pomijana. Dokumentacja to potwierdza: Google obsługuje cztery pola (user-agent, allow, disallow, sitemap), nie obsługuje crawl-delay i ignoruje błędne linie.
- Według doniesień, aby zablokować konkretnego crawlera AI, reguła musi nazywać jego token user-agent. Własne sformułowania są ignorowane.
- Według doniesień Cherry Prommawin zaleca zapisywanie ścieżek nieangielskich w kodowaniu procentowym, bo parser Google radzi sobie z „surowymi” znakami, a inne crawlery mogą sobie nie poradzić. Stronę Google potwierdza dokumentacja: ścieżki w regułach mogą być w UTF-8 lub w kodowaniu procentowym, Google porównuje je w postaci zakodowanej, a sam plik musi być w UTF-8.
Co to może znaczyć dla właściciela strony
- Nieangielskie adresy. Jeśli w ścieżkach są cyrylica, polskie litery lub emoji, reguła w postaci „surowej” w Google działa, zgodnie z dokumentacją, ale inny crawler może ją odczytać inaczej. Bezpieczniej zapisać ją w postaci zakodowanej. To środek ostrożności, a nie czynnik rankingowy.
- Literówki i wymyślone dyrektywy nic nie robią. Nieznana parserowi linia jest odrzucana, a strona pozostaje dostępna dla crawlowania, jakby tej linii nie było.
- Crawlery AI potrzebują własnych reguł. Linia „ogólna” nie wystarczy: reguła musi nazywać token właściwego crawlera. A robots.txt tylko prosi sumienne boty, by nie wchodziły. To nie jest ochrona zamkniętych treści.
- Nie ma tu obietnic dotyczących pozycji. Odcinek mówi o tym, jak czytany jest plik, a nie o tym, jak rankingowane są strony.
Co sprawdzić teraz
Otwórz plik i przeczytaj reguły
Przepuść domenę przez sprawdzanie robots.txt: pokazuje reguły Allow i Disallow, user-agenty, linie Sitemap i ostrzeżenia, np. o całkowicie zablokowanej stronie. Nie ma w nim testu pojedynczego adresu URL, więc dla konkretnego adresu użyj raportu robots.txt w Search Console.
Znajdź ścieżki z nieangielskimi znakami
Porównaj linie Disallow i Allow z prawdziwymi adresami strony. Jeśli ścieżka z cyrylicą, znakami diakrytycznymi lub emoji jest zapisana „surowo”, rozważ zapis w kodowaniu procentowym. Czystą wersję możesz złożyć w generatorze robots.txt.
Wypisz reguły dla crawlerów AI
Sporządź listę, które crawlery chcesz zablokować lub dopuścić, i sprawdź, czy każda reguła nazywa właściwy token user-agent. W tym samym generatorze są presety dla crawlerów AI.
Sprawdź, czy plik i kluczowe strony odpowiadają
Otwórz adres pliku i kilka kluczowych stron w sprawdzaniu statusu HTTP. Plik powinien odpowiadać kodem 200, a strony, które mają być w wyszukiwarce, nie mogą być zablokowane przez przypadek. Potem zwaliduj mapę strony z pliku w analizatorze sitemap.
Zobacz, które strony dają wyświetlenia
Zanim cokolwiek zablokujesz, sprawdź, które strony już dostają wyświetlenia. SEO Radar je pokazuje, więc nie zamkniesz pożytecznej strony przez pomyłkę.
Czego jeszcze nie wiemy
- Które crawlery poza Google rzeczywiście błędnie czytają „surowe” ścieżki. W doniesieniach jest „mogą”, bez listy.
- Czy dokumentacja Google się zmieni. W dokumentacji, którą przeczytaliśmy, dozwolone są i UTF-8, i kodowanie procentowe.
- Wpływu na pozycje. Ani doniesienia, ani dokumentacja o nim nie mówią.
- Dokładnych sformułowań z filmu: opieramy się na dwóch doniesieniach i dokumentacji, a nie na transkrypcji.
Źródła: Google Search Central, film „What can you actually put in a robots.txt?”; Google Search Central, dokumentacja robots.txt; Search Engine Roundtable, 21 października 2026; Search Engine Journal, 22 października 2026. Materiał przygotował zespół PromoPilot.
