Sprawdzanie robots.txt: jak sprawdzić plik i czy URL jest zablokowany, typowe błędy

Sprawdzanie robots.txt sprowadza się do trzech pytań: czy plik otwiera się pod adresem https://twoja-strona/robots.txt z kodem 200, czy nie ma w nim reguł blokujących potrzebne sekcje i czy ważne adresy nie podlegają Disallow. robots.txt steruje indeksowaniem strony, a błąd w jednej linii może zablokować ją w całości — dlatego plik należy sprawdzać po każdej zmianie. Swój plik przeanalizujesz sprawdzaniem robots.txt, a nowy od podstaw stworzysz generatorem.

Jak sprawdzić robots.txt: krok po kroku

1. Otwórz plik w przeglądarce: https://example.com/robots.txt. Musi leżeć w katalogu głównym hosta. Reguły działają tylko dla protokołu, hosta i portu, na którym leży plik: shop.example.com ma własny robots.txt, niezależny od example.com.
2. Sprawdź kod odpowiedzi: curl -I https://example.com/robots.txt. Potrzebny jest 200. Przekierowanie jest dopuszczalne, ale Google przechodzi najwyżej pięć przekierowań. Co oznaczają inne kody — w tabeli niżej.
3. Przeanalizuj plik narzędziem. Sprawdzanie robots.txt pobierze plik, rozłoży reguły na grupy User-agent, pokaże Allow i Disallow, Sitemap, Crawl-delay i surowy tekst. Ostrzeże, jeśli dla wszystkich robotów jest Disallow: /, jeśli brakuje linku do Sitemap, jeśli Crawl-delay przekracza 10 albo plik jest za duży, i wystawi ocenę od 0 do 100.
4. Sprawdź ważne adresy względem reguł: stronę główną, kategorie, promowane podstrony, pliki CSS i JS. Jak to zrobić ręcznie — w następnej sekcji.
5. Otwórz raport robots.txt w Search Console (Ustawienia → robots.txt). Pokazuje, jakie pliki robots.txt Google znalazł dla 20 głównych hostów witryny, kiedy ostatnio je pobrał, ich stan, rozmiar i błędy parsowania. Po pilnej poprawce można tam poprosić o ponowne zindeksowanie pliku. Raport jest dostępny dla usługi typu „Domena” albo usługi z prefiksem URL bez ścieżki. Starego, osobnego „Testera pliku robots.txt” już nie ma — zastąpił go ten raport.
6. Sprawdź konkretną stronę narzędziem „Sprawdzanie adresu URL” w Search Console: pokaże, czy indeksowanie jest dozwolone, a jeśli nie — co je blokuje.

Czego nasze narzędzie nie robi: nie testuje konkretnego adresu URL względem reguł i nie wie, jak dany robot je interpretuje. Pokazuje plik tak, jak widzi go każdy odwiedzający, i wyłapuje grube błędy. Pojedyncze adresy sprawdzaj według algorytmu niżej albo w Search Console.

Co sprawdza narzędzie

• Pobiera plik z katalogu głównego domeny przez HTTPS — https://domena/robots.txt, przechodząc przekierowania — i informuje, jeśli pliku nie ma (404), serwer zwrócił błąd 4xx lub 5xx albo pliku nie udało się pobrać.
• Grupuje reguły według User-agent: które ścieżki są zablokowane (Disallow), a które dozwolone (Allow) i dla jakich robotów. Liczy też wiersze i reguły.
• Pokazuje odnośniki do mapy witryny (Sitemap) i wartość Crawl-delay.
• Ostrzega o poważnych problemach: w pliku nie ma żadnej grupy User-agent; dla wszystkich robotów jest Disallow: /; brak odnośnika do Sitemap; Crawl-delay większe niż 10; plik dłuższy niż 500 wierszy lub większy niż 512 KB.
• Wystawia ocenę od 0 do 100 i pokazuje źródłowy tekst pliku.

Czego narzędzie nie sprawdza: składni i literówek — wiersz z błędem w nazwie dyrektywy po prostu pominie; tego, czy zablokowane są CSS, JS i konkretne adresy — sprawdza się je ręcznie według reguł poniżej lub w Search Console.

Typowe błędy

Jak sprawdzić, czy konkretny URL jest zablokowany

1. Znajdź właściwą grupę. Robot słucha tylko jednej grupy — tej, w której User-agent najdokładniej pasuje do jego nazwy. Jeśli w pliku jest grupa User-agent: Googlebot, reguły z User-agent: * przestają go dotyczyć. Kilka grup z tym samym User-agent Google łączy w jedną.
2. Wypisz reguły pasujące do początku ścieżki URL. Porównanie uwzględnia wielkość liter, a parametry po ? też są częścią adresu.
3. Wygrywa najdłuższa reguła. Jeśli pasujące Allow i Disallow mają tę samą długość, Google wybiera mniej restrykcyjną — Allow.
4. Brak dopasowania oznacza, że adres jest dozwolony.

W ścieżkach działają dwa znaki specjalne: * — dowolny ciąg znaków, także pusty; $ — koniec adresu.

Kody odpowiedzi robots.txt i limity Google

Wniosek, który nie jest oczywisty: robots.txt zwracający przez pomyłkę 500 jest groźniejszy niż brak pliku — 404 oznacza „wolno wszystko”, a 5xx wstrzymuje indeksowanie. Jeszcze dwa limity z dokumentacji Google o robots.txt: Google czyta najwyżej 500 KiB pliku, resztę pomija; treść zwykle trzyma w pamięci podręcznej do 24 godzin, więc zmiany nie działają natychmiast.

Dyrektywy, na które nie warto polegać

Niektóre linie, które pojawiają się w cudzych plikach, są ignorowane lub rozumiane na swój sposób przez nowoczesne roboty: opóźnienie przeglądania, wskazanie głównego lustra, niestandardowe wzory adresów. Google oficjalnie wspiera ograniczony zestaw dyrektyw; wszystko inne albo nie działa, albo jest interpretowane inaczej przez różne wyszukiwarki. Dlatego im krótszy i prostszy plik, tym bardziej przewidywalny wynik.

robots.txt a boty AI

Usługi AI odwiedzają strony własnymi robotami i blokuje się je w robots.txt tak samo — osobnymi grupami User-agent: GPTBot, ClaudeBot, PerplexityBot i innymi. Google-Extended to nie osobny robot, lecz token: decyduje o użyciu treści w modelach AI Google i nie wpływa na zwykłe wyniki wyszukiwania. Nie myl ich: blokada trenowania i blokada wyszukiwania AI to różne boty, a zablokowanie wszystkich naraz może usunąć stronę z odpowiedzi asystentów AI. Gotowe bloki i skutki każdej blokady opisuje artykuł jak zablokować boty AI w robots.txt, a plik z wybranymi grupami złożysz w generatorze robots.txt.

Minimalny działający plik

Dla większości stron wystarczy otworzyć wszystko, zablokować sekcje serwisowe, kosz oraz wyniki wewnętrznego wyszukiwania, a następnie wskazać mapę strony. Wszystko inne — w razie potrzeby. Sprawdź po zmianach, czy potrzebne strony pozostały dostępne: sprawdzaczem indeksacji i w Search Console.

Powiązane kontrole

Jednocześnie warto sprawdzić mapę strony oraz różnicę między noindex, nofollow a robots.txt — te trzy rzeczy najczęściej się mylą.