Sprawdzanie robots.txt online

Sprawdzanie robots.txt online: jak czytać raport

Aby sprawdzić robots.txt online, wpisz adres strony: narzędzie pobiera z niego host i wysyła zapytanie o https://host/robots.txt, podążając za przekierowaniami. Subdomeny to osobne hosty z własnymi plikami, więc sklep.example.pl sprawdzaj oddzielnie od example.pl. Jeśli pliku nie udało się pobrać, zobaczysz przyczynę: 404 („nie znaleziono pliku”), inny kod błędu HTTP lub błąd sieci.

Po pobraniu pliku analiza robots.txt pokazuje ocenę od 0 do 100, liczbę linii, liczbę reguł Allow i Disallow, listę Sitemap, tabelę reguł dla każdego User-agent oraz surową treść pliku. Ocena spada tak:

Osobno pojawiają się ostrzeżenia bez kary: Crawl-delay powyżej 10 sekund i plik większy niż 512 KB (Google czyta tylko pierwsze 500 KiB). W surowej treści szukaj linii, których nie ma w tabeli reguł: literówka w dyrektywie (Dissalow) albo reguła przed pierwszym User-agent to częsta przyczyna sytuacji „plik jest, ale nie działa”.

Składnia robots.txt: dyrektywy i pierwszeństwo reguł

Plik składa się z grup. Grupa zaczyna się od jednej lub kilku linii User-agent, po których następują Disallow (zablokuj skanowanie) i Allow (zezwól). Sitemap nie należy do grupy i może stać w dowolnym miejscu. W nazwach dyrektyw wielkość liter nie ma znaczenia, w ścieżkach — ma: /Katalog/ i /katalog/ to różne reguły. Puste Disallow: niczego nie blokuje.

Znaki * i $

• * — dowolny ciąg znaków: Disallow: /*?sort= blokuje wszystkie adresy z parametrem sort.
• $ — koniec adresu: Disallow: /*.pdf$ blokuje pliki PDF, ale nie /plik.pdf?v=2.

Która reguła wygrywa

Google nie czyta reguł od góry do dołu. Spośród reguł pasujących do URL wybiera najdłuższą (najbardziej szczegółową); przy równej długości wygrywa Allow.

User-agent: *
Disallow: /katalog/
Allow: /katalog/buty/

Tutaj /katalog/buty/nike jest dostępny, a /katalog/torby/ zablokowany.

Grupy User-agent się nie sumują

Robot stosuje tylko najbardziej szczegółową pasującą do niego grupę. Jeśli istnieje blok User-agent: Googlebot, Googlebot całkowicie pomija reguły z User-agent: * — trzeba je powtórzyć w jego bloku. To jedna z najczęstszych przyczyn, dla których „zablokowane” sekcje i tak są skanowane.

Gotowe przykłady robots.txt

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.pl/wp-sitemap.xml

Nie blokuj /wp-content/ ani /wp-includes/: są tam CSS, JS i obrazy, bez których Google nie wyrenderuje strony. Jeśli mapę tworzy wtyczka SEO, podaj jej adres (np. /sitemap_index.xml).

Sklep internetowy (WooCommerce, PrestaShop, Shoper): filtry, sortowanie, UTM

User-agent: *
Disallow: /koszyk/
Disallow: /zamowienie/
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*utm_

Sitemap: https://example.pl/sitemap.xml

Ścieżki koszyka i zamówienia dopasuj do swojej platformy. Uwaga co do UTM: zablokowanego adresu Google nie skanuje, więc nie widzi na nim canonical. Jeśli do adresów z parametrami prowadzi wiele linków zewnętrznych, lepiej zostawić je otwarte i wskazać canonical na czysty URL. Nie blokuj stron filtrów, które mają się pozycjonować („buty do biegania męskie 43”).

Kreatory stron (Wix, Shopify, Shoper)

Platformy hostowane same generują robots.txt; steruje się nim przez ustawienia witryny i podstron (ukrycie przed wyszukiwarkami, wykluczenie z mapy), a nie przez wgrywanie pliku. Po publikacji sprawdź wynik — zostawiona z czasów budowy opcja „ukryj przed wyszukiwarkami” to klasyka.

Typowe błędy w pliku robots.txt

• Disallow: / na produkcji — plik skopiowano z serwera testowego. Narzędzie pokazuje to jako osobne ostrzeżenie.
• Zablokowane CSS i JS (/assets/, /static/) — Google widzi „rozsypaną” stronę, co szkodzi ocenie wersji mobilnej.
• Polskie znaki w ścieżkach. Google rozumie UTF-8, ale najpewniej zapisywać ścieżki w kodowaniu procentowym — tak, jak wyglądają po skopiowaniu z paska adresu. Domenę z polskimi znakami w Sitemap podawaj w Punycode.
• BOM i złe kodowanie. Google ignoruje BOM na początku pliku, ale inne parsery mogą odczytać pierwszą linię jako śmieci i zgubić pierwszą grupę. Zapisuj plik w UTF-8 bez BOM.
• Disallow zamiast noindex. Blokada skanowania nie usuwa strony z indeksu: może zostać w wynikach bez opisu. Do usunięcia służy noindex na stronie dostępnej dla robota — więcej w artykule noindex, nofollow i robots.
• Względny adres Sitemap (Sitemap: /sitemap.xml) — wymagany jest pełny URL z protokołem.

Gdy robots.txt zwraca 5xx lub przekierowanie

Dlatego 5xx na robots.txt jest groźniejszy niż brak pliku: skanowanie staje, a budżet indeksowania przepada. Google zwykle przechowuje plik w pamięci podręcznej do 24 godzin, więc poprawki nie działają od razu.

Crawl-delay, Host, Clean-param, noindex: co Google ignoruje

• Crawl-delay — Google go nie obsługuje, tempo skanowania dobiera sam na podstawie odpowiedzi serwera. Bing go uwzględnia, dlatego narzędzie ostrzega przy opóźnieniu powyżej 10 sekund.
• Host i Clean-param — dyrektywy Yandexa. Google je pomija; zamiast nich stosuj przekierowania 301 i canonical.
• Noindex w robots.txt — nieobsługiwany przez Google od 2019 roku.

Takie linie nie psują pliku — Google je pomija, a reguły dla innych robotów działają dalej.

Test robots.txt w Google Search Console

Stary tester robots.txt Google wycofał w 2023 roku. W Search Console jest teraz raport robots.txt (Ustawienia → robots.txt): które wersje pliku Google pobrał dla każdego hosta, kiedy, z jakim statusem i których linii nie rozpoznał; można tam też poprosić o ponowne pobranie po zmianie. Czy konkretny adres jest zablokowany, pokaże sprawdzenie adresu URL — status „Zablokowane przez plik robots.txt”. Pełna specyfikacja jest w dokumentacji Google.

Kolejność pracy: sprawdź plik tutaj, w razie potrzeby zbuduj nowy w generatorze robots.txt, a potem upewnij się, że mapa z linii Sitemap się otwiera i nie zawiera zablokowanych adresów — służy do tego analiza sitemap.xml.