Analiza robots.txt

Sprawdź robots.txt: dyrektywy Allow/Disallow, User-Agent, Sitemap, Crawl-delay. Znajdź błędy utrudniające indeksowanie.

Analiza Robots.txt — Sprawdzanie dostępu botów

Sprawdź plik robots.txt: dyrektywy Allow/Disallow, bloki User-Agent, linki do Sitemap, błędy składniowe. Upewnij się, że boty wyszukiwarek mogą zobaczyć całą ważną treść Twojej strony.

Parsowanie wszystkich dyrektyw robots.txt

Analiza bloków User-Agent

Sprawdzanie linków mapy witryny

Wykrywanie błędów składniowych

Sprawdzanie dostępności krytycznych URL

Zalecenia konfiguracyjne

Jak korzystać

Wpisz domenę do sprawdzenia robots.txt
Sprawdź listę dyrektyw i błędów
Napraw problemy blokujące indeksację

Use Cases

Weryfikacja robots.txt przed uruchomieniem nowej wersji strony.
Wykrywanie przypadkowych blokad ważnych sekcji.

Limitations

Sprawdza robots.txt i nie zastępuje audytu meta robots na stronach.
Różne boty mogą inaczej interpretować skrajne przypadki dyrektyw.

Example Input / Output

Przykład wejścia

https://example.com/robots.txt

Przykład wyniku

Wykryto 2 potencjalnie ryzykowne reguły Disallow i 1 brakującą dyrektywę Sitemap.

FAQ

Robots.txt to plik tekstowy w katalogu głównym strony, który informuje boty wyszukiwarek, które strony indeksować, a które ignorować. To nie jest ochrona przed indeksacją — użyj meta robots noindex do blokowania.

Blokowanie plików CSS/JS utrudnia renderowanie. Blokowanie /admin/ bez wyjątków dla zasobów. Brak linku do Sitemap. Nieprawidłowa składnia dyrektyw.