Audyt: problemy z indeksowaniem i co one oznaczają
Kategoria „Indeksowanie i skanowanie” odpowiada na jedno pytanie: czy strona trafi do wyszukiwarki. Tutaj znajduje się sześć z dwunastu błędów audytu — jeśli strona jest niedostępna lub zablokowana, pozostałe uwagi na jej temat nie mają sensu. Należą tu również kontrole robots.txt i dostęp dla botów AI.
Błędy: naprawić w pierwszej kolejności
| Kod w raporcie | Co się stało | Co robić |
|---|---|---|
| Strona zwraca 4xx | Adres nie istnieje, ale prowadzą do niego linki | Przywrócić stronę lub ustawić 301 na aktualny adres i usunąć linki |
| Błąd serwera 5xx | Serwer nie mógł zwrócić strony | Sprawdzić logi: zazwyczaj to baza danych, limity lub błąd w kodzie |
| Strona niedostępna | Timeout lub przerwanie połączenia | Sprawdzić stabilność hostingu i czas odpowiedzi |
| Pętla przekierowań | Adres przekierowuje sam na siebie w kółko | Przerwać łańcuch: zazwyczaj konflikt reguł www/https i CMS |
| Wiele canonical | Na stronie dwa lub więcej adresów kanonicznych | Zostawić jeden — wyszukiwarka wybierze inaczej |
| Treść strony rysuje JavaScript | W oryginalnym HTML prawie nie ma tekstu i linków — wszystko pojawia się dopiero po wykonaniu skryptów | Włączyć renderowanie po stronie serwera (SSR) lub prerendering, linki robić zwykłymi tagami <a href> |
Ostrzeżenia
- Strona zamknięta noindex — czasami celowo, ale częściej to zapomniany zakaz po zakończeniu prac. Sprawdź, czy ta strona na pewno nie jest potrzebna w wyszukiwarce.
- Zamknięta w robots.txt — robot nie obejdzie strony. Pamiętaj: to nie to samo, co usunięcie z indeksu, zob. analizę trzech instrukcji.
- Pętla przekierowań — więcej niż jeden krok: traci się prędkość i część wagi.
- Meta refresh — przestarzały sposób przekierowania, wyszukiwarka rozumie go gorzej niż zwykłe przekierowanie.
- Hreflang bez self-linku — oznaczenie wersji językowych nie działa, zob. sprawdzenie hreflang.
- robots.txt zwraca stronę HTML — pod adresem /robots.txt serwer zwraca stronę witryny zamiast reguł. Dla wyszukiwarek robots.txt praktycznie nie istnieje, a mapa witryny z niego nie zostanie znaleziona. Częsta historia w witrynach na JavaScript, które na każdy adres odpowiadają główną.
- Boty AI zamknięte w robots.txt — boty ChatGPT, Claude, Perplexity lub Google AI nie mogą czytać witryny, więc nie zacytują jej w odpowiedziach. W szczegółach problemów wymienione są zamknięte boty.
Uwagi
Brak canonical i canonical na inny adres — to drugie jest szczególnie podstępne: strona jest wykluczana z indeksu na rzecz wskazanej. Wewnętrzne przekierowanie — linki wewnątrz witryny prowadzą do adresu, który przekierowuje; lepiej linkować od razu do końcowego. Dostęp ograniczony — ochrona hostingu zablokowała naszego crawlery: strona prawdopodobnie działa, ale sprawdź ręcznie. Sitemap.xml nie znaleziono — zob. sprawdzenie mapy witryny. Brak robots.txt — pod adresem /robots.txt nic nie ma, wyszukiwarki nie widzą reguł przeszukiwania i linków do mapy witryny; stwórz plik z regułami i linią Sitemap: z adresem mapy.
Strony na JavaScript
Jeśli w kodzie głównej prawie nie ma tekstu i linków, audyt otwiera strony w prawdziwej przeglądarce i sprawdza to, co widzi odwiedzający, a nad raportem pojawia się komunikat „Treść strony rysuje JavaScript — sprawdziliśmy to w przeglądarce”. Lista problemów w tym przypadku jest pełna, ale błąd „Treść strony rysuje JavaScript” pozostaje: Google renderuje takie strony z opóźnieniem i nie zawsze, a boty AI zazwyczaj widzą pustą stronę. Jeśli nie udało się sprawdzić w przeglądarce, komunikat będzie bez słów o przeglądarce, a znalezionych stron będzie mało: tak witrynę widzą i wyszukiwarki bez renderowania.
Dostęp dla botów AI i llms.txt
Audyt czyta robots.txt i sprawdza, czy witryna jest otwarta dla botów GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended i Applebot-Extended. Jeśli chociaż jeden jest zamknięty, pojawia się ostrzeżenie „Boty AI zamknięte w robots.txt”. Zamknąć boty czy nie — to twoja decyzja, ale zamknięty bot nie zacytuje witryny.
Jednocześnie sprawdzany jest llms.txt — krótka mapa witryny dla asystentów AI w formacie Markdown: co to za firma, jakie sekcje i strony są główne. Jeśli plik nie istnieje, pojawia się uwaga „Brak llms.txt”; w raporcie znajduje się w kategorii „Treść”. To uwaga, a nie błąd: plik jest przydatny, ale nieobowiązkowy. Jak to się ma do cytowania w odpowiedziach AI — w sekcji „Widoczność w wyszukiwarkach AI” artykułu jak czytać raport audytu.
Jak sprawdzić konkretną stronę
Audyt pokazuje obraz witryny, a dla jednej strony szybciej sprawdzacz indeksacji i nagłówki odpowiedzi — zakaz może być zwracany przez serwer, a w kodzie strony nie jest widoczny.