Boty AI w robots.txt: 7 875 witryn, 2026

Wiele witryn blokuje dziś roboty AI, ale często traktuje dwa różne rodzaje botów jak jeden. Boty treningowe pobierają treści dla modeli. Boty wyszukiwania decydują, czy witryna może trafić do odpowiedzi wyszukiwarki ChatGPT, Perplexity lub Claude. Sprawdziliśmy robots.txt 7 875 popularnych witryn w 10 strefach domenowych i okazało się, że pierwszy rodzaj blokuje się znacznie częściej niż drugi.

Dane: skan z 10.11.2026

Dwa rodzaje botów AI

Nazwy są podobne, ale cel jest inny. Zablokowanie bota treningowego oznacza, że twoje treści nie są oferowane do trenowania modeli. Zablokowanie bota wyszukiwania oznacza, że dana usługa może nie znaleźć ani nie zacytować twoich stron w swoich odpowiedziach. Poniższy podział opiera się na dokumentacji samych firm.

Jedna kwestia budzi najwięcej pomyłek. Według dokumentacji Google, Google-Extended nie wpływa na Google Search ani AI Overviews: to osobny przełącznik dotyczący użycia w modelach Gemini. Dla wyszukiwarki Google nadal liczy się Googlebot.

Kto kogo blokuje

Wśród botów treningowych prowadzą CCBot z 14,6% (1 149 z 7 875), GPTBot z 14,1% (1 109) i Bytespider z 14,0% (1 105), następnie ClaudeBot 12,7% (1 002), meta-externalagent 11,6% (913), Applebot-Extended 10,8% (850) i Google-Extended 10,7% (842). Boty wyszukiwania i odpowiedzi blokuje się rzadziej: PerplexityBot 7,0% (549), ChatGPT-User 5,8% (458), OAI-SearchBot 4,1% (326) i Claude-SearchBot 3,3% (260). Zwykłych wyszukiwarek prawie nikt nie blokuje. Kolejne 2,3% witryn (185 z 7 875) zamyka wszystko regułą z symbolem wieloznacznym (wildcard) i nie wchodzą one do powyższych liczb, które obejmują tylko boty wymienione w pliku z nazwy.

Trening blokują, wyszukiwanie zostawiają

Spośród 1 551 witryn, które blokują co najmniej jednego bota treningowego, 896 (58%) zostawia otwarte wszystkie 4 główne boty wyszukiwania AI (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Wygląda to na świadomy podział: nie oddawać treści modelom, ale nie znikać z odpowiedzi. W przypadku GPTBota obraz jest mniej uporządkowany. Spośród 1 109 witryn, które go blokują, 321 (29%) blokuje też OAI-SearchBot, więc te witryny mogą nie pojawiać się w wyszukiwarce ChatGPT. Właściciel mógł tego chcieć albo po prostu skopiował listę nazw botów, nie rozróżniając dwóch rodzajów. Z samego pliku tego nie odczytamy.

Strefy się różnią

Blokowanie jest najczęstsze w strefach .it, .de, .pl, .uk, .fr i .es (od 23,0% do 29,7% dla botów treningowych), a najrzadsze w .ua i .br (12,6% i 10,9%). Strefa to nie kraj: chodzi o witryny zarejestrowane w strefie, a nie o firmy z konkretnego kraju. Wyróżnia się przypadek .pl: 24,9% blokuje boty treningowe, ale tylko 5,1% blokuje boty wyszukiwania (587 witryn). Nie wiemy, dlaczego w .it i .de blokuje się częściej. Jedna z możliwych przyczyn to stanowisko europejskich wydawców wobec wykorzystywania ich treści przez firmy AI, ale to hipoteza, której nie sprawdzaliśmy. Korelacja nie jest przyczyną.

Serwer kontra robots.txt

Reguła w robots.txt jest prośbą, a serwer może odmówić sam, przez CDN lub zaporę. Dlatego przeprowadziliśmy kontrolę na żywo 2 616 stron głównych, które przeglądarce zwróciły 200. Następnie odpytaliśmy każdą stronę jeszcze cztery razy, podając się za GPTBot, ClaudeBot, PerplexityBot i Googlebot.

Kontrola ma znaczenie. Wszystkie żądania szły z naszego adresu IP, a nie z adresów OpenAI, Anthropic czy Google. Witryna może odmówić, bo widzi fałszywego bota, a nie dlatego, że prawdziwy jest zablokowany. Dlatego wysłaliśmy też fałszywego Googlebota: jego 6,8% pokazuje poziom tła ochrony przed podróbkami. Różnica ponad ten poziom wskazuje na regułę przeciw botom AI po nazwie. 11,9% witryn (310 z 2 616) odmówiło co najmniej jednemu botowi AI i przepuściło fałszywego Googlebota. Spośród 247 witryn, które odmówiły GPTBotowi, ale przepuściły Googlebota, 56% (139) nie blokuje GPTBota w robots.txt. Odmowa dla naszego fałszywego GPTBota nie dowodzi, że prawdziwemu GPTBotowi się odmawia. Tego, co dostają prawdziwe boty, nie wiemy.

llms.txt: plik jest, ale czy ktoś z niego korzysta

Plik llms.txt ma 13,1% witryn (1 031 z 7 875). Wśród międzynarodowych to 18,6% (599 z 3 216), w strefie .ua 12,1% (72 z 594), w .br 12,2% (49 z 403), w .pl 10,6% (62 z 587), w .de 7,6% (44 z 580) i w .fr 5,9% (32 z 543). Istnienie pliku nie oznacza, że systemy AI z niego korzystają, a tego nie mierzyliśmy. Dwa kolejne sygnały w robots.txt: wiersz Content-Signal, który określa dozwolone sposoby użycia treści i jest promowany przez Cloudflare, ma 5,2% witryn (409 z 7 875), a znacznik zarządzanych reguł Cloudflare 2,9% (230 z 7 875).

Co robić

Próba nie powie, co jest słuszne dla konkretnej witryny, ale wynikają z niej takie kroki:

• Decyduj osobno o treningu i o wyszukiwaniu. To dwie decyzje, nie jedna.
• Pisz reguły po nazwie bota. Minimalny przykład, który blokuje trening i zostawia wyszukiwanie otwarte:

  User-agent: GPTBot
  Disallow: /
  
  User-agent: ClaudeBot
  Disallow: /
  
  User-agent: Google-Extended
  Disallow: /
  
  User-agent: CCBot
  Disallow: /
  User-agent: Bytespider
  Disallow: /
  User-agent: Applebot-Extended
  Disallow: /
  User-agent: meta-externalagent
  Disallow: /
  
  User-agent: OAI-SearchBot
  Allow: /
  
  User-agent: PerplexityBot
  Allow: /
  
  User-agent: Claude-SearchBot
  Allow: /

  
  Lista jest skrócona; pełna zależy od tego, które boty chcesz zablokować.
• Sprawdź, czy CDN lub zapora i tak nie odcinają botów wyszukiwania, na przykład w sekcji Bots/WAF panelu CDN i w logach według user agenta. Reguła w robots.txt nie pomoże, jeśli serwer im odmawia.
• Nie blokuj Googlebota, by odgrodzić się od AI: Google-Extended to osobna reguła.
• Przeczytaj robots.txt ponownie po zmianie CDN lub hostingu: reguły zarządzane i ustawienia domyślne mogą dodać lub usunąć wiersze.
• Dodaj llms.txt, jeśli chcesz, bez żadnych oczekiwań.
• Wracaj do listy raz na kwartał: pojawiają się nowe boty.

Własny robots.txt możesz sprawdzić za darmo: sprawdzanie robots.txt od PromoPilot. Pokazuje, które reguły dotyczą których botów.

Metodologia i ograniczenia

Próba: lista Tranco (pobrana 10.11.2026). Część międzynarodowa: pierwsze 5 000 domen w strefach .com, .org, .net i .io. Część krajowa: pierwsze 700 domen w każdej z 9 stref (.uk .de .fr .it .es .pt .pl .ua .br). Z 11 300 domen odpowiedziało 7 875: robots.txt zwrócił 200 jako tekst albo 404/410, co oznacza „wszystko dozwolone”. 3 425 domen, które nie odpowiedziały, to głównie domeny techniczne (CDN, API, trackery). Próba jest przesunięta w stronę popularnych witryn i nie jest losowa. Zbieranie odbyło się 10.11.2026 z jednego adresu IP w Europie z user agentem PromoPilotResearch/1.0; jeśli HTTPS nie odpowiadał, ponawialiśmy zapytanie z www. Pliki analizowano według RFC 9309: bot stosuje się do grupy ze swoją nazwą, a gdy jej nie ma, do grupy wieloznacznej. Bota uznajemy za zablokowanego po nazwie, gdy jego własna grupa zamyka ścieżkę „/”. Blokad częściowych (pojedyncze sekcje) nie liczymy. Podział botów opiera się na dokumentacji OpenAI, Anthropic, Perplexity i Google. Kontrola na żywo objęła 3 300 stron głównych (1 500 międzynarodowych i po 200 na strefę), z których 2 616 zwróciło 200 na żądanie przeglądarki. Odmowa to odpowiedź 401, 403, 406, 429, 451 lub 503 albo zerwane połączenie.

Ograniczenia: czytamy reguły, a nie to, jak są stosowane; część firm zaznacza, że agenci otwierający stronę na prośbę użytkownika (ChatGPT-User, Perplexity-User) mogą nie przestrzegać robots.txt. Odpowiedź serwera zależy od IP, czasu i ochrony przed botami, a to jeden pomiar. Typów witryn (media, sklepy) nie oznaczaliśmy, więc ich nie porównujemy. Strefa to nie kraj odbiorców.

FAQ

Czym GPTBot różni się od OAI-SearchBot?

Według dokumentacji OpenAI GPTBot zbiera treści, które mogą służyć do trenowania modeli, a OAI-SearchBot służy do wyszukiwania i pokazywania witryn w wyszukiwarce ChatGPT. To osobne reguły w robots.txt. W naszej próbie 14,1% witryn (1 109 z 7 875) blokuje GPTBota po nazwie, a 4,1% (326 z 7 875) blokuje OAI-SearchBot.

Czy po zablokowaniu GPTBota moja witryna zniknie z ChatGPT?

Nie tylko przez tę regułę. Wyszukiwaniem zajmuje się inny bot, OAI-SearchBot. Spośród 1 109 witryn blokujących GPTBota 29% (321) blokuje też OAI-SearchBot i takie witryny mogą nie być pokazywane w wyszukiwarce ChatGPT. Pozostałe 71% go nie blokuje. Nie mierzyliśmy, co ChatGPT wtedy pokazuje, więc to opis reguł, a nie wyników.

Czy Google-Extended wpływa na pozycje w Google?

Według dokumentacji Google nie. Google-Extended tylko decyduje o tym, czy treści są używane w modelach Gemini, i nie wpływa na Google Search ani AI Overviews. W naszej próbie blokuje go 10,7% witryn (842 z 7 875), podczas gdy Googlebota blokuje 0,1% (9 z 7 875).

Czy witryna potrzebuje pliku llms.txt?

Nie jest to wymagane. W naszej próbie ma go 13,1% witryn (1 031 z 7 875). Nie mierzyliśmy, czy systemy AI go czytają, więc nie możemy twierdzić, że cokolwiek zmienia. Dodanie go kosztuje niewiele, ale nie oczekuj po nim niczego.

Jak sprawdzić, czy mój serwer wpuszcza boty AI?

Sprawdź dwie rzeczy: reguły w robots.txt oraz rzeczywistą odpowiedź serwera na żądanie z nazwą bota. W naszej kontroli na żywo 2 616 stron głównych 11,9% (310) odmówiło co najmniej jednemu botowi AI, przepuszczając fałszywego Googlebota. Nasze żądania szły z własnego IP, więc wynik jest wskazówką, a nie dowodem dotyczącym prawdziwego bota. To, co dostają prawdziwe boty, pokazują logi serwera i ustawienia CDN.

Ile witryn blokuje boty AI w 2026 roku?

W naszej próbie 7 875 popularnych witryn 19,7% (1 551) blokuje po nazwie co najmniej jednego bota AI do treningu, a 8,5% (669) blokuje co najmniej jednego bota wyszukiwania AI. Próba jest przesunięta w stronę popularnych witryn i nie obejmuje wszystkich witryn w internecie. Data skanu: 10.11.2026.

Jak cytować

PromoPilot (2026). Boty AI w robots.txt: 7 875 witryn. Dane 10.11.2026. CC BY 4,0: https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv . Artykuł: https://promopilot.link/pl/blog/boty-ai-w-robots-txt-7875-witryn-2026

Pobierz dane

Tabela zbiorcza (CSV, licencja CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv. Zawiera agregaty według stref domenowych, a nie listy domen.