ШІ-боти в robots.txt: 7 875 сайтів, 2026
Багато сайтів тепер закривають ШІ-роботів, але часто сприймають два різні типи ботів як один. Навчальні боти забирають контент для моделей. Пошукові боти визначають, чи може сайт потрапити у відповіді пошуку ChatGPT, Perplexity або Claude. Ми перевірили robots.txt у 7 875…
Багато сайтів тепер закривають ШІ-роботів, але часто сприймають два різні типи ботів як один. Навчальні боти забирають контент для моделей. Пошукові боти визначають, чи може сайт потрапити у відповіді пошуку ChatGPT, Perplexity або Claude. Ми перевірили robots.txt у 7 875 популярних сайтів у 10 доменних зонах і побачили, що перший тип сайти закривають значно частіше за другий.
Дані: обхід 10.11.2026
Ключові цифри
- 19,7% сайтів (1 551 із 7 875) закривають за назвою хоча б одного навчального ШІ-бота; 8,5% (669 із 7 875) закривають хоча б одного пошукового ШІ-бота. Googlebot закритий у 0,1% (9), Bingbot у 0,3% (24). Обхід 10.11.2026.
- 58% сайтів, які закрили навчальних ботів (896 із 1 551), залишили відкритими всіх 4 головних пошукових ШІ-ботів (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Із 1 109 сайтів, що закрили GPTBot, 29% (321) закрили й OAI-SearchBot.
- За доменними зонами хоча б одного навчального бота закривають від 29,7% сайтів у зоні .it (532 сайти) до 10,9% у зоні .br (403 сайти). У зоні .pl навчальних ботів закривають 24,9%, а пошукових лише 5,1% (587 сайтів).
- У живій перевірці 2 616 головних сторінок запиту з іменем GPTBot відмовили 12,8% (336), а запиту з іменем Googlebot, нашому контролю, 6,8% (178). Із 247 сайтів, які відмовили GPTBot, але пропустили Googlebot, 56% (139) не закривають GPTBot у robots.txt.
- llms.txt є на 13,1% сайтів (1 031 із 7 875): у міжнародних 18,6%, у зоні .fr 5,9%. Чи користуються цим файлом ШІ-системи, ми не вимірювали.
Два типи ШІ-ботів
Назви схожі, а призначення різне. Закрити навчального бота означає не пропонувати свій контент для навчання моделей. Закрити пошукового бота означає, що сервіс може не знайти і не процитувати ваші сторінки у своїх відповідях. Поділ нижче відповідає документації самих компаній.
| Бот | Компанія | Призначення |
|---|---|---|
| GPTBot | OpenAI | навчання |
| OAI-SearchBot | OpenAI | пошук і відповіді |
| ChatGPT-User | OpenAI | на запит користувача |
| ClaudeBot | Anthropic | навчання |
| Claude-SearchBot | Anthropic | пошук і відповіді |
| PerplexityBot | Perplexity | пошук і відповіді |
| Google-Extended | моделі Gemini (навчання та прив'язка до джерел) | |
| CCBot | Common Crawl | навчальні набори даних |
Одне місце плутає найчастіше. За документацією Google, Google-Extended не впливає на Google Search і AI Overviews: це окремий перемикач про використання в моделях Gemini. Для пошуку Google важливим залишається Googlebot.
Кого закривають
Серед навчальних ботів лідирують CCBot із 14,6% (1 149 із 7 875), GPTBot із 14,1% (1 109) і Bytespider із 14,0% (1 105), далі ClaudeBot 12,7% (1 002), meta-externalagent 11,6% (913), Applebot-Extended 10,8% (850) і Google-Extended 10,7% (842). Пошукових і відповідних ботів закривають рідше: PerplexityBot 7,0% (549), ChatGPT-User 5,8% (458), OAI-SearchBot 4,1% (326) і Claude-SearchBot 3,3% (260). Звичайні пошукові системи майже ніхто не закриває. Ще 2,3% сайтів (185 із 7 875) закривають усе універсальним правилом (wildcard), і в наведені вище цифри вони не входять: там враховано лише ботів, названих у файлі.
Навчання закривають, пошук залишають
Із 1 551 сайту, що закрили хоча б одного навчального бота, 896 (58%) залишили відкритими всіх 4 головних пошукових ШІ-ботів (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Схоже на свідомий поділ: контент моделям не віддавати, але й не зникати з відповідей. Із GPTBot картина менш акуратна. Із 1 109 сайтів, що його закрили, 321 (29%) закрили й OAI-SearchBot, тож ці сайти можуть не з'являтися в пошуку ChatGPT. Власник міг цього хотіти, а міг просто скопіювати список назв ботів, не розділяючи два типи. Файл не дає змоги відрізнити одне від іншого.
Зони відрізняються
| Зона | Сайтів | Навчальні боти | Пошукові боти |
|---|---|---|---|
| .it | 532 | 29,7% | 16,2% |
| .de | 580 | 26,7% | 13,4% |
| .pl | 587 | 24,9% | 5,1% |
| .uk | 425 | 23,8% | 13,4% |
| .fr | 543 | 23,6% | 12,0% |
| .es | 473 | 23,0% | 12,7% |
| міжнародні (.com .org .net .io) | 3 216 | 17,2% | 7,5% |
| .pt | 522 | 15,7% | 4,6% |
| .ua | 594 | 12,6% | 2,2% |
| .br | 403 | 10,9% | 3,5% |
Найчастіше закривають у зонах .it, .de, .pl, .uk, .fr і .es (від 23,0% до 29,7% для навчальних ботів), найрідше в .ua і .br (12,6% і 10,9%). Зона не дорівнює країні: це сайти, зареєстровані в зоні, а не компанії конкретної країни. Випадок .pl помітно вирізняється: 24,9% закривають навчальних ботів, але лише 5,1% закривають пошукових (587 сайтів). Чому в .it і .de закривають частіше, ми не знаємо. Можлива причина в позиції європейських видавців щодо використання їхнього контенту ШІ-компаніями, але це гіпотеза, і ми її не перевіряли. Збіг не доводить причину.
Сервер проти robots.txt
Правило в robots.txt лише прохання, а сервер може відмовити й самостійно, через CDN чи файрвол. Для цього ми зробили живу перевірку 2 616 головних сторінок, які віддали 200 браузеру. Потім до кожної сторінки ми звернулися ще чотири рази, назвавшись GPTBot, ClaudeBot, PerplexityBot і Googlebot.
| Ім'я бота в запиті | Відмовили |
|---|---|
| GPTBot | 12,8% (336) |
| ClaudeBot | 13,3% (349) |
| PerplexityBot | 9,7% (253) |
| Googlebot (контроль) | 6,8% (178) |
Контроль важливий. Усі запити йшли з нашої IP-адреси, а не з адрес OpenAI, Anthropic чи Google. Сайт може відмовити, бо бачить підробленого бота, а не тому, що справжнього закрито. Тому ми надіслали й підробленого Googlebot: його 6,8% показують фоновий рівень захисту від підробок. Різниця понад цей рівень і вказує на правило проти ШІ-ботів за назвою. 11,9% сайтів (310 із 2 616) відмовили хоча б одному ШІ-боту й пропустили підробленого Googlebot. Із 247 сайтів, які відмовили GPTBot, але пропустили Googlebot, 56% (139) не закривають GPTBot у robots.txt. Відмова нашому підробленому GPTBot не доводить, що справжньому GPTBot відмовляють. Що отримують справжні боти, ми не знаємо.
llms.txt: файл є, але чи ним користуються
Файл llms.txt є на 13,1% сайтів (1 031 із 7 875). Серед міжнародних це 18,6% (599 із 3 216), у зоні .ua 12,1% (72 із 594), у .br 12,2% (49 із 403), у .pl 10,6% (62 із 587), у .de 7,6% (44 із 580) і в .fr 5,9% (32 із 543). Наявність файла не означає, що ШІ-системи його використовують, і цього ми не вимірювали. Ще два сигнали в robots.txt: рядок Content-Signal, який описує дозволені способи використання контенту і який просуває Cloudflare, є на 5,2% сайтів (409 із 7 875), а маркер керованих правил Cloudflare на 2,9% (230 із 7 875).
Що робити
Вибірка не скаже, що правильно для конкретного сайту, але з неї випливають такі кроки:
- Вирішуйте окремо про навчання і про пошук. Це два рішення, а не одне.
- Пишіть правила за іменем бота. Мінімальний приклад, що закриває навчання і залишає пошук відкритим:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-SearchBot Allow: /
Список скорочено; повний залежить від того, яких ботів ви хочете закрити. - Перевірте, що CDN або файрвол усе одно не відсікає пошукових ботів, наприклад у розділі Bots/WAF панелі CDN і в логах за user agent. Правило в robots.txt не допоможе, якщо сервер їм відмовляє.
- Не закривайте Googlebot, щоб відгородитися від ШІ: для цього є окреме правило Google-Extended.
- Перечитайте robots.txt після зміни CDN або хостингу: керовані правила й типові налаштування можуть додати чи прибрати рядки.
- Додайте llms.txt, якщо хочете, без жодних очікувань.
- Переглядайте список раз на квартал: з'являються нові боти.
Свій robots.txt можна безкоштовно перевірити тут: перевірка robots.txt від PromoPilot. Він показує, які правила діють для яких ботів.
Методологія та обмеження
Вибірка: список Tranco (завантажено 10.11.2026). Міжнародна частина: перші 5 000 доменів у зонах .com, .org, .net і .io. Країнова частина: перші 700 доменів у кожній із 9 зон (.uk .de .fr .it .es .pt .pl .ua .br). Із 11 300 доменів відповіли 7 875: robots.txt повернув 200 як текст або 404/410, що означає «дозволено все». 3 425 доменів, які не відповіли, здебільшого технічні (CDN, API, трекери). Вибірка зміщена до популярних сайтів і не є випадковою. Збір пройшов 10.11.2026 з однієї IP в Європі з user agent PromoPilotResearch/1.0; якщо HTTPS не відповідав, ми повторювали запит із www. Файли розбирали за RFC 9309: бот підпорядковується групі зі своєю назвою, а за її відсутності універсальній групі. Бот вважається закритим за назвою, коли його власна група закриває шлях «/». Часткові заборони (окремі розділи) не враховано. Поділ ботів відповідає документації OpenAI, Anthropic, Perplexity і Google. Жива перевірка охопила 3 300 головних сторінок (1 500 міжнародних і по 200 на зону), із яких 2 616 повернули 200 на запит браузера. Відмова означає відповідь 401, 403, 406, 429, 451 або 503, або обрив з'єднання.
Обмеження: ми читаємо правила, а не те, як їх застосовують; деякі компанії зазначають, що агенти, які відкривають сторінку на запит користувача (ChatGPT-User, Perplexity-User), можуть не дотримуватися robots.txt. Відповідь сервера залежить від IP, часу й захисту від ботів, а це одне вимірювання. Типи сайтів (медіа, магазини) ми не розмічали, тому їх не порівнюємо. Зона не показує країну аудиторії.
FAQ
Чим GPTBot відрізняється від OAI-SearchBot?
За документацією OpenAI, GPTBot збирає контент, який може використовуватися для навчання моделей, а OAI-SearchBot слугує для пошуку й показу сайтів у пошуку ChatGPT. Це окремі правила в robots.txt. У нашій вибірці 14,1% сайтів (1 109 із 7 875) закривають GPTBot за назвою і 4,1% (326 із 7 875) закривають OAI-SearchBot.
Якщо закрити GPTBot, чи зникне сайт із ChatGPT?
Не лише через це правило. Пошуком займається інший бот, OAI-SearchBot. Із 1 109 сайтів, що закрили GPTBot, 29% (321) закрили й OAI-SearchBot, і такі сайти можуть не показуватися в пошуку ChatGPT. Решта 71% його не закривають. Що саме ChatGPT показує після цього, ми не вимірювали, тож це опис правил, а не результатів.
Чи впливає Google-Extended на позиції в Google?
За документацією Google, ні. Google-Extended лише керує тим, чи використовується контент у моделях Gemini, і не впливає на Google Search та AI Overviews. У нашій вибірці його закривають 10,7% сайтів (842 із 7 875), тоді як Googlebot закритий у 0,1% (9 із 7 875).
Чи потрібен сайту файл llms.txt?
Це необов'язково. У 13,1% сайтів нашої вибірки він є (1 031 із 7 875). Чи читають його ШІ-системи, ми не вимірювали, тож не можемо стверджувати, що він щось змінює. Додати його недорого, але нічого від нього не очікуйте.
Як перевірити, чи пускає мій сервер ШІ-ботів?
Перевірте дві речі: правила в robots.txt і реальну відповідь сервера на запит з іменем бота. У нашій живій перевірці 2 616 головних сторінок 11,9% (310) відмовили хоча б одному ШІ-боту, пропустивши підробленого Googlebot. Наші запити йшли з власної IP, тому результат слугує підказкою, а не доказом щодо справжнього бота. Що отримують справжні боти, показують логи сервера й налаштування CDN.
Скільки сайтів закривають ШІ-ботів у 2026 році?
У нашій вибірці з 7 875 популярних сайтів 19,7% (1 551) закривають за назвою хоча б одного навчального ШІ-бота і 8,5% (669) закривають хоча б одного пошукового ШІ-бота. Вибірка зміщена до популярних сайтів і не охоплює всі сайти інтернету. Дата обходу: 10.11.2026.
Як цитувати
PromoPilot (2026). ШІ-боти в robots.txt: 7 875 сайтів. Дані 10.11.2026. CC BY 4,0: https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv . Стаття: https://promopilot.link/uk/blog/shi-boty-v-robots-txt-7875-saitiv-2026
Завантажити дані
Зведена таблиця (CSV, ліцензія CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv. У ній агрегати за доменними зонами, а не списки доменів.
