ИИ-боты в robots.txt: 7 875 сайтов, 2026
Многие сайты закрывают ИИ-роботов, но часто путают два разных типа ботов. Обучающие боты забирают контент для моделей. Поисковые боты решают, сможет ли сайт появиться в ответах поиска ChatGPT, Perplexity или Claude. Мы проверили robots.txt у 7 875 популярных сайтов в 10 доменных…
Многие сайты закрывают ИИ-роботов, но часто путают два разных типа ботов. Обучающие боты забирают контент для моделей. Поисковые боты решают, сможет ли сайт появиться в ответах поиска ChatGPT, Perplexity или Claude. Мы проверили robots.txt у 7 875 популярных сайтов в 10 доменных зонах: первый тип закрывают заметно чаще второго.
Данные: обход 10.11.2026
Ключевые цифры
- Хотя бы одного обучающего бота ИИ по имени закрывают 19,7% сайтов (1 551 из 7 875), хотя бы одного поискового бота ИИ 8,5% (669 из 7 875). Googlebot закрывают 0,1% (9), Bingbot 0,3% (24). Обход 10.11.2026.
- 58% сайтов, закрывших обучающих ботов (896 из 1 551), оставили открытыми всех 4 главных поисковых ботов ИИ (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Из 1 109 сайтов, закрывших GPTBot, 29% (321) закрыли и OAI-SearchBot.
- По зонам хотя бы одного обучающего бота закрывают от 29,7% сайтов в .it (532 сайта) до 10,9% в .br (403 сайта). В .pl обучающих закрывают 24,9%, а поисковых только 5,1% (587 сайтов).
- В живой проверке 2 616 главных страниц запросу с именем GPTBot отказали 12,8% (336), а запросу с именем Googlebot, нашему контролю, 6,8% (178). Из 247 сайтов, отказавших GPTBot при пропущенном Googlebot, 56% (139) не закрывают GPTBot в robots.txt.
- llms.txt есть у 13,1% сайтов (1 031 из 7 875): у международных 18,6%, в .fr 5,9%. Используют ли файл ИИ-системы, мы не измеряли.
Два типа ИИ-ботов
Названия похожи, но задачи разные. Закрыть обучающего бота значит не предлагать свой контент для обучения моделей. Закрыть поискового бота значит, что сервис может не найти и не процитировать ваши страницы в ответах. Деление в таблице взято из документации самих компаний.
| Бот | Компания | Для чего |
|---|---|---|
| GPTBot | OpenAI | обучение |
| OAI-SearchBot | OpenAI | поиск и ответы |
| ChatGPT-User | OpenAI | по запросу пользователя |
| ClaudeBot | Anthropic | обучение |
| Claude-SearchBot | Anthropic | поиск и ответы |
| PerplexityBot | Perplexity | поиск и ответы |
| Google-Extended | модели Gemini (обучение и привязка к источникам) | |
| CCBot | Common Crawl | обучающие наборы данных |
Больше всего путаницы вызывает один момент. По документации Google, Google-Extended не влияет на Google Поиск и AI Overviews: это отдельный переключатель для использования в моделях Gemini. Для Поиска по-прежнему важен Googlebot.
Кого закрывают
Среди обучающих лидируют CCBot 14,6% (1 149 из 7 875), GPTBot 14,1% (1 109) и Bytespider 14,0% (1 105), дальше ClaudeBot 12,7% (1 002), meta-externalagent 11,6% (913), Applebot-Extended 10,8% (850) и Google-Extended 10,7% (842). Поисковых и ответных ботов закрывают реже: PerplexityBot 7,0% (549), ChatGPT-User 5,8% (458), OAI-SearchBot 4,1% (326) и Claude-SearchBot 3,3% (260). Обычные поисковики почти не закрыты. Ещё 2,3% сайтов (185 из 7 875) закрывают всё правилом для всех ботов; в цифры выше они не входят, там считаются только боты, названные в файле.
Обучение закрывают, поиск оставляют
Из 1 551 сайта, закрывшего хотя бы одного обучающего бота, 896 (58%) оставили открытыми всех 4 главных поисковых ботов ИИ (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). Похоже на осознанное разделение: контент моделям не отдаём, но из ответов не уходим. С GPTBot картина менее ровная. Из 1 109 сайтов, закрывших его, 321 (29%) закрыли и OAI-SearchBot, и такие сайты могут не появляться в поиске ChatGPT. Возможно, владелец этого и хотел, а возможно, просто скопировал список имён ботов, не разделяя два типа. По файлу отличить одно от другого нельзя.
Зоны отличаются
| Зона | Сайтов | Обучающие боты | Поисковые боты |
|---|---|---|---|
| .it | 532 | 29,7% | 16,2% |
| .de | 580 | 26,7% | 13,4% |
| .pl | 587 | 24,9% | 5,1% |
| .uk | 425 | 23,8% | 13,4% |
| .fr | 543 | 23,6% | 12,0% |
| .es | 473 | 23,0% | 12,7% |
| международные (.com .org .net .io) | 3 216 | 17,2% | 7,5% |
| .pt | 522 | 15,7% | 4,6% |
| .ua | 594 | 12,6% | 2,2% |
| .br | 403 | 10,9% | 3,5% |
Чаще всего закрывают в .it, .de, .pl, .uk, .fr и .es (от 23,0% до 29,7% для обучающих), реже всего в .ua и .br (12,6% и 10,9%). Зона не равна стране: это сайты, зарегистрированные в зоне, а не компании конкретной страны. Заметен случай .pl: обучающих закрывают 24,9%, а поисковых только 5,1% (587 сайтов). Почему в .it и .de закрывают чаще, мы не знаем. Возможная причина в позиции европейских издателей по использованию их контента ИИ-компаниями, но это гипотеза, мы её не проверяли. Совпадение не доказывает причину.
Сервер против robots.txt
Правило в robots.txt лишь просьба, а сервер может отказать сам, через CDN или файрвол. Поэтому мы сделали живую проверку 2 616 главных страниц, которые отдали 200 браузеру. Каждой странице мы отправили ещё четыре запроса с именами GPTBot, ClaudeBot, PerplexityBot и Googlebot.
| Имя бота в запросе | Отказали |
|---|---|
| GPTBot | 12,8% (336) |
| ClaudeBot | 13,3% (349) |
| PerplexityBot | 9,7% (253) |
| Googlebot (контроль) | 6,8% (178) |
Контроль здесь важен. Все запросы шли с нашего IP, а не с адресов OpenAI, Anthropic или Google. Сайт мог отказать, потому что увидел поддельного бота, а не потому, что настоящий закрыт. Поэтому мы отправляли и поддельный Googlebot: его 6,8% показывают фоновый уровень защиты от подделок. Разница выше этого уровня указывает на правило против ИИ-ботов по имени. Хотя бы одному ИИ-боту отказали, а поддельный Googlebot пропустили 11,9% сайтов (310 из 2 616). Из 247 сайтов, отказавших GPTBot при пропущенном Googlebot, 56% (139) не закрывают GPTBot в robots.txt. Отказ нашему поддельному GPTBot не доказывает отказ настоящему. Что реально получают настоящие боты, мы не знаем.
llms.txt: файл есть, но используют ли его
Файл llms.txt есть у 13,1% сайтов (1 031 из 7 875). У международных 18,6% (599 из 3 216), в .ua 12,1% (72 из 594), в .br 12,2% (49 из 403), в .pl 10,6% (62 из 587), в .de 7,6% (44 из 580), в .fr 5,9% (32 из 543). Наличие файла не значит, что ИИ-системы им пользуются; мы этого не измеряли. Ещё два сигнала в robots.txt: строка Content-Signal, которая задаёт разрешённые способы использования контента и которую продвигает Cloudflare, есть у 5,2% сайтов (409 из 7 875), а разметка Cloudflare у 2,9% (230 из 7 875).
Что делать
Выборка не скажет, что верно для конкретного сайта, но из неё следуют такие шаги:
- Решайте отдельно по обучению и по поиску. Это два решения, а не одно.
- Пишите правила по именам ботов. Минимальный пример: обучение закрыто, поиск открыт:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: Bytespider Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-SearchBot Allow: /
Список сокращён, полный зависит от того, кого вы хотите закрыть. - Проверьте, что CDN или файрвол не режет поисковых ботов ИИ: например, раздел Bots/WAF в панели CDN и логи по User-Agent. Правило в robots.txt не поможет, если сервер отказывает им сам.
- Не закрывайте Googlebot ради борьбы с ИИ: для этого есть отдельное правило Google-Extended.
- Перечитайте robots.txt после смены CDN или хостинга: управляемые правила и настройки по умолчанию могут добавить или убрать строки.
- llms.txt добавляйте по желанию, без ожиданий.
- Пересматривайте список раз в квартал: появляются новые боты.
Свой robots.txt можно проверить бесплатно: проверка robots.txt в PromoPilot. Она показывает, какие правила действуют для каких ботов.
Методология и ограничения
Выборка: список Tranco (загрузка 10.11.2026). Международная часть: первые 5 000 доменов в зонах .com, .org, .net и .io. Страновая часть: по 700 первых доменов в 9 зонах (.uk .de .fr .it .es .pt .pl .ua .br). Из 11 300 доменов ответили 7 875: robots.txt вернул 200 как текст или 404/410, что значит «разрешено всё». Не вошли 3 425 доменов без ответа, в основном технические (CDN, API, трекеры). Выборка смещена к популярным сайтам и не случайная. Сбор шёл 10.11.2026 с одного IP в Европе, User-Agent PromoPilotResearch/1.0; если HTTPS не отвечал, повторяли с www. Файлы разбирали по RFC 9309: бот подчиняется группе со своим именем, а если её нет, группе «*». Бот считается закрытым по имени, если его собственная группа закрывает путь «/». Частичные запреты (отдельные разделы) не считались. Деление ботов взято из документации OpenAI, Anthropic, Perplexity и Google. Живая проверка охватила 3 300 главных страниц (1 500 международных и по 200 в каждой зоне), из них 2 616 отдали 200 браузерному запросу. Отказ означает ответ 401, 403, 406, 429, 451 или 503 либо обрыв соединения.
Ограничения: мы смотрим правила, а не их исполнение; часть компаний пишет, что агенты, открывающие страницу по запросу пользователя (ChatGPT-User, Perplexity-User), могут не следовать robots.txt. Ответ сервера зависит от IP, времени и защиты от ботов, это один замер. Типы сайтов (СМИ, магазины) мы не размечали, поэтому не сравниваем их. Зона не равна стране аудитории.
FAQ
Чем GPTBot отличается от OAI-SearchBot?
По документации OpenAI, GPTBot собирает контент, который может использоваться для обучения моделей, а OAI-SearchBot нужен, чтобы находить сайты и показывать их в поиске ChatGPT. Это отдельные правила в robots.txt. В нашей выборке GPTBot по имени закрывают 14,1% сайтов (1 109 из 7 875), а OAI-SearchBot 4,1% (326 из 7 875).
Если закрыть GPTBot, пропадёт ли сайт из ChatGPT?
Само по себе это правило не закрывает поиск: за него отвечает другой бот, OAI-SearchBot. Из 1 109 сайтов, закрывших GPTBot, 29% (321) закрыли и OAI-SearchBot, и такие сайты могут не показываться в поиске ChatGPT. Остальные 71% его не закрывают. Что именно показывает ChatGPT в этом случае, мы не измеряли: это описание правил, а не результатов.
Влияет ли Google-Extended на позиции в Google?
По документации Google, нет. Google-Extended только управляет тем, используется ли контент в моделях Gemini, и не влияет на Google Поиск и AI Overviews. В нашей выборке его закрывают 10,7% сайтов (842 из 7 875), а Googlebot закрывают 0,1% (9 из 7 875).
Нужен ли сайту llms.txt?
Это необязательно. Файл есть у 13,1% сайтов нашей выборки (1 031 из 7 875). Читают ли его ИИ-системы, мы не измеряли, поэтому не можем сказать, что он что-то меняет. Добавить его недорого, но ждать от него ничего не стоит.
Как проверить, пускает ли сервер ИИ-ботов?
Проверьте две вещи: правила в robots.txt и реальный ответ сервера на запрос с именем бота. В нашей живой проверке 2 616 главных страниц хотя бы одному ИИ-боту отказали, а поддельный Googlebot пропустили 11,9% (310). Запросы шли с нашего IP, поэтому результат служит подсказкой, а не доказательством для настоящего бота. Что получают настоящие боты, видно в логах сервера и настройках CDN.
Сколько сайтов закрывают ИИ-ботов в 2026?
В нашей выборке из 7 875 популярных сайтов хотя бы одного обучающего бота ИИ по имени закрывают 19,7% (1 551), хотя бы одного поискового бота ИИ 8,5% (669). Выборка смещена к популярным сайтам и не равна всему интернету. Дата обхода: 10.11.2026.
Как цитировать
PromoPilot (2026). ИИ-боты в robots.txt: 7 875 сайтов. Данные 10.11.2026. CC BY 4.0: https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv . Статья: https://promopilot.link/blog/ii-boty-v-robots-txt-7875-sajtov-2026
Скачать данные
Сводная таблица (CSV, лицензия CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-1211/ai-bots-robots-txt-2026-11-10.csv. В ней агрегаты по доменным зонам, без списков доменов.
