Сколько сайтов закрывают ИИ-ботов в robots.txt, 5 071 сайт
15–16 ноября 2026 года мы прочитали robots.txt у 4 772 сайтов: 15,1% из них (719) правилом Disallow: / закрывают весь сайт хотя бы от одного ИИ-краулера. Чаще всего закрывают Bytespider от ByteDance (12,0%), затем CCBot от Common Crawl (11,9%) и GPTBot от OpenAI (11,5%); боты, которые берут…
15–16 ноября 2026 года мы прочитали robots.txt у 4 772 сайтов: 15,1% из них (719) правилом Disallow: / закрывают весь сайт хотя бы от одного ИИ-краулера. Чаще всего закрывают Bytespider от ByteDance (12,0%), затем CCBot от Common Crawl (11,9%) и GPTBot от OpenAI (11,5%); боты, которые берут страницы для живых ответов и ИИ-поиска, закрыты заметно реже (OAI-SearchBot 3,6%). Отдельно: настоящий файл llms.txt есть у 22,5% из 5 071 сайта, а у сайтов, закрывающих ИИ-ботов, он встречается реже (15,6% против 25,1%). Дальше: рейтинг ботов, разбор того, что за боты и что даёт и не даёт их блокировка, картина по llms.txt, таблица решения для вашего сайта и методология. Оговорка: выборка не случайная (сайты из нашего кэша выдачи), цифры описывают её, а не весь интернет.
Данные: обход PromoPilot, 6 000 сайтов, 15–16 ноября 2026 (проверка llms.txt 16 ноября); исключены 661 сайт за WAF, 178 недоступных и 90 с прочими ошибками, в расчёте 5 071, robots.txt найден у 4 772
Ключевые цифры
- 15,1% сайтов (719 из 4 772 с robots.txt) закрывают хотя бы одного из 10 отслеживаемых ИИ-ботов. У 121 из них (2,5% всех сайтов) есть ещё и общий
Disallow: /для всех краулеров, поэтому доля, нацеленная именно на ИИ-ботов, это 598 сайтов, 12,5%. - Рейтинг по ботам: Bytespider 12,0%, CCBot 11,9%, GPTBot 11,5%, ClaudeBot 10,8%, Google-Extended 9,5%, anthropic-ai 8,8%, Applebot-Extended 8,2%, PerplexityBot 5,7%, ChatGPT-User 5,3%, OAI-SearchBot 3,6%.
- Закрывают в основном всех сразу: из 719 закрывающих сайтов 379 (52,7%) закрывают 7 и более из 10 ботов, 95 (13,2%) закрывают все 10, ровно одного закрывают 100 (13,9%).
- Обучение и живой поиск: хотя бы одного обучающего бота закрывают 15,0% сайтов, хотя бы одного поискового или «ответного» 6,6%, только обучающих 8,4%. Из 549 сайтов, закрывших GPTBot, 382 (69,6%) оставили OAI-SearchBot открытым.
- Content-Signal (директива robots.txt с предпочтениями для search, ai-input и ai-train) есть у 5,4% сайтов (258); у 90 из них она стоит без закрытия каких-либо ботов.
- llms.txt: настоящий файл у 22,5% из 5 071 сайта (1 139), llms-full.txt у 5,1% (259); ещё 8,6% (435) отвечают 200 с HTML-заглушкой или редиректом, их мы не считаем; 63,5% отдают 404.
- Сайты, закрывающие ИИ-ботов, реже держат llms.txt: 15,6% (112 из 719) против 25,1% (1 019 из 4 053 без закрытия) среди сайтов с robots.txt.
- По CMS (метатег generator): хотя бы одного ИИ-бота закрывают 17,6% сайтов без метатега, WordPress 9,3% (462 сайта), Drupal 19,1% (47), другие CMS и конструкторы 5,3% (587).
Рейтинг: сколько сайтов закрывают каждого ИИ-бота
Для каждого сайта мы разобрали robots.txt и записали, какие из 10 ИИ-юзер-агентов закрыты от всего сайта. База: 4 772 сайта, где robots.txt найден (94,1% от 5 071 доступного сайта). Рейтинг ниже.

| № | Бот | Сайтов закрывают | Доля от 4 772 |
|---|---|---|---|
| 1 | Bytespider | 571 | 12,0% |
| 2 | CCBot | 569 | 11,9% |
| 3 | GPTBot | 549 | 11,5% |
| 4 | ClaudeBot | 515 | 10,8% |
| 5 | Google-Extended | 452 | 9,5% |
| 6 | anthropic-ai | 421 | 8,8% |
| 7 | Applebot-Extended | 391 | 8,2% |
| 8 | PerplexityBot | 271 | 5,7% |
| 9 | ChatGPT-User | 254 | 5,3% |
| 10 | OAI-SearchBot | 173 | 3,6% |
Видны две закономерности. Первая: первые семь позиций заняты ботами, которые собирают данные для обучения моделей или связанные с обучением токены, а три последние связаны с поиском и ответами. «Бота, который учится на моём контенте» владельцы закрывают заметно охотнее, чем «бота, который может прислать посетителя». Вторая: устаревший токен anthropic-ai (8,8%) закрывают почти так же часто, как ClaudeBot (10,8%): оба закрыли 384 сайта, хотя бы одного из двух 552 (11,6% всех), и это похоже на то, что многие robots.txt копируют из готовых списков, а не пишут по каждому боту отдельно.
Чаще всего закрывают всех сразу
719 закрывающих сайтов не выбирают ботов по одному. Половина (379) закрывает семь и более ботов, 95 закрывают все десять, и лишь у 100 закрыт единственный бот.

Оговорка к самой цифре. Наш парсер считает бота закрытым, когда правило запрещает ему весь сайт. У 121 из 719 сайтов к тому же стоит общий Disallow: / для всех краулеров, а он закрывает сайт и от поисковых систем (2,5% всех сайтов с robots.txt; среди них бывают сайты на разработке). Если нужна доля, специфичная именно для ИИ-ботов, их надо вычесть: 598 сайтов, 12,5%.
Анатомия: что за боты и что даёт и не даёт их блокировка
«Закрыть ИИ» это не одно решение. Десять юзер-агентов выполняют три разные задачи: собирают страницы для обучения моделей, строят поисковый индекс, по которому ИИ отвечает со ссылками, и открывают страницу прямо сейчас, потому что человек попросил об этом ассистента. Эффект блокировки у каждой задачи свой. Описания следуют публичной документации вендоров в том виде, как мы читали её в ноябре 2026; документация краулеров меняется, поэтому прежде чем полагаться на деталь, проверьте ссылки в конце.
| Бот | Чей | Задача | Что даёт блокировка | Чего не даёт |
|---|---|---|---|---|
| GPTBot | OpenAI | Краулер для обучения | Просит OpenAI не использовать ваши страницы для обучения будущих моделей | Не убирает вас из поиска ChatGPT: он работает через OAI-SearchBot |
| OAI-SearchBot | OpenAI | Поисковый индекс для выдачи ChatGPT | Просит OpenAI не включать ваши страницы в поисковые функции | Это не обучающий краулер: блокировка не остановит обучение |
| ChatGPT-User | OpenAI | Открывает страницу, когда её просит пользователь или кастомный GPT | Просит OpenAI не открывать ваши страницы по запросам пользователей | OpenAI указывает, что правила robots.txt к таким визитам по запросу пользователя могут не применяться |
| ClaudeBot | Anthropic | Краулер для обучения | Просит Anthropic не собирать ваши страницы для обучения | Не охватывает Claude-User (запросы пользователей) и Claude-SearchBot (поиск): Anthropic перечисляет их отдельно |
| anthropic-ai | Anthropic | Прежний токен для обучения | Старый токен. В текущей документации Anthropic перечислены ClaudeBot, Claude-User и Claude-SearchBot; оставить anthropic-ai в списке не вредно | Многие сайты пишут его по привычке |
| Google-Extended | Токен robots.txt, а не отдельный краулер; управляет использованием контента для обучения и опоры Gemini | Выводит ваш контент из этих сценариев Gemini | Не меняет обход и индексацию в Google Поиске; Google пишет, что токен не управляет функциями Поиска вроде AI Overviews | |
| Applebot-Extended | Apple | Токен: решает, можно ли использовать контент, собранный Applebot, для обучения моделей Apple | Выводит контент из этого обучения | Сам Applebot продолжает обход для Siri и Spotlight |
| PerplexityBot | Perplexity | Индексирует страницы для поиска Perplexity | Просит Perplexity не показывать ваши страницы в результатах | Perplexity заявляет, что бот не нужен для обучения базовых моделей; визиты по запросу пользователя идут другим агентом |
| CCBot | Common Crawl | Собирает открытый архив веба, который используют многие разработчики ИИ для обучения | Не пускает новые страницы в будущие наборы Common Crawl | Не удаляет то, что прошлые обходы уже сохранили |
| Bytespider | ByteDance | Краулер продуктов и моделей ByteDance | Просит ByteDance не обходить сайт | Некоторые владельцы сайтов сообщают, что он игнорирует robots.txt; если это важно, закрывайте ещё и на сервере или в CDN |
Четыре вещи, которых robots.txt не умеет
- Это просьба, а не замок. Добросовестный краулер его читает, недобросовестный нет. Чтобы блок действовал, используйте правила CDN, файрвола или веб-сервера (661 сайт, ответивший нашему краулеру страницей WAF, применяет именно этот, более сильный инструмент).
- Он не действует назад. Меняется только будущий обход. Контент, который краулер уже собрал или который лежит в старом архиве Common Crawl, остаётся там.
- Обучение и ответы это разные переключатели. Закрыть обучающих ботов (GPTBot, ClaudeBot, Google-Extended) и закрыть тех, от кого зависит, смогут ли вас процитировать в ответе ИИ (OAI-SearchBot, PerplexityBot), это разные решения. В наших данных 8,4% сайтов закрывают только обучающих, 6,6% обе группы, и лишь 4 сайта закрывают одних поисковых ботов.
- Он не прячет страницу от Google Поиска. Google-Extended отделён от Googlebot. Закрытие первого не затрагивает обычный обход, а общий
Disallow: /или запрет для Googlebot закрывает сайт от поиска.
Где сайты расходятся: обучение или поиск
Возьмём OpenAI. Из 549 сайтов, закрывших GPTBot, 249 (45,4%) закрыли и ChatGPT-User, 167 (30,4%) и OAI-SearchBot; 382 (69,6%) закрыли обучающий краулер, но оставили поисковый открытым. Это связная позиция: из обучения выйти, в поиске ChatGPT остаться. Пара Google работает похоже: 121 сайт закрывает GPTBot без Google-Extended, и 24 закрывают Google-Extended без GPTBot.
Новая директива Content-Signal выражает такое разделение одной строкой, с отдельными значениями yes или no для search, ai-input и ai-train. Она есть у 5,4% сайтов (258). Из них 168 (65,1%) ещё и закрывают хотя бы одного ИИ-бота по имени, а 90 обходятся одним сигналом. Мы фиксируем только наличие директивы; соблюдает ли её конкретный краулер, решает сам краулер.
llms.txt: у скольких сайтов есть настоящий файл
llms.txt это предложение 2024 года: Markdown-файл по адресу /llms.txt со списком самых полезных страниц сайта для языковых моделей и короткими описаниями; llms-full.txt это длинный вариант с содержимым внутри. Это не официальный стандарт, и на момент написания нам не известно, чтобы крупный ИИ-вендор подтвердил, что использует такие файлы для поиска или ранжирования. Поэтому относитесь к нему как к недорогой документации для машин, а не как к рычагу видимости. Мы всё же проверили: это вторая половина вопроса «что сказать ИИ».
«Настоящим файлом» мы считаем адрес, который отвечает 200, не является HTML-страницей и не редиректит на другую страницу. Из счёта выпали 435 сайтов (8,6%), отвечающих 200 с HTML-страницей (soft 404 или заглушка) или редиректом.

| Показатель | Сайтов | Доля |
|---|---|---|
| Настоящий файл llms.txt | 1 139 | 22,5% от 5 071 |
| Настоящий файл llms-full.txt (у всех есть и llms.txt) | 259 | 5,1% от 5 071 |
| 200 с HTML-заглушкой или редиректом (не считаем) | 435 | 8,6% от 5 071 |
| 404 | 3 218 | 63,5% от 5 071 |
| Настоящий llms.txt среди сайтов, закрывающих ИИ-ботов | 112 из 719 | 15,6% |
| Настоящий llms.txt среди остальных (robots.txt найден) | 1 019 из 4 053 | 25,1% |
Как выглядят настоящие файлы: медиана 5 922 байта, 90-й перцентиль 56 975 байт; 77,9% начинаются с заголовка H1, как предлагает формат; 89,0% содержат хотя бы одну Markdown-ссылку (медиана 24 ссылки), у 10,3% их нет и это по сути простой текст. 11,6% отдаются как text/markdown, остальные как text/plain.
Связь с блокировкой это только корреляция: сайты, закрывающие ИИ-ботов, реже публикуют файл, написанный для ИИ-систем (15,6% против 25,1%). Это согласуется с простым объяснением, что одни владельцы решают с ИИ не взаимодействовать, а другие решают взаимодействовать, но одно из другого мы вывести не можем: часть файлов создают плагины и конструкторы автоматически (доля 35,3% среди сайтов на не-WordPress CMS и конструкторах, 25,5% на WordPress, 20,6% без метатега generator). К тому же выборка смещена к сайтам, которые есть в поисковой выдаче.
По CMS и по языку
CMS определяем по метатегу generator; у 3 598 из 4 772 сайтов его нет, и это самая большая группа с самой высокой долей закрытий. Группы меньше 30 сайтов не показаны. Примечание: имена хостов в наших данных заменены хешами, поэтому разбивка по доменным зонам (TLD) невозможна; вместо неё показываем язык страницы из HTML как ближайший географический признак.

| CMS (метатег generator) | Сайтов с robots.txt | Закрывают любого ИИ-бота | Закрывают GPTBot | Файл llms.txt (от всех сайтов группы) |
|---|---|---|---|---|
| Без метатега | 3 598 | 17,6% (632) | 13,4% | 20,6% (793 из 3 856) |
| Другие CMS и конструкторы | 587 | 5,3% (31) | 4,6% | 35,3% (218 из 618) |
| WordPress | 462 | 9,3% (43) | 7,1% | 25,5% (120 из 471) |
| Drupal | 47 | 19,1% (9) | 8,5% | 10,6% (5 из 47) |
| MediaWiki | 42 | 4,8% (2) | 2,4% | 2,4% (1 из 42) |
| Joomla | 36 | 5,6% (2) | 2,8% | 5,4% (2 из 37) |
К разбивке по CMS стоит относиться осторожно. Сайты без метатега generator чаще всего самописные, магазины и крупные коммерческие проекты, а у их владельцев чаще всего есть политика; сайты на готовых платформах в основном оставляют robots.txt по умолчанию. Разница объясняется не только программой, но и тем, кто ведёт сайт. Группы Drupal и MediaWiki небольшие (47 и 42 сайта).
| Язык HTML | Сайтов с robots.txt | Закрывают любого ИИ-бота | Закрывают GPTBot |
|---|---|---|---|
| en | 1 655 | 12,6% (208) | 8,6% |
| ru | 823 | 7,2% (59) | 4,5% |
| uk | 516 | 10,1% (52) | 5,6% |
| язык не указан | 505 | 34,7% (175) | 32,7% |
| sv | 336 | 13,7% (46) | 11,3% |
| de | 311 | 19,6% (61) | 17,4% |
| pl | 102 | 16,7% (17) | 9,8% |
| he | 89 | 11,2% (10) | 5,6% |
| es | 85 | 22,4% (19) | 20,0% |
| fr | 72 | 13,9% (10) | 11,1% |
| nl | 35 | 14,3% (5) | 2,9% |
Немецко- и испаноязычные сайты в этой выборке закрывают чаще англо-, русско- и украиноязычных. Группа без указанного языка выделяется (34,7%, больше чем вдвое выше среднего по выборке); почему так, мы не исследовали. Таблицу по языкам читайте как описание этой выборки, а не как статистику по странам: выборка собрана из отслеживаемых нами запросов.
Как решить для своего сайта
Универсально верной настройки нет. Решение зависит от того, чего вы хотите от ИИ-систем: чтобы вас находили и цитировали, чтобы контент не попадал в обучение или и то и другое сразу. Возьмите таблицу как отправную точку, а потом проверьте результат.
| Ваша ситуация | Разумная позиция в robots.txt | На что смотреть |
|---|---|---|
| Хотите попадать в ответы ИИ и в ИИ-поиск (услуги, локальный бизнес, B2B, магазин) | Разрешить OAI-SearchBot, PerplexityBot и ChatGPT-User; обучающих разрешить или не упоминать | Закрытие поисковых ботов убирает вас из числа тех, кого могут процитировать; не копируйте список «закрыть всех» случайно |
| Не против, что вас находят, но не хотите, чтобы текст шёл в обучение | Закрыть GPTBot, ClaudeBot (при желании и anthropic-ai), CCBot, Google-Extended, Applebot-Extended; поисковых и пользовательских оставить открытыми | Не действует назад; часть краулеров может игнорировать; именно так поступают 8,4% сайтов в наших данных |
| Платный или закрытый контент, авторские исследования, архив СМИ | Закрыть всех обучающих, по поисковым решать отдельно, а блок подкрепить правилами CDN или файрвола, не только robots.txt | Robots.txt не остановит краулер, который его игнорирует; смотрите логи сервера |
| Не хотите ничего от ИИ-систем | Закрыть все десять отслеживаемых ботов (так делают 13,2% закрывающих сайтов) и добавить правила на уровне сервера | Не ставьте общий Disallow: / для *: он закроет сайт и от поисковых систем |
| Чёткой политики пока нет | Ничего не менять, добавить строку Sitemap, посмотреть в логах, какие боты приходят, вернуться через квартал | Бездумно скопированный список чаще всего и приводит к случайным блокировкам |
Короткий чек-лист:
- Откройте свой
/robots.txtи поищите десять названий из статьи. Наш бесплатный анализатор robots.txt разбирает файл и показывает, какие правила к какому боту относятся. - Запишите политику одним предложением (например, «поисковых и ответных ботов пускаем, обучающих нет») и соберите файл из неё. Генератор robots.txt создаст нужные группы.
- Убедитесь, что вы случайно не закрыли Googlebot: ИИ-правила должны называть ИИ-юзер-агентов, а не
*. - Если публикуете llms.txt, считайте его документацией: заголовок, краткое описание и список ключевых страниц с однострочными пояснениями, отдаётся как простой текст или Markdown со статусом 200. Отдельного инструмента для него у нас нет, а страница-заглушка со статусом 200 хуже, чем 404: краулер не отличит её от файла.
- Пересматривайте политику, когда вендор меняет документацию: названия юзер-агентов меняются (anthropic-ai тому пример).
Методология и оговорки
Данные взяты из нашего обхода TRI 6 000 сайтов 15–16 ноября 2026: корпус сайтов из выдачи Google по отслеживаемым нами запросам, сайты пользователей и контрольная выборка. Имена хостов в выгрузке заменены хешами, публикуем только агрегаты. Исключены 661 сайт (11,0%), ответивший краулеру страницей защиты от ботов (WAF; 420 из них Cloudflare), 178 недоступных (3,0%) и 90 с прочими ошибками сервера или HTTP (1,5%). Из закрытых WAF сайтов 655 мы перепроверили через семь дней, и все они снова оказались закрыты. В расчёте 5 071 сайт; robots.txt найден у 4 772 (94,1%), проценты в разделах про robots.txt считаны от этих 4 772. Доли llms.txt считаны от всех 5 071.
Сайт «закрывает» бота, если разобранный robots.txt запрещает юзер-агенту бота весь сайт (Disallow: /). Десять юзер-агентов это те, что в таблице рейтинга. Частичные запреты (папка) блокировкой не считаются. Content-Signal и общий Disallow: / для всех краулеров считаются отдельно. Проверка «настоящего файла» llms.txt: статус 200, содержимое не HTML, нет редиректа на другую страницу.
Ограничения:
- Выборка не случайная. Её собирают сайты, которые есть в выдаче по нашим запросам, поэтому она смещена к SEO-активным сайтам. Проценты нельзя переносить на весь интернет.
- Сайты за WAF исключены, а это, вероятно, более защищённые и крупные сайты; их политика robots.txt может отличаться.
- Robots.txt показывает намерение владельца, а не то, соблюдает ли его бот.
- Мы читали правила по одному снимку; сайты меняют файлы, а ИИ-вендоры добавляют и переименовывают краулеры. Мы отслеживаем десять юзер-агентов и не охватываем остальных (например, новые отдельные агенты запросов пользователей, которые документируют некоторые вендоры).
- CMS берём из метатега generator, которого у большинства сайтов нет; язык берём из атрибута
langв HTML. Разбивка по доменным зонам (TLD) недоступна, потому что хосты заменены хешами. - Корреляции (блокировка и llms.txt, CMS и блокировка) не причины.
Две пометки о цифрах. В рабочем черновике от 16.11 было написано, что 379 сайтов закрывают «всех 7 основных ботов»; в финале 379 это сайты, закрывающие семь и более из десяти отслеживаемых ботов, из них 95 закрывают все десять. Также в черновике по llms.txt сравнивались 15,6% и 23,6%, где вторая цифра считалась по всем сайтам без закрытия ИИ-ботов, включая сайты без robots.txt; здесь база одна (сайты с robots.txt), поэтому получилось 25,1%.
Вопросы и ответы
Нужно ли закрывать ИИ-ботов в robots.txt?
Зависит от цели. Если хотите попадать в ответы ИИ, оставьте открытыми поисковых ботов (OAI-SearchBot, PerplexityBot). Если против использования текста для обучения, закройте обучающих (GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended). В нашей выборке из 4 772 сайтов с robots.txt хотя бы одного ИИ-бота закрывают 15,1%, только обучающих 8,4%.
Исчезну ли я из ChatGPT, если закрою GPTBot?
Нет. GPTBot это обучающий краулер OpenAI; выдача поиска ChatGPT работает через OAI-SearchBot, а запросы пользователей через ChatGPT-User. Из 549 сайтов в наших данных, закрывших GPTBot, 69,6% оставили OAI-SearchBot открытым.
Влияет ли закрытие Google-Extended на позиции в Google?
Google описывает Google-Extended как отдельный токен, который управляет использованием контента для Gemini. Он не часть Googlebot и не управляет обходом и индексацией в Поиске. Никакого влияния на позиции, ни положительного, ни отрицательного, мы не утверждаем.
Соблюдают ли ИИ-боты robots.txt?
Крупные вендоры заявляют, что да; OpenAI оговаривает, что визиты ChatGPT-User по запросу пользователя могут ему не следовать. Robots.txt это добровольный стандарт, и часть владельцев сайтов сообщает о краулерах, которые его игнорируют. Чтобы блок работал, используйте правила CDN или сервера.
Нужен ли файл llms.txt?
Ни один вендор его не требует, и нам неизвестно о подтверждённом использовании крупной ИИ-системой. Настоящий файл публикуют 22,5% из 5 071 проверенного сайта. Добавить его дёшево, и он безвреден, если актуален, но не ждите, что он изменит видимость.
Как проверить, каких ИИ-ботов закрывает мой сайт?
Откройте /robots.txt и поищите юзер-агентов из статьи или вставьте файл в наш анализатор robots.txt. Новый файл можно собрать в генераторе robots.txt.
Источники
- OpenAI, обзор краулеров OpenAI: platform.openai.com/docs/bots
- Anthropic, справка о краулере и robots.txt: support.anthropic.com
- Google Search Central, основные краулеры Google (Google-Extended): developers.google.com
- Apple, об Applebot: support.apple.com/en-us/119829
- Perplexity, краулеры Perplexity: docs.perplexity.ai/guides/bots
- Common Crawl, CCBot: commoncrawl.org/ccbot
- IETF, RFC 9309, протокол Robots Exclusion: rfc-editor.org/rfc/rfc9309
- Предложение llms.txt: llmstxt.org
- Content Signals Policy: contentsignals.org
Как цитировать
PromoPilot (2026). Сколько сайтов закрывают ИИ-ботов в robots.txt: 5 071 сайт, ноябрь 2026. Данные 15–16 ноября 2026. CC BY 4.0: https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-robots-5071-sites-2026-11.csv . Статья: https://promopilot.link/blog/skolko-saytov-zakryvayut-ii-botov-v-robots-txt-5071-sayt-2026
Скачать данные
Сводные таблицы (CSV, лицензия CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-robots-5071-sites-2026-11.csv, а также таблицы https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-blocked-count-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-by-bot-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-by-cms-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-by-html-lang-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/llms-txt-by-cms-2026-11.csv. Только агрегаты, без проектов, доменов и данных клиентов.