Статья 19.11.2026 11

Сколько сайтов закрывают ИИ-ботов в robots.txt, 5 071 сайт

15–16 ноября 2026 года мы прочитали robots.txt у 4 772 сайтов: 15,1% из них (719) правилом Disallow: / закрывают весь сайт хотя бы от одного ИИ-краулера. Чаще всего закрывают Bytespider от ByteDance (12,0%), затем CCBot от Common Crawl (11,9%) и GPTBot от OpenAI (11,5%); боты, которые берут…

Сколько сайтов закрывают ИИ-ботов в robots.txt, 5 071 сайт

15–16 ноября 2026 года мы прочитали robots.txt у 4 772 сайтов: 15,1% из них (719) правилом Disallow: / закрывают весь сайт хотя бы от одного ИИ-краулера. Чаще всего закрывают Bytespider от ByteDance (12,0%), затем CCBot от Common Crawl (11,9%) и GPTBot от OpenAI (11,5%); боты, которые берут страницы для живых ответов и ИИ-поиска, закрыты заметно реже (OAI-SearchBot 3,6%). Отдельно: настоящий файл llms.txt есть у 22,5% из 5 071 сайта, а у сайтов, закрывающих ИИ-ботов, он встречается реже (15,6% против 25,1%). Дальше: рейтинг ботов, разбор того, что за боты и что даёт и не даёт их блокировка, картина по llms.txt, таблица решения для вашего сайта и методология. Оговорка: выборка не случайная (сайты из нашего кэша выдачи), цифры описывают её, а не весь интернет.

Данные: обход PromoPilot, 6 000 сайтов, 15–16 ноября 2026 (проверка llms.txt 16 ноября); исключены 661 сайт за WAF, 178 недоступных и 90 с прочими ошибками, в расчёте 5 071, robots.txt найден у 4 772

Ключевые цифры

  • 15,1% сайтов (719 из 4 772 с robots.txt) закрывают хотя бы одного из 10 отслеживаемых ИИ-ботов. У 121 из них (2,5% всех сайтов) есть ещё и общий Disallow: / для всех краулеров, поэтому доля, нацеленная именно на ИИ-ботов, это 598 сайтов, 12,5%.
  • Рейтинг по ботам: Bytespider 12,0%, CCBot 11,9%, GPTBot 11,5%, ClaudeBot 10,8%, Google-Extended 9,5%, anthropic-ai 8,8%, Applebot-Extended 8,2%, PerplexityBot 5,7%, ChatGPT-User 5,3%, OAI-SearchBot 3,6%.
  • Закрывают в основном всех сразу: из 719 закрывающих сайтов 379 (52,7%) закрывают 7 и более из 10 ботов, 95 (13,2%) закрывают все 10, ровно одного закрывают 100 (13,9%).
  • Обучение и живой поиск: хотя бы одного обучающего бота закрывают 15,0% сайтов, хотя бы одного поискового или «ответного» 6,6%, только обучающих 8,4%. Из 549 сайтов, закрывших GPTBot, 382 (69,6%) оставили OAI-SearchBot открытым.
  • Content-Signal (директива robots.txt с предпочтениями для search, ai-input и ai-train) есть у 5,4% сайтов (258); у 90 из них она стоит без закрытия каких-либо ботов.
  • llms.txt: настоящий файл у 22,5% из 5 071 сайта (1 139), llms-full.txt у 5,1% (259); ещё 8,6% (435) отвечают 200 с HTML-заглушкой или редиректом, их мы не считаем; 63,5% отдают 404.
  • Сайты, закрывающие ИИ-ботов, реже держат llms.txt: 15,6% (112 из 719) против 25,1% (1 019 из 4 053 без закрытия) среди сайтов с robots.txt.
  • По CMS (метатег generator): хотя бы одного ИИ-бота закрывают 17,6% сайтов без метатега, WordPress 9,3% (462 сайта), Drupal 19,1% (47), другие CMS и конструкторы 5,3% (587).

Рейтинг: сколько сайтов закрывают каждого ИИ-бота

Для каждого сайта мы разобрали robots.txt и записали, какие из 10 ИИ-юзер-агентов закрыты от всего сайта. База: 4 772 сайта, где robots.txt найден (94,1% от 5 071 доступного сайта). Рейтинг ниже.

Доля из 4 772 сайтов, закрывающих каждого ИИ-бота в robots.txt: Bytespider 12,0%, CCBot 11,9%, GPTBot 11,5%, далее до OAI-SearchBot 3,6%
График 1. Доля сайтов, закрывающих каждого ИИ-бота (из 4 772 сайтов с robots.txt)
№БотСайтов закрываютДоля от 4 772
1Bytespider57112,0%
2CCBot56911,9%
3GPTBot54911,5%
4ClaudeBot51510,8%
5Google-Extended4529,5%
6anthropic-ai4218,8%
7Applebot-Extended3918,2%
8PerplexityBot2715,7%
9ChatGPT-User2545,3%
10OAI-SearchBot1733,6%

Видны две закономерности. Первая: первые семь позиций заняты ботами, которые собирают данные для обучения моделей или связанные с обучением токены, а три последние связаны с поиском и ответами. «Бота, который учится на моём контенте» владельцы закрывают заметно охотнее, чем «бота, который может прислать посетителя». Вторая: устаревший токен anthropic-ai (8,8%) закрывают почти так же часто, как ClaudeBot (10,8%): оба закрыли 384 сайта, хотя бы одного из двух 552 (11,6% всех), и это похоже на то, что многие robots.txt копируют из готовых списков, а не пишут по каждому боту отдельно.

Чаще всего закрывают всех сразу

719 закрывающих сайтов не выбирают ботов по одному. Половина (379) закрывает семь и более ботов, 95 закрывают все десять, и лишь у 100 закрыт единственный бот.

Сколько из 10 отслеживаемых ботов закрывают 719 сайтов: 1 бот 13,9%, 2–3 бота 14,0%, 4–6 ботов 19,3%, 7–9 ботов 39,5%, все 10 13,2%
График 2. Сколько отслеживаемых ботов закрывает каждый из 719 сайтов

Оговорка к самой цифре. Наш парсер считает бота закрытым, когда правило запрещает ему весь сайт. У 121 из 719 сайтов к тому же стоит общий Disallow: / для всех краулеров, а он закрывает сайт и от поисковых систем (2,5% всех сайтов с robots.txt; среди них бывают сайты на разработке). Если нужна доля, специфичная именно для ИИ-ботов, их надо вычесть: 598 сайтов, 12,5%.

Анатомия: что за боты и что даёт и не даёт их блокировка

«Закрыть ИИ» это не одно решение. Десять юзер-агентов выполняют три разные задачи: собирают страницы для обучения моделей, строят поисковый индекс, по которому ИИ отвечает со ссылками, и открывают страницу прямо сейчас, потому что человек попросил об этом ассистента. Эффект блокировки у каждой задачи свой. Описания следуют публичной документации вендоров в том виде, как мы читали её в ноябре 2026; документация краулеров меняется, поэтому прежде чем полагаться на деталь, проверьте ссылки в конце.

БотЧейЗадачаЧто даёт блокировкаЧего не даёт
GPTBotOpenAIКраулер для обученияПросит OpenAI не использовать ваши страницы для обучения будущих моделейНе убирает вас из поиска ChatGPT: он работает через OAI-SearchBot
OAI-SearchBotOpenAIПоисковый индекс для выдачи ChatGPTПросит OpenAI не включать ваши страницы в поисковые функцииЭто не обучающий краулер: блокировка не остановит обучение
ChatGPT-UserOpenAIОткрывает страницу, когда её просит пользователь или кастомный GPTПросит OpenAI не открывать ваши страницы по запросам пользователейOpenAI указывает, что правила robots.txt к таким визитам по запросу пользователя могут не применяться
ClaudeBotAnthropicКраулер для обученияПросит Anthropic не собирать ваши страницы для обученияНе охватывает Claude-User (запросы пользователей) и Claude-SearchBot (поиск): Anthropic перечисляет их отдельно
anthropic-aiAnthropicПрежний токен для обученияСтарый токен. В текущей документации Anthropic перечислены ClaudeBot, Claude-User и Claude-SearchBot; оставить anthropic-ai в списке не вредноМногие сайты пишут его по привычке
Google-ExtendedGoogleТокен robots.txt, а не отдельный краулер; управляет использованием контента для обучения и опоры GeminiВыводит ваш контент из этих сценариев GeminiНе меняет обход и индексацию в Google Поиске; Google пишет, что токен не управляет функциями Поиска вроде AI Overviews
Applebot-ExtendedAppleТокен: решает, можно ли использовать контент, собранный Applebot, для обучения моделей AppleВыводит контент из этого обученияСам Applebot продолжает обход для Siri и Spotlight
PerplexityBotPerplexityИндексирует страницы для поиска PerplexityПросит Perplexity не показывать ваши страницы в результатахPerplexity заявляет, что бот не нужен для обучения базовых моделей; визиты по запросу пользователя идут другим агентом
CCBotCommon CrawlСобирает открытый архив веба, который используют многие разработчики ИИ для обученияНе пускает новые страницы в будущие наборы Common CrawlНе удаляет то, что прошлые обходы уже сохранили
BytespiderByteDanceКраулер продуктов и моделей ByteDanceПросит ByteDance не обходить сайтНекоторые владельцы сайтов сообщают, что он игнорирует robots.txt; если это важно, закрывайте ещё и на сервере или в CDN

Четыре вещи, которых robots.txt не умеет

  • Это просьба, а не замок. Добросовестный краулер его читает, недобросовестный нет. Чтобы блок действовал, используйте правила CDN, файрвола или веб-сервера (661 сайт, ответивший нашему краулеру страницей WAF, применяет именно этот, более сильный инструмент).
  • Он не действует назад. Меняется только будущий обход. Контент, который краулер уже собрал или который лежит в старом архиве Common Crawl, остаётся там.
  • Обучение и ответы это разные переключатели. Закрыть обучающих ботов (GPTBot, ClaudeBot, Google-Extended) и закрыть тех, от кого зависит, смогут ли вас процитировать в ответе ИИ (OAI-SearchBot, PerplexityBot), это разные решения. В наших данных 8,4% сайтов закрывают только обучающих, 6,6% обе группы, и лишь 4 сайта закрывают одних поисковых ботов.
  • Он не прячет страницу от Google Поиска. Google-Extended отделён от Googlebot. Закрытие первого не затрагивает обычный обход, а общий Disallow: / или запрет для Googlebot закрывает сайт от поиска.

Где сайты расходятся: обучение или поиск

Возьмём OpenAI. Из 549 сайтов, закрывших GPTBot, 249 (45,4%) закрыли и ChatGPT-User, 167 (30,4%) и OAI-SearchBot; 382 (69,6%) закрыли обучающий краулер, но оставили поисковый открытым. Это связная позиция: из обучения выйти, в поиске ChatGPT остаться. Пара Google работает похоже: 121 сайт закрывает GPTBot без Google-Extended, и 24 закрывают Google-Extended без GPTBot.

Новая директива Content-Signal выражает такое разделение одной строкой, с отдельными значениями yes или no для search, ai-input и ai-train. Она есть у 5,4% сайтов (258). Из них 168 (65,1%) ещё и закрывают хотя бы одного ИИ-бота по имени, а 90 обходятся одним сигналом. Мы фиксируем только наличие директивы; соблюдает ли её конкретный краулер, решает сам краулер.

llms.txt: у скольких сайтов есть настоящий файл

llms.txt это предложение 2024 года: Markdown-файл по адресу /llms.txt со списком самых полезных страниц сайта для языковых моделей и короткими описаниями; llms-full.txt это длинный вариант с содержимым внутри. Это не официальный стандарт, и на момент написания нам не известно, чтобы крупный ИИ-вендор подтвердил, что использует такие файлы для поиска или ранжирования. Поэтому относитесь к нему как к недорогой документации для машин, а не как к рычагу видимости. Мы всё же проверили: это вторая половина вопроса «что сказать ИИ».

«Настоящим файлом» мы считаем адрес, который отвечает 200, не является HTML-страницей и не редиректит на другую страницу. Из счёта выпали 435 сайтов (8,6%), отвечающих 200 с HTML-страницей (soft 404 или заглушка) или редиректом.

Что отдаёт /llms.txt у 5 071 сайта: настоящий файл 22,5%, HTML-заглушка или редирект 8,6%, 404 63,5%, прочее 5,5%; llms-full.txt 5,1%
График 3. Что отдаёт /llms.txt (из 5 071 сайта)
ПоказательСайтовДоля
Настоящий файл llms.txt1 13922,5% от 5 071
Настоящий файл llms-full.txt (у всех есть и llms.txt)2595,1% от 5 071
200 с HTML-заглушкой или редиректом (не считаем)4358,6% от 5 071
4043 21863,5% от 5 071
Настоящий llms.txt среди сайтов, закрывающих ИИ-ботов112 из 71915,6%
Настоящий llms.txt среди остальных (robots.txt найден)1 019 из 4 05325,1%

Как выглядят настоящие файлы: медиана 5 922 байта, 90-й перцентиль 56 975 байт; 77,9% начинаются с заголовка H1, как предлагает формат; 89,0% содержат хотя бы одну Markdown-ссылку (медиана 24 ссылки), у 10,3% их нет и это по сути простой текст. 11,6% отдаются как text/markdown, остальные как text/plain.

Связь с блокировкой это только корреляция: сайты, закрывающие ИИ-ботов, реже публикуют файл, написанный для ИИ-систем (15,6% против 25,1%). Это согласуется с простым объяснением, что одни владельцы решают с ИИ не взаимодействовать, а другие решают взаимодействовать, но одно из другого мы вывести не можем: часть файлов создают плагины и конструкторы автоматически (доля 35,3% среди сайтов на не-WordPress CMS и конструкторах, 25,5% на WordPress, 20,6% без метатега generator). К тому же выборка смещена к сайтам, которые есть в поисковой выдаче.

По CMS и по языку

CMS определяем по метатегу generator; у 3 598 из 4 772 сайтов его нет, и это самая большая группа с самой высокой долей закрытий. Группы меньше 30 сайтов не показаны. Примечание: имена хостов в наших данных заменены хешами, поэтому разбивка по доменным зонам (TLD) невозможна; вместо неё показываем язык страницы из HTML как ближайший географический признак.

Доля сайтов, закрывающих хотя бы одного ИИ-бота, по CMS: без метатега 17,6%, Drupal 19,1%, WordPress 9,3%, Joomla 5,6%, другие CMS 5,3%, MediaWiki 4,8%
График 4. Доля сайтов, закрывающих хотя бы одного ИИ-бота, по CMS (метатег generator)
CMS (метатег generator)Сайтов с robots.txtЗакрывают любого ИИ-ботаЗакрывают GPTBotФайл llms.txt (от всех сайтов группы)
Без метатега3 59817,6% (632)13,4%20,6% (793 из 3 856)
Другие CMS и конструкторы5875,3% (31)4,6%35,3% (218 из 618)
WordPress4629,3% (43)7,1%25,5% (120 из 471)
Drupal4719,1% (9)8,5%10,6% (5 из 47)
MediaWiki424,8% (2)2,4%2,4% (1 из 42)
Joomla365,6% (2)2,8%5,4% (2 из 37)

К разбивке по CMS стоит относиться осторожно. Сайты без метатега generator чаще всего самописные, магазины и крупные коммерческие проекты, а у их владельцев чаще всего есть политика; сайты на готовых платформах в основном оставляют robots.txt по умолчанию. Разница объясняется не только программой, но и тем, кто ведёт сайт. Группы Drupal и MediaWiki небольшие (47 и 42 сайта).

Язык HTMLСайтов с robots.txtЗакрывают любого ИИ-ботаЗакрывают GPTBot
en1 65512,6% (208)8,6%
ru8237,2% (59)4,5%
uk51610,1% (52)5,6%
язык не указан50534,7% (175)32,7%
sv33613,7% (46)11,3%
de31119,6% (61)17,4%
pl10216,7% (17)9,8%
he8911,2% (10)5,6%
es8522,4% (19)20,0%
fr7213,9% (10)11,1%
nl3514,3% (5)2,9%

Немецко- и испаноязычные сайты в этой выборке закрывают чаще англо-, русско- и украиноязычных. Группа без указанного языка выделяется (34,7%, больше чем вдвое выше среднего по выборке); почему так, мы не исследовали. Таблицу по языкам читайте как описание этой выборки, а не как статистику по странам: выборка собрана из отслеживаемых нами запросов.

Как решить для своего сайта

Универсально верной настройки нет. Решение зависит от того, чего вы хотите от ИИ-систем: чтобы вас находили и цитировали, чтобы контент не попадал в обучение или и то и другое сразу. Возьмите таблицу как отправную точку, а потом проверьте результат.

Ваша ситуацияРазумная позиция в robots.txtНа что смотреть
Хотите попадать в ответы ИИ и в ИИ-поиск (услуги, локальный бизнес, B2B, магазин)Разрешить OAI-SearchBot, PerplexityBot и ChatGPT-User; обучающих разрешить или не упоминатьЗакрытие поисковых ботов убирает вас из числа тех, кого могут процитировать; не копируйте список «закрыть всех» случайно
Не против, что вас находят, но не хотите, чтобы текст шёл в обучениеЗакрыть GPTBot, ClaudeBot (при желании и anthropic-ai), CCBot, Google-Extended, Applebot-Extended; поисковых и пользовательских оставить открытымиНе действует назад; часть краулеров может игнорировать; именно так поступают 8,4% сайтов в наших данных
Платный или закрытый контент, авторские исследования, архив СМИЗакрыть всех обучающих, по поисковым решать отдельно, а блок подкрепить правилами CDN или файрвола, не только robots.txtRobots.txt не остановит краулер, который его игнорирует; смотрите логи сервера
Не хотите ничего от ИИ-системЗакрыть все десять отслеживаемых ботов (так делают 13,2% закрывающих сайтов) и добавить правила на уровне сервераНе ставьте общий Disallow: / для *: он закроет сайт и от поисковых систем
Чёткой политики пока нетНичего не менять, добавить строку Sitemap, посмотреть в логах, какие боты приходят, вернуться через кварталБездумно скопированный список чаще всего и приводит к случайным блокировкам

Короткий чек-лист:

  1. Откройте свой /robots.txt и поищите десять названий из статьи. Наш бесплатный анализатор robots.txt разбирает файл и показывает, какие правила к какому боту относятся.
  2. Запишите политику одним предложением (например, «поисковых и ответных ботов пускаем, обучающих нет») и соберите файл из неё. Генератор robots.txt создаст нужные группы.
  3. Убедитесь, что вы случайно не закрыли Googlebot: ИИ-правила должны называть ИИ-юзер-агентов, а не *.
  4. Если публикуете llms.txt, считайте его документацией: заголовок, краткое описание и список ключевых страниц с однострочными пояснениями, отдаётся как простой текст или Markdown со статусом 200. Отдельного инструмента для него у нас нет, а страница-заглушка со статусом 200 хуже, чем 404: краулер не отличит её от файла.
  5. Пересматривайте политику, когда вендор меняет документацию: названия юзер-агентов меняются (anthropic-ai тому пример).

Методология и оговорки

Данные взяты из нашего обхода TRI 6 000 сайтов 15–16 ноября 2026: корпус сайтов из выдачи Google по отслеживаемым нами запросам, сайты пользователей и контрольная выборка. Имена хостов в выгрузке заменены хешами, публикуем только агрегаты. Исключены 661 сайт (11,0%), ответивший краулеру страницей защиты от ботов (WAF; 420 из них Cloudflare), 178 недоступных (3,0%) и 90 с прочими ошибками сервера или HTTP (1,5%). Из закрытых WAF сайтов 655 мы перепроверили через семь дней, и все они снова оказались закрыты. В расчёте 5 071 сайт; robots.txt найден у 4 772 (94,1%), проценты в разделах про robots.txt считаны от этих 4 772. Доли llms.txt считаны от всех 5 071.

Сайт «закрывает» бота, если разобранный robots.txt запрещает юзер-агенту бота весь сайт (Disallow: /). Десять юзер-агентов это те, что в таблице рейтинга. Частичные запреты (папка) блокировкой не считаются. Content-Signal и общий Disallow: / для всех краулеров считаются отдельно. Проверка «настоящего файла» llms.txt: статус 200, содержимое не HTML, нет редиректа на другую страницу.

Ограничения:

  • Выборка не случайная. Её собирают сайты, которые есть в выдаче по нашим запросам, поэтому она смещена к SEO-активным сайтам. Проценты нельзя переносить на весь интернет.
  • Сайты за WAF исключены, а это, вероятно, более защищённые и крупные сайты; их политика robots.txt может отличаться.
  • Robots.txt показывает намерение владельца, а не то, соблюдает ли его бот.
  • Мы читали правила по одному снимку; сайты меняют файлы, а ИИ-вендоры добавляют и переименовывают краулеры. Мы отслеживаем десять юзер-агентов и не охватываем остальных (например, новые отдельные агенты запросов пользователей, которые документируют некоторые вендоры).
  • CMS берём из метатега generator, которого у большинства сайтов нет; язык берём из атрибута lang в HTML. Разбивка по доменным зонам (TLD) недоступна, потому что хосты заменены хешами.
  • Корреляции (блокировка и llms.txt, CMS и блокировка) не причины.

Две пометки о цифрах. В рабочем черновике от 16.11 было написано, что 379 сайтов закрывают «всех 7 основных ботов»; в финале 379 это сайты, закрывающие семь и более из десяти отслеживаемых ботов, из них 95 закрывают все десять. Также в черновике по llms.txt сравнивались 15,6% и 23,6%, где вторая цифра считалась по всем сайтам без закрытия ИИ-ботов, включая сайты без robots.txt; здесь база одна (сайты с robots.txt), поэтому получилось 25,1%.

Вопросы и ответы

Нужно ли закрывать ИИ-ботов в robots.txt?

Зависит от цели. Если хотите попадать в ответы ИИ, оставьте открытыми поисковых ботов (OAI-SearchBot, PerplexityBot). Если против использования текста для обучения, закройте обучающих (GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended). В нашей выборке из 4 772 сайтов с robots.txt хотя бы одного ИИ-бота закрывают 15,1%, только обучающих 8,4%.

Исчезну ли я из ChatGPT, если закрою GPTBot?

Нет. GPTBot это обучающий краулер OpenAI; выдача поиска ChatGPT работает через OAI-SearchBot, а запросы пользователей через ChatGPT-User. Из 549 сайтов в наших данных, закрывших GPTBot, 69,6% оставили OAI-SearchBot открытым.

Влияет ли закрытие Google-Extended на позиции в Google?

Google описывает Google-Extended как отдельный токен, который управляет использованием контента для Gemini. Он не часть Googlebot и не управляет обходом и индексацией в Поиске. Никакого влияния на позиции, ни положительного, ни отрицательного, мы не утверждаем.

Соблюдают ли ИИ-боты robots.txt?

Крупные вендоры заявляют, что да; OpenAI оговаривает, что визиты ChatGPT-User по запросу пользователя могут ему не следовать. Robots.txt это добровольный стандарт, и часть владельцев сайтов сообщает о краулерах, которые его игнорируют. Чтобы блок работал, используйте правила CDN или сервера.

Нужен ли файл llms.txt?

Ни один вендор его не требует, и нам неизвестно о подтверждённом использовании крупной ИИ-системой. Настоящий файл публикуют 22,5% из 5 071 проверенного сайта. Добавить его дёшево, и он безвреден, если актуален, но не ждите, что он изменит видимость.

Как проверить, каких ИИ-ботов закрывает мой сайт?

Откройте /robots.txt и поищите юзер-агентов из статьи или вставьте файл в наш анализатор robots.txt. Новый файл можно собрать в генераторе robots.txt.

Источники

Как цитировать

PromoPilot (2026). Сколько сайтов закрывают ИИ-ботов в robots.txt: 5 071 сайт, ноябрь 2026. Данные 15–16 ноября 2026. CC BY 4.0: https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-robots-5071-sites-2026-11.csv . Статья: https://promopilot.link/blog/skolko-saytov-zakryvayut-ii-botov-v-robots-txt-5071-sayt-2026

Скачать данные

Сводные таблицы (CSV, лицензия CC BY 4.0): https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-robots-5071-sites-2026-11.csv, а также таблицы https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-blocked-count-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-by-bot-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-by-cms-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/ai-bots-by-html-lang-2026-11.csv, https://promopilot.link/uploads/blog/research/ai-bots-robots-1911/llms-txt-by-cms-2026-11.csv. Только агрегаты, без проектов, доменов и данных клиентов.

Поделиться:
Бесплатно · без регистрации

Сколько кликов теряет ваш сайт?

SEO Радар за минуту покажет страницы у порога топа Google и что мешает им подняться.

Оценка по позициям, не обещание
Новые статьи на почту
Содержание