Новость 18.11.2026 7

Google-Agent: как не заблокировать его в CDN и WAF

Google опубликовал справку о том, как не блокировать Google-Agent: по чему его узнать, как проверить и что настроить в CDN и WAF.

Google-Agent: как не заблокировать его в CDN и WAF

17 ноября Google добавил в документацию для краулеров страницу о том, как пропускать Google-Agent. Это не поисковый бот, а агент, который по просьбе пользователя заходит на сайт и что-то делает. Если защита сайта режет такие запросы, человек просто не сможет довести дело до конца.

Что такое Google-Agent

По данным справки Google, Google-Agent означает агентов на инфраструктуре Google, которые просматривают сайты и выполняют действия по запросу пользователя, например что-то найти, сравнить или оформить. Это не Googlebot и не часть обычного обхода для поиска. Название появилось ещё в марте 2026, новое здесь именно официальное руководство, как такие запросы пропускать.

Как его опознать

Google называет три признака:

  • в заголовке User-Agent есть строка Google-Agent;
  • запрос приходит с адреса из диапазонов в файле user-triggered-agents.json, который публикует Google;
  • Google тестирует Web Bot Auth: запросы подписываются по RFC 9421 (HTTP Message Signatures), идентификатор https://agent.bot.goog, заголовки Signature-Agent, Signature и Signature-Input (метка g), а открытые ключи лежат в каталоге на agent.bot.goog.

Что советует Google для CDN, WAF и защиты от ботов

Если у провайдера есть встроенная проверка Google-Agent, лучше использовать её. Если нет, проверяйте User-Agent, IP из опубликованных диапазонов и подпись, когда она есть. Дальше:

  • не показывать верифицированным запросам капчу и JS-проверки;
  • ставить разрешающее правило выше общих блокировок облачных сетей и ASN и выше управляемых правил для ботов;
  • учитывать действия внутри сценария и API: корзина, формы, оформление заказа;
  • исключить проверенные IP из лимитов запросов и обновлять списки адресов;
  • если перед сайтом стоит прокси, он должен сохранять IP клиента и заголовки подписи.

Одно важное уточнение: на этой странице нет ответа, соблюдает ли Google-Agent robots.txt. Документ этого не описывает, поэтому гадать не стоит.

Почему это важно

Если пользователь попросил ассистента забронировать, купить или сравнить, а защита вашего сайта отдала агенту 403 или капчу, сделка не состоится именно на вашем сайте. Это про доступность для людей, которые пользуются агентами, а не про позиции в поиске, и ничего не обещает по трафику.

Что проверить на этой неделе

  1. Найдите в логах WAF или Cloudflare запросы с Google-Agent в User-Agent и посмотрите, нет ли среди ответов 403, 429 или страниц с проверкой.
  2. Сверьте IP этих запросов с файлом user-triggered-agents.json из документации.
  3. Проверьте порядок правил: разрешение для проверенного агента должно стоять выше блокировок по ASN и правил для ботов.
  4. Убедитесь, что формы, корзина и API не закрыты капчей для проверенных запросов.
  5. Посмотрите, какой статус отдаёт ваша страница, в бесплатном проверщике HTTP-статусов PromoPilot. Он не подменяет Google-Agent, но быстро покажет базовый ответ.
  6. Заодно проверьте, что те же правила не режут Googlebot: настоящий Googlebot подтверждается обратным DNS (googlebot.com / google.com), а не строкой User-Agent.

Источник: Allow Google-Agent, документация Google для краулеров, запись в журнале изменений от 17 ноября 2026. Подтверждение: Search Engine Roundtable. Пересказ команды PromoPilot.

Проверить HTTP-статус страницы

Поделиться:
Бесплатно · без регистрации

Сколько кликов теряет ваш сайт?

SEO Радар за минуту покажет страницы у порога топа Google и что мешает им подняться.

Оценка по позициям, не обещание
Новые статьи на почту
Содержание