Google-Agent: как не заблокировать его в CDN и WAF
Google опубликовал справку о том, как не блокировать Google-Agent: по чему его узнать, как проверить и что настроить в CDN и WAF.
17 ноября Google добавил в документацию для краулеров страницу о том, как пропускать Google-Agent. Это не поисковый бот, а агент, который по просьбе пользователя заходит на сайт и что-то делает. Если защита сайта режет такие запросы, человек просто не сможет довести дело до конца.
Что такое Google-Agent
По данным справки Google, Google-Agent означает агентов на инфраструктуре Google, которые просматривают сайты и выполняют действия по запросу пользователя, например что-то найти, сравнить или оформить. Это не Googlebot и не часть обычного обхода для поиска. Название появилось ещё в марте 2026, новое здесь именно официальное руководство, как такие запросы пропускать.
Как его опознать
Google называет три признака:
- в заголовке User-Agent есть строка
Google-Agent; - запрос приходит с адреса из диапазонов в файле
user-triggered-agents.json, который публикует Google; - Google тестирует Web Bot Auth: запросы подписываются по RFC 9421 (HTTP Message Signatures), идентификатор
https://agent.bot.goog, заголовкиSignature-Agent,SignatureиSignature-Input(меткаg), а открытые ключи лежат в каталоге на agent.bot.goog.
Что советует Google для CDN, WAF и защиты от ботов
Если у провайдера есть встроенная проверка Google-Agent, лучше использовать её. Если нет, проверяйте User-Agent, IP из опубликованных диапазонов и подпись, когда она есть. Дальше:
- не показывать верифицированным запросам капчу и JS-проверки;
- ставить разрешающее правило выше общих блокировок облачных сетей и ASN и выше управляемых правил для ботов;
- учитывать действия внутри сценария и API: корзина, формы, оформление заказа;
- исключить проверенные IP из лимитов запросов и обновлять списки адресов;
- если перед сайтом стоит прокси, он должен сохранять IP клиента и заголовки подписи.
Одно важное уточнение: на этой странице нет ответа, соблюдает ли Google-Agent robots.txt. Документ этого не описывает, поэтому гадать не стоит.
Почему это важно
Если пользователь попросил ассистента забронировать, купить или сравнить, а защита вашего сайта отдала агенту 403 или капчу, сделка не состоится именно на вашем сайте. Это про доступность для людей, которые пользуются агентами, а не про позиции в поиске, и ничего не обещает по трафику.
Что проверить на этой неделе
- Найдите в логах WAF или Cloudflare запросы с Google-Agent в User-Agent и посмотрите, нет ли среди ответов 403, 429 или страниц с проверкой.
- Сверьте IP этих запросов с файлом
user-triggered-agents.jsonиз документации. - Проверьте порядок правил: разрешение для проверенного агента должно стоять выше блокировок по ASN и правил для ботов.
- Убедитесь, что формы, корзина и API не закрыты капчей для проверенных запросов.
- Посмотрите, какой статус отдаёт ваша страница, в бесплатном проверщике HTTP-статусов PromoPilot. Он не подменяет Google-Agent, но быстро покажет базовый ответ.
- Заодно проверьте, что те же правила не режут Googlebot: настоящий Googlebot подтверждается обратным DNS (googlebot.com / google.com), а не строкой User-Agent.
Источник: Allow Google-Agent, документация Google для краулеров, запись в журнале изменений от 17 ноября 2026. Подтверждение: Search Engine Roundtable. Пересказ команды PromoPilot.