Google-Agent: як не заблокувати його в CDN і WAF
Google опублікував довідку про те, як не блокувати Google-Agent: як його впізнати, як перевірити та що налаштувати в CDN і WAF.
17 листопада Google додав до документації для краулерів сторінку про те, як пропускати Google-Agent. Це не пошуковий бот, а агент, який на прохання користувача заходить на сайт і щось робить. Якщо захист сайту ріже такі запити, людина просто не зможе довести справу до кінця.
Що таке Google-Agent
За даними довідки Google, Google-Agent означає агентів на інфраструктурі Google, які переглядають сайти й виконують дії на запит користувача, наприклад щось знайти, порівняти чи оформити. Це не Googlebot і не частина звичайного обходу для пошуку. Назва з'явилася ще в березні 2026, нове тут саме офіційна інструкція, як такі запити пропускати.
Як його впізнати
Google називає три ознаки:
- у заголовку User-Agent є рядок
Google-Agent; - запит приходить з адреси з діапазонів у файлі
user-triggered-agents.json, який публікує Google; - Google тестує Web Bot Auth: запити підписуються за RFC 9421 (HTTP Message Signatures), ідентифікатор
https://agent.bot.goog, заголовкиSignature-Agent,SignatureіSignature-Input(міткаg), а відкриті ключі лежать у каталозі на agent.bot.goog.
Що радить Google для CDN, WAF і захисту від ботів
Якщо у провайдера є вбудована перевірка Google-Agent, краще використати її. Якщо ні, перевіряйте User-Agent, IP з опублікованих діапазонів і підпис, коли вона є. Далі:
- не показувати верифікованим запитам капчу та JS-перевірки;
- ставити дозвільне правило вище за загальні блокування хмарних мереж і ASN та вище за керовані правила для ботів;
- враховувати дії всередині сценарію й API: кошик, форми, оформлення замовлення;
- виключити перевірені IP з лімітів запитів і оновлювати списки адрес;
- якщо перед сайтом стоїть проксі, він має зберігати IP клієнта й заголовки підпису.
Одне важливе уточнення: на цій сторінці немає відповіді, чи дотримується Google-Agent robots.txt. Документ цього не описує, тож гадати не варто.
Чому це важливо
Якщо користувач попросив асистента забронювати, купити чи порівняти, а захист вашого сайту віддав агентові 403 або капчу, угода не відбудеться саме на вашому сайті. Це про доступність для людей, які користуються агентами, а не про позиції в пошуку, і нічого не обіцяє щодо трафіку.
Що перевірити цього тижня
- Знайдіть у логах WAF або Cloudflare запити з Google-Agent у User-Agent і подивіться, чи немає серед відповідей 403, 429 або сторінок із перевіркою.
- Звірте IP цих запитів із файлом
user-triggered-agents.jsonз документації. - Перевірте порядок правил: дозвіл для перевіреного агента має стояти вище за блокування за ASN і правила для ботів.
- Переконайтеся, що форми, кошик і API не закриті капчею для перевірених запитів.
- Подивіться, який статус віддає ваша сторінка, у безкоштовному перевіряльнику HTTP-статусів PromoPilot. Він не підміняє Google-Agent, але швидко покаже базову відповідь.
- Заодно перевірте, що ті самі правила не ріжуть Googlebot: справжній Googlebot підтверджується зворотним DNS (googlebot.com / google.com), а не рядком User-Agent.
Джерело: Allow Google-Agent, документація Google для краулерів, запис у журналі змін від 17 листопада 2026. Підтвердження: Search Engine Roundtable. Переказ команди PromoPilot.