Новина 18.11.2026 6

Google-Agent: як не заблокувати його в CDN і WAF

Google опублікував довідку про те, як не блокувати Google-Agent: як його впізнати, як перевірити та що налаштувати в CDN і WAF.

Google-Agent: як не заблокувати його в CDN і WAF

17 листопада Google додав до документації для краулерів сторінку про те, як пропускати Google-Agent. Це не пошуковий бот, а агент, який на прохання користувача заходить на сайт і щось робить. Якщо захист сайту ріже такі запити, людина просто не зможе довести справу до кінця.

Що таке Google-Agent

За даними довідки Google, Google-Agent означає агентів на інфраструктурі Google, які переглядають сайти й виконують дії на запит користувача, наприклад щось знайти, порівняти чи оформити. Це не Googlebot і не частина звичайного обходу для пошуку. Назва з'явилася ще в березні 2026, нове тут саме офіційна інструкція, як такі запити пропускати.

Як його впізнати

Google називає три ознаки:

  • у заголовку User-Agent є рядок Google-Agent;
  • запит приходить з адреси з діапазонів у файлі user-triggered-agents.json, який публікує Google;
  • Google тестує Web Bot Auth: запити підписуються за RFC 9421 (HTTP Message Signatures), ідентифікатор https://agent.bot.goog, заголовки Signature-Agent, Signature і Signature-Input (мітка g), а відкриті ключі лежать у каталозі на agent.bot.goog.

Що радить Google для CDN, WAF і захисту від ботів

Якщо у провайдера є вбудована перевірка Google-Agent, краще використати її. Якщо ні, перевіряйте User-Agent, IP з опублікованих діапазонів і підпис, коли вона є. Далі:

  • не показувати верифікованим запитам капчу та JS-перевірки;
  • ставити дозвільне правило вище за загальні блокування хмарних мереж і ASN та вище за керовані правила для ботів;
  • враховувати дії всередині сценарію й API: кошик, форми, оформлення замовлення;
  • виключити перевірені IP з лімітів запитів і оновлювати списки адрес;
  • якщо перед сайтом стоїть проксі, він має зберігати IP клієнта й заголовки підпису.

Одне важливе уточнення: на цій сторінці немає відповіді, чи дотримується Google-Agent robots.txt. Документ цього не описує, тож гадати не варто.

Чому це важливо

Якщо користувач попросив асистента забронювати, купити чи порівняти, а захист вашого сайту віддав агентові 403 або капчу, угода не відбудеться саме на вашому сайті. Це про доступність для людей, які користуються агентами, а не про позиції в пошуку, і нічого не обіцяє щодо трафіку.

Що перевірити цього тижня

  1. Знайдіть у логах WAF або Cloudflare запити з Google-Agent у User-Agent і подивіться, чи немає серед відповідей 403, 429 або сторінок із перевіркою.
  2. Звірте IP цих запитів із файлом user-triggered-agents.json з документації.
  3. Перевірте порядок правил: дозвіл для перевіреного агента має стояти вище за блокування за ASN і правила для ботів.
  4. Переконайтеся, що форми, кошик і API не закриті капчею для перевірених запитів.
  5. Подивіться, який статус віддає ваша сторінка, у безкоштовному перевіряльнику HTTP-статусів PromoPilot. Він не підміняє Google-Agent, але швидко покаже базову відповідь.
  6. Заодно перевірте, що ті самі правила не ріжуть Googlebot: справжній Googlebot підтверджується зворотним DNS (googlebot.com / google.com), а не рядком User-Agent.

Джерело: Allow Google-Agent, документація Google для краулерів, запис у журналі змін від 17 листопада 2026. Підтвердження: Search Engine Roundtable. Переказ команди PromoPilot.

Перевірити HTTP-статус сторінки

Поділитися:
Безкоштовно · без реєстрації

Скільки кліків втрачає ваш сайт?

SEO Радар за хвилину покаже сторінки біля порога топу Google і що заважає їм піднятися.

Оцінка за позиціями, не обіцянка
Нові статті на пошту
Зміст