Google о robots.txt: пути не на английском кодируйте, а ИИ-краулеры называйте по имени
21 октября 2026 Google Search Central выпустил видео о том, что можно писать в robots.txt. Что там сказано про нелатинские пути, неверные строки и ИИ-краулеры, и короткий чек-лист для вашего файла.
21 октября 2026 канал Google Search Central выпустил второй эпизод серии Non-Canonical Cabinet, «What can you actually put in a robots.txt?», с Гэри Иллисом и Черри Проммавин. Новых правил Google не объявлял: это пояснение, что файл делает и чего не делает. Больше всего оно важно сайтам с нелатинскими адресами и тем, кто пишет правила для ИИ-краулеров. Ниже: что подтверждено и откуда это известно, что это может значить для вашего сайта и что проверить за один вечер.
Что произошло и откуда это известно
Эпизод опубликован на YouTube-канале Google Search Central. Дата, 21 октября, и содержание эпизода приведены по сообщениям Search Engine Roundtable и Search Engine Journal (ссылки в конце): сами мы видео не расшифровывали. Там, где пункт подтверждает документация Google, мы это отмечаем.
- По сообщениям, спикеры назвали robots.txt протоколом пожеланий по доступу (RFC 9309): он определяет, какие URL краулеру можно запрашивать, но не то, что происходит с данными после.
- По сообщениям, строка, которую парсер не понимает, молча отбрасывается. Документация это подтверждает: Google поддерживает четыре поля (user-agent, allow, disallow, sitemap), не поддерживает crawl-delay и игнорирует неверные строки.
- По сообщениям, чтобы закрыть конкретного ИИ-краулера, в правиле нужно назвать его токен user-agent. Придуманные формулировки игнорируются.
- По сообщениям, Черри Проммавин советует писать пути не на английском в процентном кодировании, потому что парсер Google справляется с «сырыми» символами, а другие краулеры могут не справиться. Сторону Google подтверждает документация: пути в правилах могут быть в UTF-8 или в процентном кодировании, Google сравнивает их в закодированном виде, а сам файл должен быть в UTF-8.
Что это может значить для владельца сайта
- Нелатинские адреса. Если в путях кириллица, польские буквы или эмодзи, правило в «сыром» виде в Google работает, судя по документации, но другой краулер может понять его иначе. Безопаснее писать в закодированном виде. Это мера предосторожности, а не фактор ранжирования.
- Опечатки и выдуманные директивы ничего не делают. Неизвестная парсеру строка отбрасывается, и страница остаётся доступной для обхода, будто строки нет.
- Для ИИ-краулеров нужны собственные правила. Строки «вообще» мало: правило должно называть токен нужного краулера. И robots.txt лишь просит добросовестных ботов не заходить. Это не защита закрытого контента.
- Никаких обещаний про позиции здесь нет. Эпизод о том, как читается файл, а не о том, как ранжируются страницы.
Что проверить сейчас
Откройте файл и прочитайте правила
Прогоните домен через проверку robots.txt: она показывает правила Allow и Disallow, user-agent, строки Sitemap и предупреждения вроде полностью закрытого сайта. Проверки одного URL в ней нет, для конкретного адреса используйте отчёт о robots.txt в Search Console.
Найдите пути с нелатинскими символами
Сверьте строки Disallow и Allow с реальными адресами сайта. Если путь с кириллицей, диакритикой или эмодзи записан «сырым», подумайте о записи в процентном кодировании. Чистую версию можно собрать в генераторе robots.txt.
Выпишите правила для ИИ-краулеров
Составьте список, каких краулеров вы хотите закрыть или разрешить, и проверьте, что в каждом правиле назван нужный токен user-agent. В том же генераторе есть пресеты для ИИ-краулеров.
Проверьте, что файл и ключевые страницы отвечают
Откройте адрес файла и несколько ключевых страниц в проверке HTTP-статуса. Файл должен отвечать 200, а страницы, которые вы хотите видеть в поиске, не должны быть закрыты случайно. Затем проверьте карту сайта из файла в анализаторе sitemap.
Посмотрите, какие страницы дают показы
Прежде чем что-то закрывать, посмотрите, какие страницы уже получают показы. SEO Радар их показывает, так что полезную страницу вы не закроете по ошибке.
Чего мы пока не знаем
- Какие краулеры, кроме Google, действительно неверно читают «сырые» пути. В сообщениях сказано «могут», списка нет.
- Изменится ли документация Google. В той документации, которую мы прочитали, допустимы и UTF-8, и процентное кодирование.
- Влияния на позиции. Ни в сообщениях, ни в документации о нём не говорится.
- Точных формулировок из видео: мы опираемся на два сообщения и документацию, а не на расшифровку.
Источники: Google Search Central, видео «What can you actually put in a robots.txt?»; Google Search Central, документация по robots.txt; Search Engine Roundtable, 21 октября 2026; Search Engine Journal, 22 октября 2026. Материал подготовила команда PromoPilot.
