Генератор robots.txt

Как устроен robots.txt

robots.txt — текстовый файл в корне сайта (https://example.com/robots.txt). Он состоит из групп: строка User-agent называет бота, под ней идут правила Allow и Disallow с путями. Главное, что нужно помнить при составлении файла:

• Бот выбирает одну группу — самую точную для своего имени. Если для GPTBot есть своя группа, правила для * он уже не читает. Поэтому генератор не пишет отдельную группу с Allow: / для «разрешённых» AI-ботов: иначе им открылись бы и /wp-admin/, и всё, что вы закрыли для остальных.
• Побеждает самое длинное совпадение. Allow: /wp-admin/admin-ajax.php сильнее, чем Disallow: /wp-admin/. При равной длине Google выбирает Allow.
• Работают * и $. Disallow: /*?sort= закрывает любые адреса с параметром сортировки, Disallow: /*.pdf$ — все PDF.
• Строка Sitemap не относится к группам и пишется полным адресом.
• Google не поддерживает Crawl-delay; Bing его учитывает. Лимит размера файла для Google — 500 КиБ.

AI-краулеры: кого закрывать и чем это грозит

AI-боты делятся на три группы, и решение по каждой — разное.

Особые случаи. Google-Extended — не отдельный бот, а токен: сканирует сайт обычный Googlebot, а запрет означает «не использовать контент для обучения и ответов Gemini». По документации Google, на попадание в Поиск и ранжирование он не влияет. Applebot-Extended работает так же: запрет убирает контент из обучения моделей Apple, но Applebot продолжит сканировать сайт для Siri, Spotlight и Safari. Amazonbot Amazon описывает как бота для улучшения своих сервисов, данные которого могут использоваться для обучения моделей, — поэтому он в группе обучения.

Самый частый выбор — пресет «Закрыть обучение ИИ, оставить ИИ-поиск»: контент не уходит в обучение, а ссылки из ИИ-ответов продолжают приводить посетителей. Получится такой блок:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Bytespider
User-agent: Amazonbot
Disallow: /

После публикации проверьте, как видят сайт разные AI-боты, в AI Visibility Checker, а если хотите, чтобы ИИ лучше понимал сайт, добавьте файл llms.txt.

robots.txt — просьба, а не замок

Файл соблюдают добросовестные боты; ничто технически не мешает остальным его игнорировать. Если боты нужно остановить по-настоящему, это делается на сервере или в CDN. У Cloudflare, например, есть управляемый robots.txt с правилами для AI-краулеров (доступен на всех тарифах) и отдельная блокировка ботов на уровне сети. И не используйте robots.txt, чтобы спрятать секретные адреса: файл публичный, и строка Disallow: /secret-admin/ только подскажет, где искать.

Пресеты CMS: что в них и почему

• WordPress: закрыты /wp-admin/ (кроме admin-ajax.php), внутренний поиск /?s= и /search/, ссылки ?replytocom=. /wp-includes/ и /wp-content/plugins/ не закрываем: там CSS и JS, без которых Google не отрисует страницу. Файл в корне заменяет виртуальный robots.txt WordPress; в Yoast SEO его можно править в «Инструменты → Редактор файлов».
• WooCommerce: к правилам WordPress добавлены корзина, оформление заказа, личный кабинет и ссылки ?add-to-cart=.
• 1С-Битрикс: закрыта служебная папка /bitrix/, но открыты /bitrix/templates/, /bitrix/js/, /bitrix/cache/, /bitrix/components/, /bitrix/panel/ и /upload/, иначе Google не увидит оформление и картинки.
• Shopify: файл генерирует сама платформа, загрузить свой нельзя. Правила меняют в шаблоне robots.txt.liquid (Интернет-магазин → Темы → Изменить код → Добавить шаблон → robots); генератор подготовит дополнительные строки.
• Laravel: веб-корень — /public, поэтому /vendor или .env снаружи недоступны и в robots.txt их не перечисляем. Закрыты страницы входа, регистрации и сброса пароля.
• Next.js: закрыт только /api/. Папку /_next/ не трогайте — в ней JS и CSS страниц.

Типичные ошибки, которые ловит проверка

• Путь без начального / (Disallow: admin) — такое правило не сработает.
• Закрытые CSS и JS или папки с ними — Google не сможет отрисовать страницу и оценить её как пользователь.
• Disallow: / для всех ботов — так закрывают тестовые копии; на рабочем сайте это обнуляет поисковый трафик.
• Дубли и одинаковый путь в Allow и Disallow, пробелы и кириллица в путях без кодирования.
• Sitemap относительным адресом или без строки Sitemap вообще. Карту сайта соберёт генератор sitemap.

Запомните: robots.txt запрещает сканирование, а не индексацию. Чтобы убрать страницу из поиска, её нужно оставить открытой и поставить noindex. Готовый файл на сайте проверяйте проверкой robots.txt — она покажет, как правила применяются к конкретному адресу.