Что такое llms.txt и нужен ли он вашему сайту

llms.txt — обычный Markdown-файл в корне сайта по адресу /llms.txt, который даёт языковой модели короткое описание сайта и отобранный список самых полезных страниц. Формат предложил Джереми Ховард (Answer.AI) в сентябре 2024 года, описание — на llmstxt.org. Короткий ответ на вопрос «нужен ли он»: полезен для документации, API и продуктов, с которыми работают через ИИ-ассистентов, делается быстро — и не влияет на позиции в Google, потому что Google прямо заявил, что Поиск этот файл игнорирует.

Что такое llms.txt и как он выглядит

Веб-страница сделана для людей: меню, баннеры, скрипты и уведомления о cookie окружают сам текст. Вытащить из этого полезное — лишняя работа для модели, а её контекст ограничен. llms.txt решает задачу так: предлагает отобранную вручную карту в формате, который модель читает легко. Спецификация задаёт порядок блоков, обязателен только первый:

1. H1 с названием проекта или сайта — первая строка файла.
2. Цитата с кратким описанием — одно-три предложения с ключевыми фактами.
3. Необязательные подробности — абзацы или списки: как пользоваться файлом, условия, ограничения.
4. Секции H2 со списками ссылок: ссылка в Markdown, затем по желанию двоеточие и пояснение.

# Пекарня «Колосок»

> Ремесленная пекарня в Киеве: хлеб на закваске, выпечка
> и доставка по городу с 8:00 до 20:00.

Заказы принимаются на сайте и по телефону.

## Каталог

- [Хлеб на закваске](https://example.com/bread): Состав, вес и цены
- [Выпечка](https://example.com/pastry): Круассаны, булочки, сезонное меню

## Доставка

- [Доставка](https://example.com/delivery): Зоны, стоимость и время

## Optional

- [История пекарни](https://example.com/about)

Секция с названием Optional имеет особый смысл: инструмент, которому не хватает контекста, может её пропустить. Спецификация также предлагает отдавать чистые Markdown-версии страниц по тому же адресу с добавкой .md, но это необязательно, и большинство сайтов ссылается на обычные HTML-страницы.

llms-full.txt и другие варианты

llms-full.txt — соглашение, которое распространили платформы документации: вместо ссылок в одном файле лежит полный текст документации, и инструмент загружает всё разом. В исходном предложении его нет — там описаны расширенные файлы llms-ctx.txt и llms-ctx-full.txt. Полнотекстовый файл уместен для документации, справочника API и баз знаний. Магазину или сайту услуг обычно хватает одного llms.txt. Следите за размером: файл на несколько мегабайт не поместится в контекст многих моделей.

Кто на самом деле читает llms.txt

Здесь рассыпается большая часть маркетинговых обещаний, поэтому — только то, что известно публично:

• Поиск Google его не использует. В руководстве Google по генеративным функциям поиска сказано, что для показа не нужно создавать специальные машиночитаемые или «ИИ-текстовые» файлы и что Поиск их игнорирует: файл не помогает и не вредит. Формулировку и контекст мы разобрали в статье llms.txt: Google говорит, что не читает его.
• Ни один крупный ИИ-поиск публично не обещал читать llms.txt чужих сайтов при выборе источников для ответов.
• Lighthouse в Chrome его проверяет. В экспериментальной категории про агентный браузинг есть аудит llms.txt. Он оценивает готовность сайта к ИИ-агентам, которые по нему ходят; это не фактор ранжирования, и проваленная проверка — не SEO-проблема.
• Где файл работает предсказуемо: в ассистентах для программистов, помощниках по документации и агентах, которым вы сами даёте ссылку. Поэтому платформы документации генерируют его автоматически, а многие документации для разработчиков его публикуют.

Чем llms.txt отличается от robots.txt

Доступ ИИ-краулеров настраивают в robots.txt

Если нужно пустить или закрыть ИИ-ботов, llms.txt не поможет — это делается в robots.txt. У крупных операторов боты разделены по задачам:

• Поисковые боты ассистентов — OAI-SearchBot, Claude-SearchBot, PerplexityBot. Закроете их — ассистент не сможет найти и процитировать ваши страницы.
• Боты для обучения — GPTBot, ClaudeBot, CCBot и другие. Запрет убирает контент из будущих обучающих данных и напрямую не выключает сайт из ответов с поиском.
• Токены-переключатели — Google-Extended управляет использованием контента для моделей Gemini и не влияет на Google Поиск и AI Overviews.

Бот следует только группе со своим именем: как только вы добавили отдельную группу для GPTBot, правила из User-agent: * к нему уже не применяются. Кроме того, ИИ-ботов может резать файрвол или CDN независимо от robots.txt. Проверьте файл в анализаторе robots.txt, а находит ли и цитирует ли вас ИИ-поиск на деле — в проверке видимости в ИИ. Сами правила разобраны в статье как проверить robots.txt.

Как создать и разместить llms.txt

1. Отберите важные страницы — обычно 10–50: товары или услуги, цены, документация, контакты. Не вываливайте туда весь sitemap.
2. Соберите черновик в генераторе llms.txt — он построит файл по сайту и проверит структуру.
3. Описание напишите руками. Одно-три простых предложения: что за сайт, для кого, где.
4. Загрузите файл в корень сайта, чтобы он открывался по адресу https://ваш-домен/llms.txt с кодом 200, в UTF-8, с типом text/plain или text/markdown.
5. Поддерживайте актуальность. Файл со ссылками на удалённые страницы хуже, чем никакого. Пересобирайте его, когда меняется структура сайта.

Типичные ошибки

• Вставить весь sitemap. Смысл файла — в отборе. Сотни ссылок без пояснений не скажут модели ничего сверх того, что уже есть в карте сайта.
• Ссылки с редиректом или на 404. Указывайте конечные канонические адреса и перепроверяйте их после каждого переезда сайта.
• Реклама вместо описания. «Лучший сервис на рынке» модели бесполезен. Полезны факты: что вы делаете, для кого, в каком регионе, в каком ценовом диапазоне.
• По адресу отдаётся HTML-страница. Некоторые CMS отправляют неизвестные адреса на шаблон 404 или на главную с кодом 200. Откройте адрес в браузере и убедитесь, что видите простой текст.
• Ждать, что файл закроет сайт от ботов. Не закроет. Правила доступа живут только в robots.txt и в настройках файрвола или CDN.

Так нужен ли он вам?

• Да, если у вас техническая документация, API или продукт, с которым разработчики работают через ИИ-ассистентов.
• Почему бы и нет, если CMS или платформа документации генерирует его сама и поддержка ничего не стоит.
• Нет, если цель — позиции в Google или AI Overviews. Эффекта там никто не показал, а Google говорит, что файл игнорирует.

Видимость в ИИ-ответах строится на том же фундаменте, что и в обычном поиске: страницы проиндексированы и могут показываться со сниппетом, прямо отвечают на вопросы, а на сайт ссылаются и его упоминают другие. Подробнее — в статье что известно о сводках ИИ в поиске.