Генератор и проверка llms.txt

Что такое llms.txt и зачем он нужен

llms.txt — текстовый файл в формате Markdown, который лежит в корне сайта по адресу /llms.txt и коротко объясняет языковой модели, что это за сайт и где искать главное. Формат предложил Джереми Ховард (Answer.AI) в сентябре 2024 года, спецификация опубликована на llmstxt.org. Идея простая: у модели ограниченное окно контекста, а HTML-страница — это меню, баннеры, скрипты и куски вёрстки. Короткий файл с описанием и списком ссылок с пояснениями экономит модели работу и снижает риск, что она поймёт сайт неправильно.

Важно понимать статус: это предложенный стандарт, а не протокол, который обязаны соблюдать поисковики или ИИ-сервисы. Подробнее о том, что известно об учёте файла, — в последнем разделе.

Формат llms.txt по спецификации

Спецификация задаёт порядок блоков. Обязателен только первый.

1. H1 с названием проекта или сайта: # Название. Это первая строка файла.
2. Цитата с кратким описанием: > … — суть в 1–3 предложениях, с ключевыми фактами, без которых остальное непонятно.
3. Необязательные блоки подробностей: абзацы, списки — любой Markdown, кроме заголовков. Сюда пишут, как читать файл, условия, ограничения.
4. Секции H2 со списками ссылок. Каждый пункт — ссылка в Markdown, затем по желанию двоеточие и пояснение: - [Название](https://…): что на странице.

Пример llms.txt

# Пекарня «Колосок»

> Ремесленная пекарня в Киеве: хлеб на закваске, выпечка и доставка
> по городу с 8:00 до 20:00.

Заказы принимаются на сайте и по телефону. Цены в гривнах с НДС.

## Каталог

- [Хлеб на закваске](https://example.com/bread): Состав, вес и цены
- [Выпечка](https://example.com/pastry): Круассаны, булочки, сезонное меню

## Доставка и оплата

- [Доставка](https://example.com/delivery): Зоны, стоимость и время
- [Оплата](https://example.com/payment): Способы оплаты и возврат

## Optional

- [История пекарни](https://example.com/about)

Секция Optional

Секция с названием ## Optional имеет особый смысл: ссылки из неё можно пропустить, если нужен короткий контекст. Туда выносят второстепенное — историю компании, юридические страницы, архив. Работает только английское название; «Дополнительно» парсер формата воспримет как обычную секцию.

Markdown-версии страниц

Спецификация предлагает ещё одну практику: отдавать чистую Markdown-версию страницы по тому же адресу с добавкой .md (/docs/start.html.md, для адресов без имени файла — index.html.md). Это необязательно, и большинство сайтов ссылается из llms.txt на обычные HTML-страницы.

llms.txt, robots.txt и sitemap.xml: в чём разница

Главное следствие: llms.txt ничего не запрещает и не разрешает. Если нужно закрыть сайт от обучения моделей или от ИИ-краулеров, это делается в robots.txt — проверьте его в анализаторе robots.txt или соберите в генераторе. И наоборот: если ИИ-краулер закрыт в robots.txt, наличие llms.txt этого не меняет. Полный список адресов по-прежнему должен быть в sitemap — его состояние покажет анализ sitemap.xml.

llms-full.txt: когда нужен второй файл

llms-full.txt — соглашение, которое распространили платформы документации: в одном файле лежит полный текст документации, а не только ссылки. Модели не нужно ходить по страницам — всё уже в контексте. В исходной спецификации его нет; там описаны файлы llms-ctx.txt и llms-ctx-full.txt, которые собирает утилита llms_txt2ctx (вторая версия включает ссылки из Optional).

Делать llms-full.txt имеет смысл для документации, API и баз знаний — когда текст нужен целиком. Для магазина или сайта услуг обычно хватает llms.txt. Следите за размером: файл на мегабайты не поместится в контекст многих моделей. Наш валидатор проверяет llms-full.txt мягче: требует H1 и корректные ссылки, но не ждёт, что каждая секция — список ссылок.

Как разместить llms.txt на сайте

Файл должен открываться по адресу https://ваш-домен/llms.txt, отдаваться с кодом 200, в UTF-8 и с типом text/plain или text/markdown. Спецификация допускает и файл в подпапке (например, /docs/llms.txt), но в корне его найдут чаще.

WordPress

Загрузите файл через FTP или файловый менеджер хостинга в ту же папку, где лежит wp-config.php. Стандартный .htaccess WordPress не перехватывает существующие файлы, так что ничего настраивать не нужно. В популярных SEO-плагинах (Yoast SEO, Rank Math) в 2025 году появилась генерация llms.txt — если пользуетесь ею, не кладите рядом ещё и физический файл, иначе неясно, какой версии вы ждёте.

nginx

location = /llms.txt {
    charset utf-8;
    try_files $uri =404;
}

try_files $uri =404 важен для SPA и сайтов, где все неизвестные адреса отдаются как index.html: без него при отсутствии файла сервер ответит HTML-страницей с кодом 200, и клиент получит вёрстку вместо текста. charset utf-8 добавит кодировку в Content-Type — без неё кириллица в некоторых клиентах превращается в «кракозябры».

Apache

AddCharset utf-8 .txt .md

Строка в .htaccess добавит кодировку к текстовым файлам. Если правила mod_rewrite отправляют все запросы во фронт-контроллер, убедитесь, что перед ними есть RewriteCond %{REQUEST_FILENAME} !-f.

Tilda, Wix, Shopify и другие конструкторы

Не каждый конструктор позволяет положить произвольный файл в корень. Сначала поищите в настройках платформы загрузку файлов в корень или отдельную настройку llms.txt. Если её нет, вариант — 301-редирект с /llms.txt на файл в хранилище платформы, если она разрешает редиректы с несуществующих адресов. Большинство HTTP-клиентов следует редиректам, но надёжнее, когда файл отдаётся напрямую. После публикации проверьте результат: частая ошибка конструкторов — HTML-страница «404» с кодом 200.

Типичные ошибки в llms.txt

Описания пишите для того, кто сайта не видел: что на странице и когда её открывать. «Подробнее» или повтор названия ничего не дают. Генератор берёт meta description как заготовку, но маркетинговые формулировки из сниппетов лучше заменить фактами.

Что реально известно об учёте llms.txt ИИ

• Ни OpenAI, ни Google, ни Anthropic, ни Perplexity официально не заявляли, что их поиск или краулеры используют llms.txt при выборе источников для ответов.
• Представители Google в 2025 году публично говорили, что Google его не использует; для показа в AI Overviews Google не требует никаких специальных файлов — работают обычные правила индексации.
• Многие компании публикуют llms.txt для своей документации (в том числе Anthropic). Это говорит о том, что файл удобен для разработчиков и ИИ-агентов, которым явно дают ссылку, а не о том, что его учитывают при ранжировании.

Практический вывод: llms.txt стоит сделать, если у вас документация, API или продукт, с которым работают через ИИ-ассистентов, — это полчаса работы. Ждать от него роста трафика из ChatGPT или AI Overviews не стоит: видимость в ИИ-ответах по-прежнему строится на том, что страницы индексируются, отвечают на вопросы и на них ссылаются другие сайты. Где сайт недобирает видимости в обычном поиске, покажет SEO-Радар.