Що таке llms.txt і чи потрібен він вашому сайту
llms.txt — звичайний Markdown-файл у корені сайту за адресою /llms.txt, який дає мовній моделі короткий опис сайту й відібраний список найкорисніших сторінок. Формат запропонував Джеремі Говард (Answer.AI) у вересні 2024 року, опис — на llmstxt.org. Коротка відповідь на запитання «чи він потрібен»: корисний для документації, API і продуктів, з якими працюють через ШІ-асистентів, робиться швидко — і не впливає на позиції в Google, бо Google прямо заявив, що Пошук цей файл ігнорує.
Що таке llms.txt і який він на вигляд
Вебсторінку зроблено для людей: меню, банери, скрипти й повідомлення про cookie оточують сам текст. Витягти з цього корисне — зайва робота для моделі, а її контекст обмежений. llms.txt розв'язує задачу так: пропонує відібрану вручну карту у форматі, який модель читає легко. Специфікація задає порядок блоків, обов'язковий лише перший:
- H1 з назвою проєкту чи сайту — перший рядок файлу.
- Цитата з коротким описом — одне-три речення з ключовими фактами.
- Необов'язкові подробиці — абзаци чи списки: як користуватися файлом, умови, обмеження.
- Секції H2 зі списками посилань: посилання в Markdown, далі за бажанням двокрапка й пояснення.
# Пекарня «Колосок» > Ремісна пекарня в Києві: хліб на заквасці, випічка > і доставка містом з 8:00 до 20:00. Замовлення приймаємо на сайті й телефоном. ## Каталог - [Хліб на заквасці](https://example.com/bread): Склад, вага й ціни - [Випічка](https://example.com/pastry): Круасани, булочки, сезонне меню ## Доставка - [Доставка](https://example.com/delivery): Зони, вартість і час ## Optional - [Історія пекарні](https://example.com/about)
Секція з назвою Optional має особливе значення: інструмент, якому бракує контексту, може її пропустити. Специфікація також пропонує віддавати чисті Markdown-версії сторінок за тією самою адресою з додаванням .md, але це необов'язково, і більшість сайтів посилається на звичайні HTML-сторінки.
llms-full.txt та інші варіанти
llms-full.txt — домовленість, яку поширили платформи документації: замість посилань в одному файлі лежить повний текст документації, і інструмент завантажує все одразу. У початковій пропозиції його немає — там описано розширені файли llms-ctx.txt і llms-ctx-full.txt. Повнотекстовий файл доречний для документації, довідника API та баз знань. Магазину чи сайту послуг зазвичай вистачає одного llms.txt. Стежте за розміром: файл на кілька мегабайтів не вміститься в контекст багатьох моделей.
Хто насправді читає llms.txt
Тут розсипається більшість маркетингових обіцянок, тому — лише те, що відомо публічно:
- Пошук Google його не використовує. У настановах Google щодо генеративних функцій пошуку сказано, що для показу не треба створювати спеціальні машинозчитувані чи «ШІ-текстові» файли і що Пошук їх ігнорує: файл не допомагає й не шкодить. Формулювання й контекст ми розібрали в статті llms.txt: Google каже, що не читає його.
- Жоден великий ШІ-пошук публічно не обіцяв читати llms.txt чужих сайтів, обираючи джерела для відповідей.
- Lighthouse у Chrome його перевіряє. В експериментальній категорії про агентний браузинг є аудит llms.txt. Він оцінює готовність сайту до ШІ-агентів, які ним ходять; це не фактор ранжування, і провалена перевірка — не SEO-проблема.
- Де файл працює передбачувано: в асистентах для програмістів, помічниках з документації та агентах, яким ви самі даєте посилання. Тому платформи документації генерують його автоматично, а чимало документацій для розробників його публікують.
Чим llms.txt відрізняється від robots.txt
| robots.txt | llms.txt | |
|---|---|---|
| Завдання | Каже краулерам, що їм можна завантажувати | Підказує, що варто прочитати і в якому порядку |
| Статус | Давно усталений стандарт (RFC 9309) | Пропозиція без статусу формального стандарту |
| Хто дотримується | Пошуковики й сумлінні боти, зокрема ШІ-краулери | Інструменти, які самі вирішили його завантажити |
| Може закрити доступ? | Так, для ботів, які його дотримуються | Ні — нічого не дозволяє й не забороняє |
Доступ ШІ-краулерів налаштовують у robots.txt
Якщо треба пустити чи закрити ШІ-ботів, llms.txt не допоможе — це робиться в robots.txt. У великих операторів боти розділені за завданнями:
- Пошукові боти асистентів — OAI-SearchBot, Claude-SearchBot, PerplexityBot. Закриєте їх — асистент не зможе знайти й процитувати ваші сторінки.
- Боти для навчання — GPTBot, ClaudeBot, CCBot та інші. Заборона прибирає контент із майбутніх навчальних даних і напряму не вимикає сайт із відповідей на основі пошуку.
- Токени-перемикачі — Google-Extended керує використанням контенту для моделей Gemini і не впливає на Google Пошук та AI Overviews.
Бот дотримується лише групи зі своїм іменем: щойно ви додали окрему групу для GPTBot, правила з User-agent: * до нього вже не застосовуються. Крім того, ШІ-ботів може блокувати файрвол чи CDN незалежно від robots.txt. Перевірте файл в аналізаторі robots.txt, а чи знаходить і цитує вас ШІ-пошук насправді — у перевірці видимості в ШІ. Самі правила розібрано в статті як перевірити robots.txt.
Як створити й розмістити llms.txt
- Відберіть важливі сторінки — зазвичай 10–50: товари чи послуги, ціни, документація, контакти. Не вивалюйте туди весь sitemap.
- Зберіть чернетку в генераторі llms.txt — він побудує файл за сайтом і перевірить структуру.
- Опис напишіть вручну. Одне-три прості речення: що за сайт, для кого, де.
- Завантажте файл у корінь сайту, щоб він відкривався за адресою
https://ваш-домен/llms.txtз кодом 200, в UTF-8, з типомtext/plainабоtext/markdown. - Підтримуйте актуальність. Файл із посиланнями на видалені сторінки гірший, ніж жодного. Перезбирайте його, коли змінюється структура сайту.
Типові помилки
- Вставити весь sitemap. Сенс файлу — у доборі. Сотні посилань без пояснень не скажуть моделі нічого понад те, що вже є в карті сайту.
- Посилання з редиректом або на 404. Вказуйте кінцеві канонічні адреси й перевіряйте їх після кожного переїзду сайту.
- Реклама замість опису. «Найкращий сервіс на ринку» моделі нічого не дає. Корисні факти: що ви робите, для кого, в якому регіоні, в якому ціновому діапазоні.
- За адресою віддається HTML-сторінка. Деякі CMS спрямовують невідомі адреси на шаблон 404 або на головну з кодом 200. Відкрийте адресу в браузері й переконайтеся, що бачите простий текст.
- Чекати, що файл закриє сайт від ботів. Не закриє. Правила доступу живуть лише в robots.txt і в налаштуваннях файрвола чи CDN.
То чи потрібен він вам?
- Так, якщо у вас технічна документація, API або продукт, з яким розробники працюють через ШІ-асистентів.
- Чому б і ні, якщо CMS чи платформа документації генерує його сама й підтримка нічого не коштує.
- Ні, якщо мета — позиції в Google чи AI Overviews. Ефекту там ніхто не показав, а Google каже, що файл ігнорує.
Видимість у ШІ-відповідях будується на тому самому фундаменті, що й у звичайному пошуку: сторінки проіндексовані й можуть показуватися зі сніпетом, прямо відповідають на запитання, а на сайт посилаються та згадують його інші. Докладніше — у статті що відомо про зведення ШІ в пошуку.