llms.txt: що це, як зробити і чи читають його роботи AI

Файл llms.txt - це пропозиція, а не стандарт: опис сайту і список його найважливіших адрес для мовних моделей та агентів AI. Агент AI - це програма, яка виконує завдання від імені користувача, наприклад шукає інформацію в документації. Google пише, що його пошукова система таких файлів не використовує. На rogala.pro від 8 жовтня 2026 я маю llms.txt, а окремо версію кожної сторінки в Markdown, і в логах сервера перевіряю, хто їх завантажує. Упродовж десяти днів після впровадження жоден відомий робот AI не надіслав запиту до llms.txt. Версії сторінок у Markdown у цей час завантажували роботи, що представлялися як ClaudeBot, OAI-SearchBot і Applebot.

Що таке файл llms.txt?

llms.txt - це текстовий файл у кореневому каталозі сайту, який у кількох рядках описує сервіс і вказує адреси найважливіших сторінок. Його записують у Markdown, тобто простому текстовому форматі: знак # на початку рядка створює заголовок, а посилання має вигляд [назва](адреса). Запропонував його Jeremy Howard 3 вересня 2024 (llmstxt.org). Мета полягала в тому, щоб агент AI швидко зрозумів, з чого складається сайт, не проходячи через меню й HTML-код. У серпні 2026 автор опублікував другу версію, засновану на тому, чого навчився за два роки використання файлу на сайтах. Досі називає її відкритою для зауважень пропозицією, а не прийнятим стандартом.

llms.txt нічого не блокує і не вирішує питання тренування моделей. Файл robots.txt передає роботам AI правила доступу, але діє лише на роботів, які його дотримуються. Доступ обмежують також на сервері, у файрволі та в налаштуваннях CDN, тобто мережі проміжних серверів. У тексті про SEO-аудит описав, як це перевіряю.

Чим llms.txt відрізняється від версій сторінок у Markdown?

llms.txt і версія сторінки в Markdown - це дві різні речі, хоча пропозиція з llmstxt.org описує обидві. llms.txt - це один файл для всього сайту чи його частини, тобто перелік найважливіших адрес із короткими описами. Версія в Markdown - це контент однієї сторінки у простому форматі, без меню, скриптів і HTML-коду. Посилання в llms.txt мають вести на такі версії, але кожна з цих речей працює без іншої (llmstxt.org).

Робот може потрапити до версії в Markdown трьома способами, а пропозиція з llmstxt.org описує два з них:

• За сталою адресою. Пропозиція радить версію в Markdown за адресою сторінки з додатком .md, наприклад strona.html.md, а для адреси без назви файлу - index.md.
• Через тег або заголовок. Тег <link rel="alternate" type="text/markdown"> у коді сторінки вказує на версію в Markdown. Тег <link rel="describedby"> вказує на файл llms.txt, який описує цю сторінку. Друга версія пропозиції допускає те саме в HTTP-заголовку Link, тобто у відповіді сервера (llmstxt.org).
• Через узгодження контенту. Програма надсилає заголовок Accept: text/markdown, тобто просить Markdown прямо, а сервер за звичайною адресою віддає Markdown замість HTML. Пропозиція з llmstxt.org цього способу не описує. Так працює, наприклад, функція Cloudflare, вимірювання якої описую нижче.

На rogala.pro працюють усі три способи, а llms.txt є окремим файлом, який веде до версій у Markdown. Кожна сторінка має версію в Markdown з тим самим контентом за своєю адресою з додатком index.md. У коді сторінки тег rel="alternate" вказує на цю версію, а тег rel="describedby" - на llms.txt. На заголовок Accept: text/markdown сервер віддає Markdown за звичайною адресою. У логах видно, що це дві окремі речі: роботи AI завантажували версії в Markdown, а про llms.txt не запитав жоден відомий робот AI. У липні 2026 я не знайшов версії в Markdown в жодному з 10 перевірених доменів зі свого портфоліо.

Як виглядає файл llms.txt?

Формат простий: назва, короткий опис і списки посилань, згруповані під заголовками. Єдиний обов'язковий елемент - заголовок із назвою сайту. Пропозиція описує порядок елементів так (llmstxt.org):

1. Заголовок першого рівня з назвою сайту чи проєкту, у Markdown # Назва.
2. Короткий опис у блоці цитати, тобто рядок, що починається з >.
3. Необов'язкові абзаци з контекстом, без заголовків.
4. Розділи із заголовком другого рівня (## Розділ), а в кожному список посилань у вигляді - [Назва](адреса): опис.
5. Зазвичай розділ під назвою «Optional» з посиланнями на менш важливі матеріали. У першій версії агент міг його пропустити, коли весь файл не вміщувався в порцію тексту, яку обробляє за раз. Друга версія залишає цей розділ лише як усталену практику (llmstxt.org).

Найпростіший файл для компанії, що надає послуги, має п'ять рядків:

• # Biuro Rachunkowe Przykład
• > Biuro rachunkowe w Krakowie: księgowość dla jednoosobowych firm i spółek od 2010 roku.
• ## Oferta
• - [Cennik](https://example.com/cennik/): ceny księgowości dla firm jednoosobowych i spółek
• - [Kontakt](https://example.com/kontakt/): adres, telefon i godziny pracy biura

На rogala.pro файл має назву й опис англійською, абзац про версії в Markdown і три розділи. Розділ «Profile» веде до сторінок про мене, «Blog» - до блогу польською та англійською, а «Optional» - до решти 25 мовних версій блогу. Кожне посилання веде до версії сторінки в Markdown, а опис після двокрапки - це той самий текст, що й у метатегу опису сторінки (meta description). У жовтні 2026 файл мав близько 40 KB.

Частина сервісів із документацією публікує також файл llms-full.txt з усім контентом в одному файлі. Пропозиція на llmstxt.org такого файлу не описує. Файл llms-full.txt у документації Anthropic має близько 45 MB, а в документації Cloudflare близько 69 MB (перевірено 18 жовтня 2026).

Як виглядають файли llms.txt Allegro, Empik і Morele?

Великі польські магазини вже мають llms.txt, але жоден із трьох файлів, які я перевірив, не застосовує пропозиції повністю. Файли Allegro, Empik і Morele я завантажив 18 жовтня 2026. Оцінюю їх за форматом із llmstxt.org і за перевірками, які описую в цьому тексті. Усі три ведуть на звичайні сторінки HTML, а не на версії в Markdown.

Allegro подає агентам найбільше практичної інформації, але частину структури записало жирним шрифтом замість заголовків. Файл має дату оновлення, бажані назви марки, адресу офісу й контактну форму. Описує також шаблони адрес пошуку, фільтрів і наступних сторінок результатів, тож агент може сам побудувати адресу списку товарів. Підказки для моделей кажуть, що ціни й наявність треба перевіряти на сторінці товару, і наводять назви програм, що закінчилися. Групи на кшталт «Główne kategorie» і «Pozostałe strony i usługi» мають жирний шрифт замість заголовка ##. Програма, що читає файл за форматом, віднесе, отже, список послуг до розділу про фільтрування. Опис посилання стоїть після тире, а не після двокрапки, а 13 головних категорій не мають описів.

Сторінки з файлу Allegro повернули моєму скрипту код 403, хоча сам файл завантажився без проблем. Скрипт подавав у заголовку User-Agent свою назву й адресу мого сайту, а перевірив я ним вісім перших адрес із файлу. Не знаю, чи роботи AI отримують ту саму відповідь, бо це показують лише логи Allegro. Це приклад перевірки, яку варто зробити для кожного файлу: чи адреси з llms.txt завантажить та сама програма, що завантажила файл.

Empik найвірніше тримається формату, але опис марки звучить як рекламний текст. Файл має заголовок першого рівня, опис у блоці цитати, розділи ## і списки посилань з описом після двокрапки. Підказки для моделей конкретні: ціни й наявність треба брати з карток товарів, а правила повернення залежать від продавця. В описі марки є формулювання «wiodąca» і «Uwielbiana marka», а в цьому тексті раджу подавати факти, бо модель може порівняти опис зі сторінкою. Файл не має дати оновлення. Заголовок і частина підписів англійською, хоча решта польською. З 35 адрес у файлі 34 відповіли кодом 200, а одна редиректом.

Morele має добрий список категорій і посібників, але файл не тримається формату, тож програма може його не прочитати. Файл починається з невидимого знака BOM, а в першому рядку #Morele.net бракує пробілу після знака #. У Markdown такий рядок не є заголовком, а заголовок із назвою - єдиний обов'язковий елемент. Файл не має опису в блоці цитати і містить кілька заголовків першого рівня. Жодна зі 116 адрес не є посиланням Markdown, а більшість записано як звичайний текст «назва - адреса». Біля категорій є списки тегів і «найчастіших запитів», тобто ключові слова для моделі, а також рекламні тексти. Зі 116 адрес 113 відповіли кодом 200, а 3 перенаправили на статті за новими адресами.

Жоден із трьох сервісів не дає агентам версій сторінок у Markdown, тож після прочитання файлу агент і так завантажує повні сторінки HTML. Empik і Morele на заголовок Accept: text/markdown віддають HTML, а адреси з додатком .md повертають код 404. Allegro на ті самі спроби відповіло кодом 403. Жоден із сервісів не має також тегу rel="describedby" ані rel="alternate" type="text/markdown".

Чи користується Google файлом llms.txt?

Ні: Google пише, що для присутності в пошуку не треба створювати текстових файлів для AI ані версій у Markdown. Посібник Google про оптимізацію під функції AI додає, що пошукова система такі файли пропускає. Тож вони не допомагають видимості й не шкодять їй (Google Search Central, оновлення від 10 липня 2026). За повідомленням Search Engine Land з конференції Search Central Live у липні 2025 Gary Illyes сказав, що Google не підтримує llms.txt (Search Engine Land).

John Mueller порівняв llms.txt з метатегом keywords, тобто тегом із ключовими словами, яким пошукові системи не користуються. У квітні 2025 він написав на Reddit, що файл - це декларація власника про те, чого стосується сайт. Система AI може натомість перевірити саму сторінку (Search Engine Journal). Додав, що в логах сервера видно, що сервіси AI навіть не перевіряють, чи файл існує.

Chrome і пошукова система Google - це дві окремі справи. Lighthouse, інструмент Chrome для оцінки сторінок, має експериментальну категорію «Agentic Browsing», яка перевіряє, зокрема, чи в кореневому каталозі домену є llms.txt (Chrome for Developers). Ця перевірка оцінює підготовку сайту для агентів у браузері. Її результат нічого не каже про позиції в пошуку Google.

Чи читають llms.txt роботи AI?

З наявних даних випливає, що роботи пошукових систем AI рідко завантажують llms.txt, а частіше роблять це GPTBot і Claude Code, асистент програміста. Три дослідження, які я перевірив в оригінальних публікаціях, вимірюють різні речі: сам файл llms.txt, версії в Markdown, надіслані через заголовок Accept, і окремі адреси Markdown.

• Ahrefs проаналізував 137 210 доменів зі своєї аналітики трафіку в травні 2026. llms.txt мало 28% із них, а до 97% цих файлів у травні не надійшло жодного запиту. 96% запитів, що дійшли до файлів, надіслали роботи. Роботи пошукових систем AI, наприклад OAI-SearchBot і PerplexityBot, надіслали разом 233 запити, 1,1% усіх. Серед названих інструментів AI найбільше запитів надіслав GPTBot, а другим був Claude Code. GPTBot - це робот OpenAI, що збирає дані для моделей, а Claude Code - асистент програміста компанії Anthropic (Ahrefs, 15 червня 2026).
• Suganthan Mohanadasan упродовж 44 днів записував запити із заголовком Accept: text/markdown після ввімкнення в Cloudflare функції, яка віддає агентам Markdown. Автор наводить 1 421 запит (його таблиця сумується до 1 373). 639 із них надіслав браузер без інтерфейсу, а 500 - інфраструктура Anthropic (за словами автора, не ClaudeBot). У таблиці немає GPTBot ані PerplexityBot (Suganthan Mohanadasan, 19 квітня 2026).
• Otterly упродовж 14 днів порівнював сторінки HTML з їхніми версіями в Markdown за окремими адресами, на які були посилання у футері. Сторінки HTML мали 137 візитів роботів AI, а версії в Markdown нуль. Жодна платформа AI не процитувала адреси Markdown (Otterly, оновлення від 1 квітня 2026).

Дослідження Ahrefs вимірює запити, а не те, що робот зробив з файлом. Те, що GPTBot завантажує llms.txt, не означає, що файл змінює відповіді ChatGPT. Ahrefs застерігає також, що його клієнти технічніші й обізнаніші в SEO, ніж середні сайти. У всій мережі частка сайтів з llms.txt, імовірно, нижча за 28%.

Що показали логи мого сайту після впровадження llms.txt?

Упродовж десяти днів після впровадження жоден відомий робот AI не надіслав запиту до llms.txt, а версії в Markdown завантажували роботи, які про цей файл не питали. 8 жовтня 2026 я опублікував на rogala.pro llms.txt і версію кожної сторінки в Markdown (114 адрес у день впровадження). Логи доступу беру з хостингу й рахую три види запитів: до llms.txt, до файлів index.md, тобто версій у Markdown за окремою адресою кожної сторінки, і до відповідей Markdown за звичайною адресою сторінки.

Відповіді Markdown за звичайною адресою розпізнаю опосередковано, тож їхня кількість - це наближення. Хостинг не записує заголовка Accept, тому шукаю відповіді з розміром, що дорівнює одному зі знаних розмірів версій у Markdown. Після зміни контенту я не знаю старих розмірів, тож частину таких відповідей міг пропустити. Випадковий збіг розміру можливий, але за розмірів, порахованих до байта, малоймовірний.

Результати за 8-17 жовтня 2026, після віднімання моїх власних запитів:

• Зафіксував 5 запитів до llms.txt, з яких 3 закінчилися завантаженням файлу. Раз завантажив його робот інструмента SEO, двічі - анонімні сканери, що видавали себе за браузер у телефоні. Жоден відомий робот AI не надіслав запиту до цього файлу.
• Запити до файлів index.md надсилали безпосередньо ClaudeBot (123), OAI-SearchBot (35) і Applebot (27). ClaudeBot - це робот-індексатор Anthropic, інша програма, ніж Claude Code з дослідження Ahrefs. Хостинг відхилив 34 запити ClaudeBot кодом 429, тобто «забагато запитів», тож 89 запитів ClaudeBot закінчилися завантаженням файлу.
• Відповіді Markdown за звичайною адресою виявив лише в 22 запитах ExaSearchBot, переважно на головній сторінці. ExaSearchBot - це робот пошукової системи для застосунків AI.
• Googlebot надіслав 169 запитів до сторінок HTML, а відповіді Markdown для нього не виявив. ChatGPT-User, який завантажує сторінки на прохання користувача ChatGPT, надіслав 8 запитів до сторінок HTML.

Логи не показують, звідки роботи знали адреси версій у Markdown. За цей час жоден із них не надіслав запиту до llms.txt. Тег <link rel="alternate"> на сторінках HTML подає адресу версії в Markdown, тож це можливий шлях, але не єдиний. Завантаження не каже також, чи робот використав цю версію у відповіді, а для цього потрібне окреме вимірювання.

Власні тести легко сплутати з трафіком роботів. Під час перевірки впровадження 17 жовтня мій скрипт завантажив файли Markdown з ідентифікатором Googlebot, що дало 115 запитів «Googlebot» з моєї IP-адреси. Без віднімання власних адрес у логах був би видний Googlebot, що завантажує Markdown, хоча справжнього Googlebot, що завантажує Markdown, я не виявив.

Коли варто робити llms.txt?

llms.txt має найбільший сенс там, де сайт читають асистенти програмістів: у документації, API та інструментах для програмістів. API - це інтерфейс, через який програми обмінюються даними. У дослідженні Ahrefs Claude Code був другим після GPTBot інструментом AI за кількістю запитів до файлу. Асистент у редакторі коду, який отримує адресу документації, може зі списку посилань швидше потрапити на потрібну сторінку, ніж через навігацію.

У магазині чи компанії, що надає послуги, llms.txt - це дешевий додаток, а не спосіб отримати трафік з AI. Мені не відомі докази того, що файл збільшує трафік чи цитування. Перш ніж його робити, перевірте, чи роботи AI взагалі можуть завантажити ваш сайт. Потім перевірте, чи контент видно в HTML без виконання JavaScript. Обидві перевірки описав у тексті про AI SEO і GEO.

Версія для роботів має мати той самий контент, що й сторінка для людей, а відрізнятися може лише форматом. Google описує клоакінг, тобто показ пошуковій системі іншого контенту, ніж користувачам, у правилах щодо спаму (Google Search Central). Версія в Markdown з тією самою інформацією, цінами й умовами - це інший формат тієї самої сторінки, а версія з іншим контентом чи іншими умовами - це ризик. На rogala.pro версію в Markdown обирає заголовок Accept, а не назва робота. У заголовку Link версія в Markdown вказує сторінку HTML як канонічну адресу, тобто бажану версію сторінки.

Як зробити файл llms.txt?

Файл зробите самі, якщо знаєте, які сторінки важливі:

1. Виберіть сторінки, які має знати той, хто питає про вашу фірму чи продукт: пропозиція, прайс, документація, контакти, найважливіші тексти. Не вставляйте всієї мапи сайту.
2. Напишіть заголовок із назвою і одне-два речення опису в блоці цитати. Опис має подавати факти про фірму, а не рекламне гасло, бо модель може порівняти його зі сторінкою.
3. Згрупуйте посилання під заголовками другого рівня й до кожного напишіть одне речення про те, що на сторінці.
4. Збережіть файл як /llms.txt у кореневому каталозі домену, в кодуванні UTF-8. Перевірте, чи адреса повертає код 200, тобто правильну відповідь, і звичайний текст, а не сторінку HTML, яку деякі системи показують за кожною невідомою адресою. Якщо ваша система не дозволяє завантажити файл у кореневий каталог, запитайте постачальника магазину чи хостингу.
5. Генеруйте файл із того самого джерела, що й сторінку, щоб інформація у файлі збігалася з контентом. На rogala.pro llms.txt створюється під час кожного збирання сайту з тих самих даних, що й HTML.

Чи достатньо генератора llms.txt?

Генератор підготує попередню версію файлу, але вибір сторінок і описи треба перевірити вручну. За DataForSEO ключове слово «llms txt generator» шукають у Польщі приблизно 70 разів на місяць, а «llms.txt generator» у США приблизно 480 разів (медіана за 12 місяців). Якщо генератор бере адреси з мапи сайту чи зі сканування сайту роботом, він не знає, які сторінки важливі для вас. Перед публікацією перевірте п'ять речей:

• чи у файлі лише сторінки, які хочете показати, без сторінок входу, кошика й сторінок у розробці;
• чи кожна адреса працює й повертає код 200;
• чи описи збігаються з актуальним контентом сторінок, цінами й пропозицією;
• чи у файлі немає інформації, якої немає на сторінці;
• як файл оновлюватиметься після змін на сайті.

Як перевірити, чи роботи завантажують llms.txt?

Відповідь у логах сервера, а не в інструментах видимості в AI. Завантажте сирі логи доступу з панелі хостингу й знайдіть у них адресу /llms.txt та адреси версій у Markdown. До кожного запиту лог записує IP-адресу, дату, код відповіді, розмір і назву програми, що надіслала запит, тобто User-Agent.

Назву робота можна підробити, тому важливіші запити перевіряю за IP-адресою. OpenAI публікує списки адрес своїх роботів, а в моїх логах 3 із 4 блоків адрес OAI-SearchBot були в такому списку. З тієї самої причини віднімаю власні тести, бо мій контрольний скрипт видавав себе за Googlebot.

Логи завантажуйте регулярно, бо хостинг не зберігає їх довго. Мій хостинг зберігає логи 14 днів, тож щоб мати місяць вимірювання, завантажую архіви кожні кілька днів. Присутність марки у відповідях AI вимірюю окремо. Це вимірювання описав у тексті про видимість марки в AI.

Найчастіші запитання про llms.txt

З чого почати?

Почніть із доступу роботів, а llms.txt додайте наприкінці. Відкрийте /robots.txt і перевірте правила для роботів AI. Потім завантажте логи за останні дні й подивіться, які роботи відвідують сайт і з яким кодом відповіді. Якщо маєте документацію чи продукт для програмістів, додайте llms.txt і версії в Markdown одразу. У магазині чи компанії, що надає послуги, llms.txt - це додаток після цих двох перевірок. Якщо хочете зробити це разом, напишіть через сторінку контактів.