llms.txtとは？書き方と、AIクローラーが読むのかをログで検証

llms.txtは標準ではなく提案で、大規模言語モデルとAIエージェントのために、サイトの説明と最も重要なURLの一覧を書いたファイルです。 AIエージェントとは、ユーザーに代わって作業をするプログラムで、たとえばドキュメントから情報を探します。Googleは、同社の検索はこうしたファイルを使わないと書いています。rogala.proでは、2026年10月8日からllms.txtを置き、各ページのMarkdown版も別に用意して、サーバーログで誰が取得するかを確認しています。導入後の10日間、既知のAIクローラーでllms.txtへのリクエストを送ったものはありませんでした。同じ期間にページのMarkdown版を取得したのは、ClaudeBot、OAI-SearchBot、Applebotと名乗るクローラーでした。

llms.txtとは何ですか？

llms.txtは、サイトのルートディレクトリに置くテキストファイルで、数行でサイトを説明し、最も重要なページのURLを示します。 Markdown、つまりシンプルなテキスト形式で書きます。行頭の#が見出しになり、リンクは[タイトル](URL)の形です。2024年9月3日にJeremy Howardが提案しました（llmstxt.org）。AIエージェントが、メニューやHTMLコードをたどらずに、サイトが何でできているかをすばやく理解できるようにすることが目的でした。2026年8月に、著者は、サイトがこのファイルを2年間使ってわかったことを基にした第2版を公開しました。今も、意見を受け付ける提案と呼んでおり、採択された標準とは呼んでいません。

llms.txtは何もブロックせず、モデルの学習も決めません。 AIクローラーにアクセスのルールを伝えるのはrobots.txtですが、それは従うクローラーにしか効きません。アクセスの制限は、サーバー、ファイアウォール、CDN（仲介サーバーのネットワーク）の設定でも行います。私がそれをどう確認しているかは、SEO監査の記事で書きました。

llms.txtとMarkdown版のページは何が違いますか？

llmstxt.orgの提案は両方を扱っていますが、llms.txtとページのMarkdown版は別のものです。 llms.txtは、サイト全体、またはその一部のための1つのファイルで、最も重要なURLを短い説明付きで並べたものです。Markdown版は、1ページの内容を、メニュー、スクリプト、HTMLコードのない、シンプルな形式にしたものです。llms.txtのリンクはそうしたMarkdown版に向けるべきですが、どちらもお互いなしで機能します（llmstxt.org）。

クローラーがMarkdown版にたどり着く方法は3つあり、llmstxt.orgの提案が扱っているのはそのうちの2つです。

• 決まったURLから。提案は、ページのURLに.mdを付けた場所にMarkdown版を置くことを勧めていて、たとえばstrona.html.md、ファイル名のないURLならindex.mdです。
• タグまたはヘッダーから。ページのコードにある<link rel="alternate" type="text/markdown">が、Markdown版を指します。<link rel="describedby">は、そのページを説明するllms.txtを指します。提案の第2版は、同じことをHTTPのLinkヘッダー、つまりサーバーの応答でも認めています（llmstxt.org）。
• コンテンツネゴシエーションから。プログラムがAccept: text/markdownヘッダーを送って、Markdownを直接求め、サーバーが通常のURLでHTMLの代わりにMarkdownを返します。llmstxt.orgの提案は、この方法を扱っていません。たとえば、以下で計測を紹介するCloudflareの機能は、この方法で動きます。

rogala.proでは3つの方法すべてが動いていて、llms.txtは、Markdown版につながる別のファイルです。 どのページにも、同じ内容のMarkdown版が、index.mdを付けたURLにあります。ページのコードでは、rel="alternate"のタグがそのMarkdown版を指し、rel="describedby"のタグがllms.txtを指します。Accept: text/markdownヘッダーには、サーバーが通常のURLでMarkdownを返します。ログを見ると、この2つが別のものだとわかります。AIクローラーはMarkdown版を取得していましたが、既知のAIクローラーでllms.txtをリクエストしたものはありませんでした。2026年7月には、私のポートフォリオの10ドメインのどれにも、Markdown版は見つかりませんでした。

llms.txtファイルはどんな形式ですか？

形式はシンプルで、タイトル、短い説明、見出しの下にまとめたリンクの一覧です。 必須の要素は、サイトの名前の見出しだけです。提案は、要素の順番を次のように書いています（llmstxt.org）。

1. サイトまたはプロジェクトの名前の第1レベルの見出し。Markdownでは# 名前。
2. 引用ブロック、つまり>で始まる行での短い説明。
3. 見出しのない、文脈のための任意の段落。
4. 第2レベルの見出し（## セクション）のセクションと、それぞれにある- [タイトル](URL): 説明の形のリンクの一覧。
5. 慣習として、重要度の低い資料へのリンクを置く「Optional」というセクション。第1版では、ファイル全体がエージェントが一度に処理するテキストの量に収まらないとき、エージェントはこれを省略できました。第2版は、このセクションを慣習としてだけ残しています（llmstxt.org）。

サービス業の会社のための最もシンプルなファイルは、5行です。

• # 会計事務所の例
• > クラクフの会計事務所：2010年から、個人事業主と会社の記帳を担当しています。
• ## サービス
• - [料金](https://example.com/cennik/): 個人事業主と会社の記帳の料金
• - [お問い合わせ](https://example.com/kontakt/): 事務所の住所、電話番号、営業時間

rogala.proのファイルは、名前と説明が英語で、Markdown版についての段落と、3つのセクションがあります。 「Profile」セクションは私についてのページ、「Blog」はポーランド語と英語のブログ、「Optional」はブログの残りの25の言語版につながります。どのリンクも、ページのMarkdown版に向いていて、コロンの後の説明は、ページのディスクリプションのタグ（meta description）と同じテキストです。2026年10月には、ファイルは約40KBでした。

ドキュメントのあるサイトの一部は、すべての内容を1つにまとめたllms-full.txtも公開しています。 llmstxt.orgの提案は、このファイルを扱っていません。Anthropicのドキュメントのllms-full.txtは約45MB、Cloudflareのドキュメントのものは約69MBです（2026年10月18日確認）。

Allegro、Empik、Moreleのllms.txtはどうなっていますか？

ポーランドの大手ショップにはすでにllms.txtがありますが、確認した3つのファイルのどれも、提案を完全には採用していません。 Allegro、Empik、Moreleのファイルは、2026年10月18日に取得しました。llmstxt.orgの形式と、この記事で説明する確認で評価しています。3つとも、Markdown版ではなく、通常のHTMLページにつながっています。

Allegroは、エージェントに最も実用的な情報を多く示していますが、構造の一部が見出しではなく太字になっています。 ファイルには、更新日、ブランドの推奨名、本社の住所、問い合わせフォームがあります。検索、フィルター、検索結果の次のページのURLのパターンも書いてあるので、エージェントは商品一覧のURLを自分で組み立てられます。モデルへの案内は、価格と在庫は商品ページで確認すること、そして終了したプログラムの名前を示しています。「主なカテゴリ」や「その他のページとサービス」のようなグループは、##の見出しではなく太字です。そのため、形式どおりにファイルを読むプログラムは、サービスの一覧をフィルターのセクションに割り当てます。リンクの説明はコロンではなくハイフンの後にあり、13の主なカテゴリには説明がありません。

Allegroのファイルにあるページは、ファイル自体は問題なく取得できたのに、私のスクリプトにはステータスコード403を返しました。 スクリプトは、User-Agentに自分の名前と私のサイトのアドレスを入れていて、ファイルの最初の8つのURLを確認しました。AIクローラーが同じ応答を受け取るかはわかりません。それがわかるのは、Allegroのログだけだからです。これは、どのファイルでもやる価値のある確認の例です。llms.txtのURLを、ファイルを取得したのと同じプログラムが取得できるか、です。

Empikは、形式に最も忠実ですが、ブランドの説明が広告文のように読めます。 ファイルには、第1レベルの見出し、引用ブロックの説明、##のセクション、コロンの後に説明のあるリンクの一覧があります。モデルへの案内は具体的で、価格と在庫は商品ページから取ること、返品の条件は販売者によって違うことが書かれています。ブランドの説明には「wiodąca」（業界をリードする）や「Uwielbiana marka」（愛されるブランド）という表現があり、この記事では事実を書くことを勧めています。モデルが説明とページを比べることがあるからです。ファイルに更新日はありません。見出しとラベルの一部は英語で、残りはポーランド語です。ファイルの35のURLのうち34がステータスコード200、1つがリダイレクトでした。

Moreleは、カテゴリとガイドの一覧は良いのですが、ファイルが形式に従っていないので、プログラムが読み取れないことがあります。 ファイルは見えないBOM文字で始まり、最初の行の#Morele.netには、#の後のスペースがありません。Markdownでは、そうした行は見出しにならず、名前の見出しは唯一の必須要素です。ファイルには引用ブロックの説明がなく、第1レベルの見出しがいくつもあります。116のURLのどれもMarkdownのリンクではなく、大半が普通のテキストで「名前 - URL」と書かれています。カテゴリごとに、タグと「よく検索される語」、つまりモデル向けのキーワードのリストと、広告文があります。116のURLのうち、113がステータスコード200、3つが新しいURLの記事にリダイレクトしました。

3つのサイトのどれも、エージェントにページのMarkdown版を提供していないので、ファイルを読んだ後も、エージェントは完全なHTMLページを取得することになります。 EmpikとMoreleは、Accept: text/markdownヘッダーにHTMLを返し、.mdを付けたURLはステータスコード404を返します。Allegroは、同じ試行にステータスコード403で応答しました。3つのサイトとも、rel="describedby"のタグも、rel="alternate" type="text/markdown"のタグもありません。

Googleはllms.txtを使いますか？

いいえ。Googleは、検索結果に載るために、AI向けのテキストファイルやMarkdown版を作る必要はないと書いています。 GoogleのAI機能向け最適化のガイドは、検索がそうしたファイルを無視するとも書いています。そのため、可視性に役立つことも、害になることもありません（Google Search Central、2026年7月10日更新）。Search Engine Landの、2025年7月のSearch Central Liveのレポートによると、Gary Illyesは、Googleはllms.txtに対応していないと述べました（Search Engine Land）。

John Muellerは、llms.txtを、検索エンジンが使っていないキーワードのメタタグ（keywords）に例えました。 2025年4月にRedditで、このファイルは、サイトが何についてかを所有者が宣言するものだと書きました。AIのシステムは、代わりにサイト自体を確認することもできます（Search Engine Journal）。さらに、サーバーログを見ると、AIのサービスはファイルがあるかどうかさえ確認していないとわかる、とも書いています。

ChromeとGoogle検索は、別の話です。 Chromeのページ評価ツールであるLighthouseには、実験的な「Agentic Browsing」というカテゴリがあり、ドメインのルートにllms.txtがあるかどうかも確認します（Chrome for Developers）。この確認は、ブラウザ内のエージェントに向けたサイトの準備を評価するものです。結果は、Google検索での順位については何も示しません。

AIクローラーはllms.txtを読みますか？

入手できるデータでは、AI検索エンジンのクローラーがllms.txtを取得することはまれで、より多いのはGPTBotと、プログラマー向けアシスタントのClaude Codeです。 私が元の公開資料で確認した3つの調査は、それぞれ別のものを計測しています。llms.txtそのもの、Acceptヘッダーで送られるMarkdown版、そして別々のMarkdownのURLです。

• Ahrefsは、2026年5月に、自社のトラフィック分析の137,210ドメインを分析しました。llms.txtがあったのはそのうち28%で、そうしたファイルの97%には、5月に1件のリクエストも届きませんでした。ファイルに届いたリクエストの96%はクローラーによるものでした。OAI-SearchBotやPerplexityBotなどのAI検索エンジンのクローラーは、合計233件、全体の1.1%でした。名前の挙がったAIツールのうち、最もリクエストが多かったのはGPTBotで、2番目がClaude Codeでした。GPTBotは、モデルのデータを集めるOpenAIのクローラー、Claude Codeは、Anthropicのプログラマー向けアシスタントです（Ahrefs、2026年6月15日）。
• Suganthan Mohanadasanは、エージェントにMarkdownを返すCloudflareの機能を有効にした後、44日間、Accept: text/markdownヘッダー付きのリクエストを記録しました。著者は1,421件と書いています（表の合計は1,373件）。そのうち639件はヘッドレスブラウザ、500件はAnthropicのインフラからのもの（著者によればClaudeBotではない）でした。表にGPTBotとPerplexityBotはありません（Suganthan Mohanadasan、2026年4月19日）。
• Otterlyは、14日間、HTMLのページと、フッターからリンクした別のURLにあるMarkdown版を比べました。HTMLのページにはAIクローラーが137回訪れ、Markdown版は0回でした。Markdown版のURLを引用したAIプラットフォームはありませんでした（Otterly、2026年4月1日更新）。

Ahrefsの調査はリクエストを計測したものであり、クローラーがファイルをどうしたかではありません。 GPTBotがllms.txtを取得したからといって、そのファイルがChatGPTの回答を変えるわけではありません。Ahrefsは、同社の顧客は、平均的なサイトよりも技術に強く、SEOを意識していると断り書きをしています。そのため、ウェブ全体でllms.txtのあるサイトの割合は、28%より低い可能性が高いです。

llms.txtの導入後、私のサイトのログには何が出ましたか？

導入後の10日間、既知のAIクローラーでllms.txtへのリクエストを送ったものはなく、Markdown版は、このファイルについて尋ねなかったクローラーが取得していました。 2026年10月8日に、rogala.proにllms.txtと各ページのMarkdown版を公開しました（導入日に114のURL）。アクセスログはホスティングから取得し、3種類のリクエストを数えています。llms.txt、index.md（各ページのURLとは別にあるMarkdown版）、そして通常のページのURLでのMarkdownの応答です。

通常のURLでのMarkdownの応答は間接的に見分けているので、その数は近似です。 ホスティングはAcceptヘッダーを記録しないため、Markdown版の既知のサイズと同じサイズの応答を探しています。内容を変えた後は古いサイズがわからないので、そうした応答の一部を見落とした可能性があります。サイズが偶然に一致することはありえますが、バイト単位で数えたサイズでは、可能性は低いです。

2026年10月8-17日の結果。私自身のリクエストを除いたものです。

• llms.txtへのリクエストは5件で、そのうち3件でファイルが取得されました。1回はSEOツールのクローラー、2回は携帯電話のブラウザと名乗る匿名のスキャナーでした。既知のAIクローラーで、このファイルをリクエストしたものはありません。
• index.mdファイルをリクエストしたのは、ClaudeBot（123件）、OAI-SearchBot（35件）、Applebot（27件）でした。ClaudeBotはAnthropicのインデックス用クローラーで、Ahrefsの調査にあるClaude Codeとは別のプログラムです。ホスティングは、ClaudeBotの34件のリクエストをステータスコード429、つまり「リクエストが多すぎる」で拒否したので、89件のリクエストでファイルが取得されました。
• 通常のURLでのMarkdownの応答を確認できたのは、ExaSearchBotの22件のリクエストだけで、主にトップページでした。ExaSearchBotは、AIアプリケーション向けの検索エンジンのクローラーです。
• Googlebotは、HTMLのページに169件のリクエストを送りましたが、Markdownの応答は確認できませんでした。ChatGPTのユーザーの依頼でページを取得するChatGPT-Userは、HTMLのページに8件のリクエストを送りました。

クローラーがどこからMarkdown版のURLを知ったのかは、ログからはわかりません。 この間、どれもllms.txtをリクエストしていません。HTMLページの<link rel="alternate">タグがMarkdown版のURLを示しているので、それが可能性のある経路ですが、唯一ではありません。また、取得したことは、クローラーが回答にそのバージョンを使ったことを意味しません。それには別の計測が必要です。

自分のテストは、クローラーのトラフィックと間違えやすいです。 10月17日の導入の確認で、私のスクリプトがGooglebotの識別子付きでMarkdownファイルを取得し、私のIPアドレスからの「Googlebot」のリクエストが115件になりました。自分のアドレスを除かなければ、ログにはGooglebotがMarkdownを取得したように見えたはずですが、本物のGooglebotがMarkdownを取得したことは確認していません。

llms.txtはいつ作る価値がありますか？

llms.txtが最も意味を持つのは、プログラマー向けのアシスタントがサイトを読む場合、つまりドキュメント、API、開発者向けのツールです。 APIとは、プログラムがデータをやり取りするインターフェースです。Ahrefsの調査では、Claude Codeは、ファイルのリクエスト数でGPTBotに次ぐAIツールでした。ドキュメントのURLを渡されたコードエディタのアシスタントは、ナビゲーションをたどるより、リンクの一覧から速く正しいページにたどり着けるかもしれません。

ショップやサービス業の会社にとって、llms.txtは安価な追加であり、AIからの流入を増やす方法ではありません。 ファイルが流入や引用を増やすという証拠は、私は知りません。作る前に、AIクローラーがそもそもサイトを取得できるかを確認してください。次に、JavaScriptを実行しなくても、コンテンツがHTMLに見えているかを確認します。2つの確認は、LLMO・GEO・AI SEOの記事で書きました。

クローラー向けのバージョンは、人間向けのページと同じ内容でなければならず、違ってよいのは形式だけです。 Googleは、クローキング、つまり検索エンジンにユーザーと違う内容を見せることを、スパムのポリシーで説明しています（Google Search Central）。同じ情報、価格、条件のMarkdown版は、同じページの別の形式ですが、内容や条件が違う版はリスクです。rogala.proでは、Markdown版を選ぶのは、クローラーの名前ではなくAcceptヘッダーです。Linkヘッダーでは、Markdown版は、HTMLページを、優先されるバージョンであるcanonicalのURLとして指します。

llms.txtはどう作りますか？

どのページが重要かがわかっているなら、ファイルは自分で作れます。

1. あなたの会社や製品について尋ねる人が知っておくべきページを選びます。サービス、料金、ドキュメント、お問い合わせ、最も重要な記事です。サイトマップ全体は貼りません。
2. 名前の見出しと、引用ブロックで1、2文の説明を書きます。説明は広告のキャッチコピーではなく、会社についての事実にします。モデルがページと比べることがあるからです。
3. リンクを第2レベルの見出しの下にまとめ、それぞれに、ページに何があるかを1文で書きます。
4. ファイルを、ドメインのルートに/llms.txtとして、UTF-8で保存します。URLがステータスコード200、つまり正常な応答と、プレーンテキストを返すことを確認してください。未知のURLにHTMLのページを表示するシステムもあるからです。システムがルートへのファイルのアップロードを許可しない場合は、ショップやホスティングの提供元に尋ねてください。
5. ファイルの情報が内容と一致するように、サイトと同じ元データからファイルを生成します。rogala.proでは、llms.txtは、サイトをビルドするたびに、HTMLと同じデータから作られます。

llms.txtジェネレーターで足りますか？

ジェネレーターはファイルの最初の版を作りますが、ページの選択と説明は手作業で確認する必要があります。 DataForSEOによると、ポーランドでは「llms txt generator」が月に約70回、アメリカでは「llms.txt generator」が約480回検索されています（12か月の中央値）。ジェネレーターがサイトマップや、クローラーによるサイトのスキャンからURLを取っている場合、あなたにとってどのページが重要かは知りません。公開する前に、5つのことを確認してください。

• ファイルに、見せたいページだけがあり、ログインページ、カート、作成中のページがないか。
• すべてのURLが動き、ステータスコード200を返すか。
• 説明が、ページの現在の内容、価格、サービスと一致しているか。
• ファイルに、サイトにない情報がないか。
• サイトを変更した後、ファイルがどう更新されるか。

クローラーがllms.txtを取得しているか確認するには？

答えはサーバーのログにあり、AI可視性のツールにはありません。 ホスティングのパネルから生のアクセスログを取得し、/llms.txtのURLとMarkdown版のURLを探します。リクエストごとに、ログにはIPアドレス、日時、ステータスコード、サイズ、そしてリクエストを送ったプログラムの名前、つまりUser-Agentが記録されます。

クローラーの名前は偽装できるので、重要なリクエストはIPアドレスで確認します。 OpenAIはクローラーのIPアドレスのリストを公開していて、私のログでは、OAI-SearchBotの4つのアドレスブロックのうち3つが、そのリストにありました。同じ理由で、自分のテストを差し引いています。私の確認用スクリプトがGooglebotと名乗っていたからです。

ホスティングはログを長く保存しないので、ログは定期的に取得してください。 私のホスティングはログを14日間保存するので、1か月分の計測をするために、数日おきにアーカイブを取得しています。AIの回答でのブランドの存在は、別に計測しています。その計測は、ブランドのAI可視性の記事で書きました。

llms.txtに関するよくある質問

何から始めればよいですか？

まずクローラーのアクセスから始めて、llms.txtは最後に加えてください。 /robots.txtを開き、AIクローラーのルールを確認します。次に、ここ数日のログを取得し、どのクローラーがサイトを訪れ、どのステータスコードを受け取っているかを見ます。ドキュメントや開発者向けの製品があるなら、llms.txtとMarkdown版をすぐに加えます。ショップやサービス業の会社では、llms.txtはこの2つの確認の後に加えるものです。一緒に進めたい場合は、お問い合わせからご連絡ください。