llms.txt 是什麼？怎麼做，以及 AI 爬蟲到底讀不讀

llms.txt 檔案只是一項提案，不是標準：它為語言模型與 AI 代理程式，描述網站並列出最重要的網址。 AI 代理程式是替使用者執行工作的程式，例如在技術文件中查找資訊。Google 寫道，它的搜尋不使用這類檔案。從 2026 年 10 月 8 日起，rogala.pro 有 llms.txt，另外每個頁面也有 Markdown 版本，我在伺服器日誌中檢查誰下載了它們。上線後的十天，沒有任何已知的 AI 爬蟲對 llms.txt 送出請求。在這段期間，自稱是 ClaudeBot、OAI-SearchBot 與 Applebot 的爬蟲，抓取了頁面的 Markdown 版本。

llms.txt 是什麼？

llms.txt 是放在網站根目錄的文字檔，用幾行字描述網站，並指出最重要頁面的網址。 它用 Markdown 寫成，這是一種簡單的文字格式：行首的 # 符號建立標題，連結的格式是 [標題](網址)。它由 Jeremy Howard 在 2024 年 9 月 3 日提出（llmstxt.org）。目的是讓 AI 代理程式不必經過選單與 HTML 程式碼，就能快速理解網站由什麼組成。2026 年 8 月，作者發布了第二版，依據的是兩年來網站使用這個檔案的經驗。他仍然稱它為開放徵求意見的提案，而不是已被採用的標準。

llms.txt 不封鎖任何東西，也不決定模型的訓練。 robots.txt 把存取規則告訴 AI 爬蟲，但只對遵守它的爬蟲有效。存取也可以在伺服器、防火牆與 CDN 的設定中限制，CDN 是中介的伺服器網路。在談 SEO 網站健檢的文章中，我說明了我怎麼檢查。

llms.txt 和頁面的 Markdown 版本有什麼不同？

llms.txt 和頁面的 Markdown 版本是兩件不同的事，雖然 llmstxt.org 的提案兩者都有描述。 llms.txt 是整個網站或其一部分的單一檔案，也就是最重要網址的目錄，附簡短說明。Markdown 版本則是單一頁面的內容，以簡單格式呈現，沒有選單、腳本與 HTML 程式碼。llms.txt 中的連結應該指向這樣的版本，但兩者各自都可以獨立運作（llmstxt.org）。

爬蟲可以用三種方式找到 Markdown 版本，而 llmstxt.org 的提案描述了其中兩種：

• 固定的網址。提案建議把 Markdown 版本放在頁面網址後加 .md 的位置，例如 strona.html.md，沒有檔名的網址則是 index.md。
• 透過標記或標頭。頁面程式碼中的 <link rel="alternate" type="text/markdown"> 標記指向 Markdown 版本。<link rel="describedby"> 標記指向描述這個頁面的 llms.txt 檔案。提案的第二版也允許在 HTTP 的 Link 標頭中，也就是伺服器的回應中，做同樣的事（llmstxt.org）。
• 透過內容協商。程式送出 Accept: text/markdown 標頭，也就是直接要求 Markdown，而伺服器在一般網址上回傳 Markdown，而不是 HTML。llmstxt.org 的提案沒有描述這種方式。例如 Cloudflare 的某項功能就是這樣運作，我在下面描述它的量測。

在 rogala.pro 上，三種方式都有，而 llms.txt 是另一個獨立的檔案，它指向 Markdown 版本。 每個頁面都有 Markdown 版本，內容相同，放在自己網址後加 index.md 的位置。在頁面程式碼中，rel="alternate" 標記指向這個版本，rel="describedby" 標記指向 llms.txt。對於 Accept: text/markdown 標頭，伺服器在一般網址上回傳 Markdown。日誌顯示這是兩件獨立的事：AI 爬蟲抓取了 Markdown 版本，但沒有任何已知的 AI 爬蟲對 llms.txt 送出請求。2026 年 7 月，我在作品組合中檢查的 10 個網域，沒有一個有 Markdown 版本。

llms.txt 檔案長什麼樣子？

格式很簡單：標題、簡短說明，以及依標題分組的連結清單。 唯一必要的元素是帶有網站名稱的標題。提案這樣描述元素的順序（llmstxt.org）：

1. 第一級標題，寫網站或專案的名稱，在 Markdown 中是 # 名稱。
2. 引用區塊中的簡短說明，也就是以 > 開頭的一行。
3. 選用的背景段落，沒有標題。
4. 第二級標題的區段（## 區段），每個區段中有格式為 - [標題](網址): 說明 的連結清單。
5. 慣例上有一個名為「Optional」的區段，放不太重要的資料連結。在第一版中，當整個檔案超過代理程式一次能處理的文字量時，它可以略過這個區段。第二版只把這個區段保留為一種慣例（llmstxt.org）。

服務型公司最簡單的檔案有五行：

• # 範例會計事務所
• > 位於台北的會計事務所：自 2010 年起為個人工作室與公司提供記帳服務。
• ## 服務
• - [費用](https://example.com/cennik/): 個人工作室與公司的記帳費用
• - [聯絡](https://example.com/kontakt/): 事務所的地址、電話與營業時間

在 rogala.pro 上，檔案的名稱與說明是英文，有一段關於 Markdown 版本的文字和三個區段。 「Profile」區段連到關於我的頁面，「Blog」連到波蘭文與英文的部落格，「Optional」連到部落格其餘 25 個語言版本。每個連結都指向頁面的 Markdown 版本，冒號後的說明，和頁面描述標籤（meta description）中的文字相同。2026 年 10 月，這個檔案約 40 KB。

有些文件網站還發布 llms-full.txt 檔案，把全部內容放在一個檔案中。 llmstxt.org 的提案沒有描述這樣的檔案。Anthropic 文件的 llms-full.txt 約 45 MB，Cloudflare 文件的約 69 MB（2026 年 10 月 18 日查證）。

Allegro、Empik 與 Morele 的 llms.txt 檔案長什麼樣子？

波蘭的大型商店已經有 llms.txt，但我檢查的三個檔案，沒有一個完整套用提案。 Allegro、Empik 與 Morele 的檔案，我在 2026 年 10 月 18 日下載。我依 llmstxt.org 的格式，以及本文描述的檢查來評估它們。三個都連到一般的 HTML 頁面，而不是 Markdown 版本。

Allegro 給代理程式最多實用資訊，但有一部分結構用粗體而不是標題來寫。 檔案有更新日期、偏好的品牌名稱、公司地址與聯絡表單。它也描述了搜尋、篩選與後續結果頁的網址格式，所以代理程式可以自己組出商品清單的網址。給模型的提示說，價格與庫存要在商品頁確認，並列出已停止的方案名稱。像「Główne kategorie」（主要分類）與「Pozostałe strony i usługi」（其他頁面與服務）這樣的群組，用的是粗體而不是 ## 標題。依格式讀檔案的程式，會把服務清單歸到關於篩選的區段。連結的說明放在破折號後面，而不是冒號後面，而 13 個主要分類沒有說明。

Allegro 檔案中的頁面，對我的腳本回傳了 403 代碼，但檔案本身下載沒有問題。 腳本在 User-Agent 標頭中寫的是自己的名稱和我網站的位址，我用它檢查了檔案中的前八個網址。我不知道 AI 爬蟲是不是得到同樣的回應，因為只有 Allegro 的日誌看得出來。這是每個檔案都值得做的檢查的例子：llms.txt 中的網址，能不能被抓取檔案的同一個程式抓到。

Empik 最忠實遵守格式，但品牌的說明讀起來像廣告文案。 檔案有第一級標題、引用區塊中的說明、## 區段，以及冒號後附說明的連結清單。給模型的提示很具體：價格與庫存要從商品頁取得，退貨規則取決於賣家。品牌說明中有「wiodąca」（領先的）與「Uwielbiana marka」（受人喜愛的品牌）這類說法，而本文建議寫事實，因為模型可以拿說明和網站對照。檔案沒有更新日期。標題與一部分標籤是英文，其餘是波蘭文。檔案中的 35 個網址，有 34 個回應 200 代碼，一個是轉址。

Morele 有不錯的分類與教學清單，但檔案不符合格式，所以程式可能讀不出來。 檔案開頭有一個看不見的 BOM 字元，而第一行 #Morele.net 在 # 符號後缺少空格。在 Markdown 中，這樣的一行不是標題，而帶有名稱的標題是唯一必要的元素。檔案沒有引用區塊中的說明，並有好幾個第一級標題。116 個網址中沒有一個是 Markdown 連結，大多數寫成「名稱 - 網址」的一般文字。分類旁有標籤清單和「najczęstszych zapytań」（最常見的查詢，也就是給模型的關鍵字），以及廣告文字。116 個網址中，113 個回應 200 代碼，3 個轉址到新網址的文章。

三個網站都沒有給代理程式頁面的 Markdown 版本，所以讀完檔案後，代理程式還是要抓取完整的 HTML 頁面。 對於 Accept: text/markdown 標頭，Empik 與 Morele 回傳 HTML，而加上 .md 的網址回傳 404 代碼。Allegro 對同樣的嘗試回應 403 代碼。三個網站也都沒有 rel="describedby" 或 rel="alternate" type="text/markdown" 標記。

Google 有使用 llms.txt 嗎？

沒有：Google 寫道，要出現在搜尋中，不需要建立給 AI 的文字檔，也不需要 Markdown 版本。 Google 談針對 AI 功能最佳化的指南補充說，搜尋會略過這類檔案。所以它們既不幫助能見度，也不損害能見度（Google Search Central，2026 年 7 月 10 日更新）。依 Search Engine Land 對 2025 年 7 月 Search Central Live 大會的報導，Gary Illyes 說 Google 不支援 llms.txt（Search Engine Land）。

John Mueller 把 llms.txt 比作 keywords 標籤，也就是搜尋引擎不使用的關鍵字標記。 2025 年 4 月，他在 Reddit 上寫道，這個檔案是網站擁有者對網站內容的聲明。AI 系統也可以直接檢查網站本身（Search Engine Journal）。他補充說，從伺服器日誌看得出，AI 服務甚至不會檢查這個檔案是否存在。

Chrome 與 Google 搜尋是兩件不同的事。 Lighthouse 是 Chrome 評估網站的工具，它有一個實驗性的「Agentic Browsing」類別，檢查項目包括網域根目錄有沒有 llms.txt（Chrome for Developers）。這項檢查評估的是網站對瀏覽器中代理程式的準備程度。它的結果，對 Google 搜尋的排名沒有任何說明。

AI 爬蟲會讀 llms.txt 嗎？

從現有的數據看來，AI 搜尋引擎的爬蟲很少抓取 llms.txt，比較常抓取的是 GPTBot 與 Claude Code，後者是開發者的助理。 我在原始出處查證過的三項研究，量測的是不同的東西：llms.txt 檔案本身、透過 Accept 標頭送出的 Markdown 版本，以及獨立網址上的 Markdown。

• Ahrefs 分析了 2026 年 5 月其流量分析中的 137,210 個網域。其中 28% 有 llms.txt，而這些檔案中有高達 97% 在 5 月沒有收到任何一次請求。到達這些檔案的請求，96% 是爬蟲送出的。AI 搜尋引擎的爬蟲，例如 OAI-SearchBot 與 PerplexityBot，合計送出 233 個請求，占全部請求的 1.1%。在有名稱的 AI 工具中，GPTBot 送出的請求最多，Claude Code 第二。GPTBot 是 OpenAI 蒐集模型數據的爬蟲，而 Claude Code 是 Anthropic 公司的開發者助理（Ahrefs，2026 年 6 月 15 日）。
• Suganthan Mohanadasan 在 Cloudflare 開啟了向代理程式提供 Markdown 的功能之後，連續 44 天記錄帶有 Accept: text/markdown 標頭的請求。作者給出 1,421 個請求（他的表格加總是 1,373）。其中 639 個由無介面的瀏覽器送出，500 個來自 Anthropic 的基礎設施（依作者所說不是 ClaudeBot）。表格中沒有 GPTBot 與 PerplexityBot（Suganthan Mohanadasan，2026 年 4 月 19 日）。
• Otterly 連續 14 天，比較 HTML 頁面和它們放在獨立網址、並在頁尾連結的 Markdown 版本。HTML 頁面有 137 次 AI 爬蟲造訪，Markdown 版本是零。沒有任何 AI 平台引用過 Markdown 網址（Otterly，2026 年 4 月 1 日更新）。

Ahrefs 的研究量測的是請求，而不是爬蟲對檔案做了什麼。 GPTBot 抓取 llms.txt，不代表這個檔案會改變 ChatGPT 的回答。Ahrefs 也說明，它的客戶比一般網站更偏技術、更有 SEO 意識。所以在整個網路上，有 llms.txt 的網站比例，很可能低於 28%。

上線 llms.txt 之後，我網站的日誌顯示了什麼？

上線後的十天，沒有任何已知的 AI 爬蟲對 llms.txt 送出請求，而抓取 Markdown 版本的是沒有詢問這個檔案的爬蟲。 2026 年 10 月 8 日，我在 rogala.pro 發布了 llms.txt，以及每個頁面的 Markdown 版本（上線當天有 114 個網址）。存取日誌我從主機取得，並計算三種請求：對 llms.txt 的、對 index.md 檔案的（也就是每個頁面獨立網址上的 Markdown 版本），以及對頁面一般網址上 Markdown 回應的。

一般網址上的 Markdown 回應，我是間接辨認的，所以它們的數量只是近似值。 主機沒有記錄 Accept 標頭，所以我尋找回應大小等於某個已知 Markdown 版本大小的回應。內容改動之後，我不知道舊的大小，所以有一部分這樣的回應我可能漏掉了。大小剛好巧合是有可能的，但在精確到位元組的大小下，機率很小。

2026 年 10 月 8-17 日的結果，已扣除我自己的請求：

• 我記錄到 5 個對 llms.txt 的請求，其中 3 個成功下載了檔案。一次是 SEO 工具的爬蟲，兩次是自稱手機瀏覽器的匿名掃描程式。沒有任何已知的 AI 爬蟲對這個檔案送出請求。
• 直接對 index.md 檔案送出請求的有 ClaudeBot（123 個）、OAI-SearchBot（35 個）與 Applebot（27 個）。ClaudeBot 是 Anthropic 的索引爬蟲，和 Ahrefs 研究中的 Claude Code 是不同的程式。主機以 429 代碼，也就是「請求過多」，拒絕了 34 個 ClaudeBot 的請求，所以有 89 個 ClaudeBot 的請求成功下載了檔案。
• 一般網址上的 Markdown 回應，我只在 ExaSearchBot 的 22 個請求中偵測到，主要在首頁。ExaSearchBot 是給 AI 應用程式使用的搜尋引擎爬蟲。
• Googlebot 送出 169 個對 HTML 頁面的請求，我沒有偵測到給它的 Markdown 回應。ChatGPT-User 是依 ChatGPT 使用者的要求抓取頁面的爬蟲，它送出了 8 個對 HTML 頁面的請求。

日誌看不出爬蟲從哪裡得知 Markdown 版本的網址。 這段期間，它們沒有任何一個對 llms.txt 送出請求。HTML 頁面上的 <link rel="alternate"> 標記給出了 Markdown 版本的網址，所以這是一條可能的路，但不是唯一的。下載也不能說明爬蟲有沒有在回答中使用這個版本，這需要另外的量測。

自己的測試很容易和爬蟲的流量搞混。 10 月 17 日檢查上線時，我的腳本用 Googlebot 的識別碼下載了 Markdown 檔案，從我自己的 IP 位址產生了 115 個「Googlebot」的請求。如果不扣除我自己的位址，日誌中就會出現 Googlebot 抓取 Markdown，但我沒有偵測到真正的 Googlebot 抓取 Markdown。

什麼時候值得做 llms.txt？

llms.txt 最有意義的地方，是在由開發者的助理閱讀網站的情況：技術文件、API 與開發者工具。 API 是程式之間交換資料的介面。在 Ahrefs 的研究中，以對檔案的請求數來看，Claude Code 是僅次於 GPTBot 的 AI 工具。程式編輯器中的助理拿到文件的網址後，可以從連結清單比透過導覽更快找到正確的頁面。

對商店或服務型公司而言，llms.txt 是便宜的附加項目，而不是帶來 AI 流量的方法。 我不知道有證據顯示這個檔案會增加流量或引用。在做之前，先檢查 AI 爬蟲到底抓不抓得到你的網站。然後檢查內容在不執行 JavaScript 的 HTML 中看不看得到。這兩項檢查，我寫在談 GEO 與 AI SEO的文章中。

給爬蟲的版本必須和給人看的頁面有相同的內容，只有格式可以不同。 Google 在垃圾內容政策中描述了偽裝（cloaking），也就是對搜尋引擎顯示和使用者不同的內容（Google Search Central）。Markdown 版本有相同的資訊、價格與條件，只是同一個頁面的不同格式，而內容或條件不同的版本則有風險。在 rogala.pro 上，Markdown 版本由 Accept 標頭決定，而不是爬蟲的名稱。在 Link 標頭中，Markdown 版本把 HTML 頁面指為標準網址，也就是偏好的頁面版本。

怎麼做 llms.txt 檔案？

如果你知道哪些頁面重要，可以自己做這個檔案：

1. 選出詢問你公司或產品的人應該認識的頁面：服務、費用、技術文件、聯絡方式、最重要的文章。不要貼上整份網站地圖。
2. 寫一個帶有名稱的標題，以及引用區塊中一兩句說明。說明要寫公司的事實，而不是廣告口號，因為模型可以拿它和網站對照。
3. 在第二級標題下把連結分組，每個連結都用一句話說明頁面上有什麼。
4. 把檔案存成網域根目錄中的 /llms.txt，編碼用 UTF-8。檢查網址回傳 200 代碼，也就是正確的回應，並且是純文字，而不是某些系統在每個不存在的網址上顯示的 HTML 頁面。如果你的系統不允許把檔案放到根目錄，請詢問商店或主機的供應商。
5. 檔案和網站使用同一個來源產生，讓檔案中的資訊和內容一致。在 rogala.pro 上，llms.txt 在每次建置網站時，用和 HTML 相同的數據產生。

llms.txt 生成器夠用嗎？

生成器會準備檔案的初稿，但頁面的選擇與說明必須手動檢查。 依 DataForSEO，在波蘭，「llms txt generator」（意思是「llms txt 生成器」）每月約有 70 次搜尋，而在美國，「llms.txt generator」約有 480 次（12 個月的中位數）。如果生成器從網站地圖或爬蟲掃描網站取得網址，它不知道哪些頁面對你重要。發布之前，檢查五件事：

• 檔案中是否只有你想展示的頁面，沒有登入頁、購物車與施工中的頁面；
• 每個網址是否都正常運作並回傳 200 代碼；
• 說明是否符合頁面目前的內容、價格與服務；
• 檔案中是否沒有網站上沒有的資訊；
• 網站改動之後，檔案怎麼更新。

怎麼檢查爬蟲有沒有下載 llms.txt？

答案在伺服器日誌裡，而不在 AI 能見度工具中。 從主機的後台下載原始存取日誌，在其中搜尋 /llms.txt 網址與 Markdown 版本的網址。每個請求，日誌都會記錄 IP 位址、日期、回應代碼、大小，以及送出請求的程式名稱，也就是 User-Agent。

爬蟲的名稱可以偽造，所以比較重要的請求，我用 IP 位址檢查。 OpenAI 公布了它的爬蟲位址清單，而在我的日誌中，OAI-SearchBot 的 4 個位址區段中，有 3 個在這份清單上。出於同樣的原因，我會扣除自己的測試，因為我的檢查腳本曾經冒用 Googlebot 的名稱。

日誌要定期下載，因為主機不會保存很久。 我的主機保存日誌 14 天，所以為了有一個月的量測，我每隔幾天下載一次壓縮檔。品牌在 AI 回答中的出現，我另外量測。這項量測，我寫在談品牌在 AI 的能見度的文章中。

關於 llms.txt 的常見問題

要從哪裡開始？

先從爬蟲的存取開始，llms.txt 放到最後再加。 打開 /robots.txt，檢查 AI 爬蟲的規則。然後下載最近幾天的日誌，看哪些爬蟲造訪網站、回應代碼是什麼。如果你有技術文件或給開發者的產品，就立刻加上 llms.txt 與 Markdown 版本。對商店或服務型公司來說，llms.txt 是做完這兩項檢查之後的附加項目。如果你想一起做，歡迎透過聯絡寫信給我。