llms.txt 是什么？怎么做，AI 爬虫会读吗

llms.txt 文件只是一项提议，而不是标准：它是给语言模型和 AI 智能体看的，包含网站的说明和最重要网址的清单。 AI 智能体是替用户执行任务的程序，例如在文档里查找信息。Google 写道，它的搜索不使用这类文件。在 rogala.pro 上，我从 2026 年 10 月 8 日起有了 llms.txt，另外每个页面都有 Markdown 版本，并且在服务器日志里查看谁在抓取它们。上线之后的十天里，没有任何已知的 AI 爬虫发出过抓取 llms.txt 的请求。在这段时间里，抓取页面 Markdown 版本的，是自称 ClaudeBot、OAI-SearchBot 和 Applebot 的爬虫。

llms.txt 文件是什么？

llms.txt 是放在网站根目录下的文本文件，用几行文字描述网站，并指出最重要页面的网址。 它用 Markdown 来写，这是一种简单的文本格式：行首的 # 表示标题，链接的写法是 [标题](网址)。它由 Jeremy Howard 在 2024 年 9 月 3 日提出（llmstxt.org）。目的是让 AI 智能体无需逐一查看菜单和 HTML 代码，就能很快弄清网站由什么组成。2026 年 8 月，作者发布了第二版，基于两年来各网站使用这个文件所积累的经验。他仍然称它是一项欢迎反馈的开放提议，而不是已被采纳的标准。

llms.txt 不拦截任何东西，也不决定模型的训练。 robots.txt 文件向 AI 爬虫传达访问规则，但只对遵守它的爬虫起作用。访问也可以在服务器、防火墙和 CDN 的设置里限制，CDN 是中间代理服务器的网络。我在关于 SEO 审计的文章里，写了我怎么检查这一点。

llms.txt 与页面的 Markdown 版本有什么区别？

llms.txt 和页面的 Markdown 版本是两件不同的事，尽管 llmstxt.org 的提议同时描述了两者。 llms.txt 是针对整个网站或其一部分的一个文件，也就是最重要网址的清单，每个都带简短说明。Markdown 版本是一个页面的内容，用简单的格式，没有菜单、脚本和 HTML 代码。llms.txt 里的链接应该指向这样的版本，但两者各自都能在没有对方的情况下工作（llmstxt.org）。

爬虫可以通过三种方式找到 Markdown 版本，而 llmstxt.org 的提议描述了其中两种：

• 在固定的网址下。提议建议把 Markdown 版本放在页面网址加上 .md 的位置，例如 strona.html.md，对没有文件名的网址则用 index.md。
• 通过标记或标头。页面代码里的 <link rel="alternate" type="text/markdown"> 标记，指向 Markdown 版本。<link rel="describedby"> 标记，指向描述这个页面的 llms.txt 文件。提议的第二版也允许在 HTTP 的 Link 标头里，也就是服务器的响应里这样做（llmstxt.org）。
• 通过内容协商。程序发送 Accept: text/markdown 标头，也就是直接请求 Markdown，服务器在普通网址下返回 Markdown 而不是 HTML。llmstxt.org 的提议没有描述这种方式。例如 Cloudflare 的一项功能就是这样工作的，我在下文说明对它的测量。

在 rogala.pro 上，三种方式都有，而 llms.txt 是一个单独的文件，指向 Markdown 版本。 每个页面在自己的网址加 index.md 下，都有内容相同的 Markdown 版本。在页面代码里，rel="alternate" 标记指向这个版本，rel="describedby" 标记指向 llms.txt。对 Accept: text/markdown 标头，服务器在普通网址下返回 Markdown。从日志里可以看出这是两件独立的事：AI 爬虫抓取了 Markdown 版本，而没有任何已知的 AI 爬虫发出过抓取 llms.txt 的请求。2026 年 7 月，在我经手项目中检查过的 10 个域名中，我没有在任何一个里找到 Markdown 版本。

llms.txt 文件长什么样？

格式很简单：标题、简短的说明，以及按标题分组的链接列表。 唯一必需的元素是带网站名称的标题。提议这样描述元素的顺序（llmstxt.org）：

1. 一级标题，写网站或项目的名称，用 Markdown 写作 # 名称。
2. 引用块中的简短说明，也就是以 > 开头的一行。
3. 可选的背景段落，不带标题。
4. 带二级标题的部分（## 部分），每个部分里是 - [标题](网址): 说明 形式的链接列表。
5. 习惯上有一个名为“Optional”的部分，列出不那么重要的资料的链接。在第一版里，当整个文件超出智能体一次能处理的文本量时，智能体可以跳过它。第二版只把这个部分保留为一种习惯（llmstxt.org）。

服务类公司最简单的文件只有五行：

• # 示例会计事务所
• > 位于克拉科夫的会计事务所：自 2010 年起为个体经营者和公司提供记账服务。
• ## 服务
• - [价格](https://example.com/cennik/): 个体经营者和公司的记账价格
• - [联系方式](https://example.com/kontakt/): 事务所的地址、电话和工作时间

在 rogala.pro 上，这个文件的名称和说明用英语写，有一段关于 Markdown 版本的说明和三个部分。 “Profile”部分指向关于我的页面，“Blog”指向波兰语和英语的博客，“Optional”指向博客其余的 25 个语言版本。每个链接都指向页面的 Markdown 版本，冒号后面的说明，与页面描述标记（meta description）里的文字相同。2026 年 10 月，这个文件大约有 40 KB。

有些带文档的网站还会发布 llms-full.txt 文件，把全部内容放在一个文件里。 llmstxt.org 的提议没有描述这样的文件。Anthropic 文档中的 llms-full.txt 文件大约有 45 MB，Cloudflare 文档中的大约有 69 MB（2026 年 10 月 18 日核实）。

Allegro、Empik 和 Morele 的 llms.txt 文件是什么样的？

波兰的大型网店已经有了 llms.txt，但我检查的三个文件，没有一个完整地遵循这项提议。 Allegro、Empik 和 Morele 的文件，我是在 2026 年 10 月 18 日下载的。我按 llmstxt.org 的格式，以及本文所述的检查来评估它们。三个文件都指向普通的 HTML 页面，而不是 Markdown 版本。

Allegro 给智能体提供的实用信息最多，但把一部分结构写成了粗体，而不是标题。 文件有更新日期、首选的品牌名称、公司地址和联系表单。它还描述了搜索、筛选和后续结果页的网址规律，所以智能体可以自己拼出产品列表的网址。给模型的提示说，价格和库存要在产品页面上核对，并列出了已停止的项目的名称。“主要分类”和“其他页面与服务”这样的组，用的是粗体而不是 ## 标题。所以按格式读取文件的程序，会把服务清单归到关于筛选的部分里。链接的说明放在连字符后面，而不是冒号后面，13 个主要分类也没有说明。

Allegro 文件里的页面，对我的脚本返回了 403 代码，尽管文件本身下载没有问题。 脚本在 User-Agent 标头里给出了自己的名称和我网站的地址，我用它检查了文件中的前八个网址。我不知道 AI 爬虫是否得到同样的响应，因为只有 Allegro 的日志才能显示。这是对每个文件都值得做的检查：llms.txt 里的网址，能否被下载了这个文件的同一个程序下载。

Empik 最忠实地遵循格式，但品牌说明读起来像广告文字。 文件有一级标题、引用块里的说明、## 部分，以及冒号后带说明的链接列表。给模型的提示很具体：价格和库存要看产品页面，退货规则取决于卖家。品牌说明里有“领先的”和“备受喜爱的品牌”这样的措辞，而本文建议写事实，因为模型可以拿说明与网站对照。文件没有更新日期。标题和一部分标签是英语的，而其余部分是波兰语的。文件里的 35 个网址，有 34 个返回 200 代码，一个返回重定向。

Morele 有不错的分类和指南清单，但文件不符合格式，所以程序可能读不了它。 文件以一个不可见的 BOM 字符开头，第一行 #Morele.net 在 # 后面缺少空格。在 Markdown 里，这样的行不是标题，而带名称的标题是唯一必需的元素。文件没有引用块里的说明，而且有好几个一级标题。116 个网址里没有一个是 Markdown 链接，大多数写成了“名称 - 网址”的普通文字。分类旁边有标签列表和“最常见的查询”，也就是给模型看的关键词，还有广告文字。116 个网址中，113 个返回 200 代码，3 个重定向到新网址下的文章。

三个网站都没有给智能体提供页面的 Markdown 版本，所以读完文件之后，智能体还是要抓取完整的 HTML 页面。 Empik 和 Morele 对 Accept: text/markdown 标头返回 HTML，加了 .md 的网址返回 404 代码。Allegro 对同样的尝试返回了 403 代码。三个网站也都没有 rel="describedby" 标记，或 rel="alternate" type="text/markdown" 标记。

Google 会使用 llms.txt 吗？

不会：Google 写道，要出现在搜索中，不需要为 AI 创建文本文件或 Markdown 版本。 Google 关于针对 AI 功能做优化的指南补充说，搜索会忽略这类文件。所以它们既无助于可见度，也不会损害它（Google Search Central，2026 年 7 月 10 日更新）。据 Search Engine Land 对 2025 年 7 月 Search Central Live 大会的报道，Gary Illyes 说 Google 不支持 llms.txt（Search Engine Land）。

John Mueller 把 llms.txt 比作 keywords 元标记，也就是搜索引擎不使用的关键词标记。 2025 年 4 月，他在 Reddit 上写道，这个文件是网站所有者对网站内容的声明。AI 系统可以改为直接检查网站本身（Search Engine Journal）。他补充说，从服务器日志里可以看出，AI 服务甚至不检查这个文件是否存在。

Chrome 和 Google 搜索是两回事。 Lighthouse 是 Chrome 用来评估页面的工具，它有一个实验性的“Agentic Browsing”类别，其中检查域名根目录里是否有 llms.txt 等（Chrome for Developers）。这项检查评估的是网站为浏览器中的智能体所做的准备。它的结果不能说明任何有关在 Google 搜索中排名的事。

AI 爬虫会读 llms.txt 吗？

从现有数据看，AI 搜索引擎的爬虫很少抓取 llms.txt，而 GPTBot 和 Claude Code（程序员的助手）抓得更多。 我查阅过原始报告的三项研究，测量的是不同的东西：llms.txt 文件本身、通过 Accept 标头发送的 Markdown 版本，以及单独网址下的 Markdown。

• Ahrefs 分析了 2026 年 5 月其流量分析数据中的 137,210 个域名。其中 28% 有 llms.txt，而这些文件中有多达 97% 在 5 月份一次请求都没有收到。到达这些文件的请求里，有 96% 是爬虫发出的。AI 搜索引擎的爬虫，例如 OAI-SearchBot 和 PerplexityBot，合计发出 233 次请求，占全部的 1.1%。在有名称的 AI 工具中，发出请求最多的是 GPTBot，第二是 Claude Code。GPTBot 是 OpenAI 为模型收集数据的爬虫，而 Claude Code 是 Anthropic 公司的程序员助手（Ahrefs，2026 年 6 月 15 日）。
• Suganthan Mohanadasan 在 Cloudflare 里启用了向智能体提供 Markdown 的功能，之后用 44 天记录了带 Accept: text/markdown 标头的请求。作者给出 1,421 次请求（他的表格合计是 1,373）。其中 639 次来自无界面浏览器，500 次来自 Anthropic 的基础设施（据作者说不是 ClaudeBot）。表格里没有 GPTBot，也没有 PerplexityBot（Suganthan Mohanadasan，2026 年 4 月 19 日）。
• Otterly 用 14 天，对比了 HTML 页面和放在单独网址下、在页脚里加了链接的 Markdown 版本。HTML 页面有 137 次 AI 爬虫的访问，而 Markdown 版本为零。没有任何 AI 平台引用过 Markdown 网址（Otterly，2026 年 4 月 1 日更新）。

Ahrefs 的研究测量的是请求，而不是爬虫对文件做了什么。 GPTBot 抓取 llms.txt，并不意味着这个文件会改变 ChatGPT 的回答。Ahrefs 还提醒说，它的客户比一般网站更偏技术、更有 SEO 意识。所以在整个网络上，有 llms.txt 的网站占比，很可能低于 28%。

上线 llms.txt 之后，我网站的日志显示了什么？

上线之后的十天里，没有任何已知的 AI 爬虫发出抓取 llms.txt 的请求，而抓取 Markdown 版本的爬虫，并没有请求过这个文件。 2026 年 10 月 8 日，我在 rogala.pro 上发布了 llms.txt 和每个页面的 Markdown 版本（上线当天有 114 个网址）。访问日志我从主机上下载，并统计三类请求：抓取 llms.txt 的、抓取 index.md 文件的（也就是每个页面单独网址下的 Markdown 版本），以及抓取页面普通网址下 Markdown 响应的。

普通网址下的 Markdown 响应，我是间接识别的，所以它们的数量只是近似值。 主机不记录 Accept 标头，所以我找的是大小等于某个已知 Markdown 版本大小的响应。内容改动之后，我不知道旧的大小，所以可能漏掉了一部分这样的响应。大小碰巧一致是可能的，但在精确到字节的大小上，可能性很小。

2026 年 10 月 8 日至 17 日的结果，已扣除我自己的请求：

• 我记录到 5 次抓取 llms.txt 的请求，其中 3 次成功下载了文件。一次是 SEO 工具的爬虫，两次是自称手机浏览器的匿名扫描器。没有任何已知的 AI 爬虫发出过抓取这个文件的请求。
• 直接请求 index.md 文件的有 ClaudeBot（123）、OAI-SearchBot（35）和 Applebot（27）。ClaudeBot 是 Anthropic 的收录爬虫，与 Ahrefs 研究里的 Claude Code 是不同的程序。主机用 429 代码，也就是“请求过多”，拒绝了 ClaudeBot 的 34 次请求，所以 ClaudeBot 有 89 次请求成功下载了文件。
• 普通网址下的 Markdown 响应，我只在 ExaSearchBot 的 22 次请求里检测到，主要在首页上。ExaSearchBot 是面向 AI 应用的搜索引擎所用的爬虫。
• Googlebot 发出了 169 次抓取 HTML 页面的请求，我没有检测到对它的 Markdown 响应。ChatGPT-User 是应 ChatGPT 用户的请求抓取页面的，它发出了 8 次抓取 HTML 页面的请求。

日志没有显示，这些爬虫是从哪里知道 Markdown 版本的网址的。 这段时间里，它们没有一个发出过抓取 llms.txt 的请求。HTML 页面上的 <link rel="alternate"> 标记给出了 Markdown 版本的网址，所以这是一条可能的途径，但不是唯一的。下载也不能说明爬虫在回答里是否用了这个版本，这需要另外的测量。

我自己的测试很容易与爬虫的流量混淆。 10 月 17 日检查上线情况时，我的脚本以 Googlebot 的标识下载了 Markdown 文件，从我的 IP 地址产生了 115 次“Googlebot”的请求。如果不扣除我自己的地址，日志里就会显示 Googlebot 在抓取 Markdown，而我并没有检测到真正的 Googlebot 抓取 Markdown。

什么时候值得做 llms.txt？

llms.txt 在程序员的助手会读取网站的地方最有意义：文档、API 和面向开发者的工具。 API 是程序之间交换数据所用的接口。在 Ahrefs 的研究里，就请求这个文件的次数而言，Claude Code 是仅次于 GPTBot 的 AI 工具。代码编辑器里拿到文档网址的助手，可以从链接清单里比通过导航更快地找到正确的页面。

对网店或服务类公司，llms.txt 是便宜的附加项，而不是获得 AI 流量的办法。 我尚未见到证据表明这个文件能增加流量或引用。在做它之前，先检查 AI 爬虫到底能不能抓取你的网站。然后检查内容在不执行 JavaScript 的 HTML 里是否可见。这两项检查，我写在了关于 AI 排名优化的文章里。

给爬虫的版本，必须和给人看的页面内容相同，只能在格式上不同。 Google 在垃圾内容政策里描述了伪装（cloaking），也就是向搜索引擎展示与用户不同的内容（Google Search Central）。信息、价格和条件都相同的 Markdown 版本，只是同一个页面的另一种格式，而内容不同或条件不同的版本，则有风险。在 rogala.pro 上，选择 Markdown 版本的是 Accept 标头，而不是爬虫的名称。在 Link 标头里，Markdown 版本把 HTML 页面指定为规范网址，也就是页面的首选版本。

怎么做 llms.txt 文件？

如果你知道哪些页面重要，这个文件可以自己做：

1. 选出询问你的公司或产品的人应该了解的页面：服务、价格、文档、联系方式、最重要的文章。不要把整个站点地图贴进去。
2. 写一个带名称的标题，以及引用块里一两句话的说明。说明要陈述公司的事实，而不是广告口号，因为模型可以拿它与网站对照。
3. 把链接按二级标题分组，每个链接后面用一句话写这个页面上有什么。
4. 把文件以 /llms.txt 保存在域名的根目录下，用 UTF-8 编码。检查这个网址是否返回 200 代码，也就是正常的响应，以及普通文本，而不是某些系统在任何未知网址下都会显示的 HTML 页面。如果你的系统不允许把文件上传到根目录，请问网店或主机的提供方。
5. 用和网站相同的来源生成这个文件，让文件里的信息与内容一致。在 rogala.pro 上，每次构建网站时，llms.txt 都用与 HTML 相同的数据生成。

llms.txt 生成器够用吗？

生成器会准备一个初稿，但选哪些页面和写什么说明，要手动检查。 据 DataForSEO，在波兰，关键词“llms txt generator”每月大约有 70 次搜索，而在美国“llms.txt generator”大约有 480 次（12 个月的中位数）。如果生成器从站点地图或用爬虫扫描网站来获取网址，它并不知道哪些页面对你重要。发布之前，检查五件事：

• 文件里是否只有你想展示的页面，没有登录页、购物车页和建设中的页面；
• 每个网址是否都能访问，并返回 200 代码；
• 说明是否与页面当前的内容、价格和服务一致；
• 文件里的信息是否都能在网站上找到；
• 网站改动之后，文件怎么更新。

怎么检查爬虫是否在抓取 llms.txt？

答案在服务器日志里，而不在 AI 可见度工具里。 从主机后台下载原始访问日志，在里面搜索 /llms.txt 网址和 Markdown 版本的网址。对每个请求，日志会记录 IP 地址、日期、响应代码、大小，以及发出请求的程序的名称，也就是 User-Agent。

爬虫的名称可以伪造，所以对重要的请求，我按 IP 地址核对。 OpenAI 公布了它的爬虫的地址列表，而在我的日志里，OAI-SearchBot 的 4 个地址段中有 3 个在这个列表上。出于同样的原因，我扣除自己的测试，因为我的检查脚本冒充过 Googlebot。

日志要定期下载，因为主机保存日志的时间不长。 我的主机只保存日志 14 天，所以为了有一个月的测量，我每隔几天就下载一次存档。品牌在 AI 回答中的出现情况，我另外测量。我在关于品牌的 AI 可见度的文章里写了这项测量。

关于 llms.txt 的常见问题

从哪里开始？

先从爬虫的访问开始，llms.txt 放到最后再加。 打开 /robots.txt，检查针对 AI 爬虫的规则。然后下载最近几天的日志，看看哪些爬虫访问了网站，响应代码是什么。如果你有文档或面向开发者的产品，就马上添加 llms.txt 和 Markdown 版本。在网店或服务类公司里，llms.txt 是做完这两项检查之后的附加项。如果你想一起做，请通过联系页面写信给我。