---
title: "llms.txt 是什么？值得做吗？来自服务器日志的数据 - Łukasz Rogala"
description: "我介绍 llms.txt 的含义、文件格式、Google 和 AI 爬虫是否使用它、什么时候值得做，以及我的网站在上线这个文件之后的十天里，服务器日志显示了什么。"
url: "https://rogala.pro/zh-hans/blog/llms-txt-shi-shenme/"
language: "zh-Hans"
author: "Łukasz Rogala"
published: "2026-10-18T12:00:00+02:00"
modified: "2026-10-18T12:16:57+02:00"
---

[博客](https://rogala.pro/zh-hans/blog/)

# llms.txt 是什么？怎么做，AI 爬虫会读吗

[Łukasz Rogala](https://rogala.pro/zh-hans/#about) · 2026年10月18日 · 阅读时间 21 分钟

**llms.txt 文件只是一项提议，而不是标准：它是给语言模型和 AI 智能体看的，包含网站的说明和最重要网址的清单。** AI 智能体是替用户执行任务的程序，例如在文档里查找信息。Google 写道，它的搜索不使用这类文件。在 rogala.pro 上，我从 2026 年 10 月 8 日起有了 llms.txt，另外每个页面都有 Markdown 版本，并且在服务器日志里查看谁在抓取它们。上线之后的十天里，没有任何已知的 AI 爬虫发出过抓取 llms.txt 的请求。在这段时间里，抓取页面 Markdown 版本的，是自称 ClaudeBot、OAI-SearchBot 和 Applebot 的爬虫。

**本文中我自己的数据，来自 rogala.pro 服务器的原始日志，涉及 2026 年 10 月 8 日至 17 日，也就是上线之后的十天。** 我按爬虫在请求中给出的名称（User-Agent）来统计请求，包括服务器拒绝的那些。这个名称可以伪造，而我只对一部分爬虫核对了 IP 地址。数字不含我自己的请求。普通网址下的 Markdown 响应，我是按大小识别的，所以它们的数量只是近似值。测量持续到 2026 年 11 月 8 日，完整读数之后我会更新数字。这只是一个小网站和十天的数据，所以它显示的是谁在请求这些文件，而不是这些文件是否有助于可见度。

## llms.txt 文件是什么？

**llms.txt 是放在网站根目录下的文本文件，用几行文字描述网站，并指出最重要页面的网址。** 它用 Markdown 来写，这是一种简单的文本格式：行首的 `#` 表示标题，链接的写法是 `[标题](网址)`。它由 Jeremy Howard 在 2024 年 9 月 3 日提出（llmstxt.org）。目的是让 AI 智能体无需逐一查看菜单和 HTML 代码，就能很快弄清网站由什么组成。2026 年 8 月，作者发布了第二版，基于两年来各网站使用这个文件所积累的经验。他仍然称它是一项欢迎反馈的开放提议，而不是已被采纳的标准。

| 文件 | 用途 | 谁来读 | 是否拦截什么 |
|---|---|---|---|
| robots.txt | 规定爬虫可以抓取哪些网址的规则 | 搜索引擎的爬虫，以及声明会遵守它的 AI 爬虫 | 会，针对遵守它的爬虫 |
| 站点地图（sitemap.xml） | 供收录的网址，通常带最后修改日期 | 搜索引擎 | 不会 |
| llms.txt | 用 Markdown 写的网站说明和选出的网址 | AI 爬虫和面向开发者的工具；AI 搜索引擎的爬虫很少 | 不会 |
| 页面的 Markdown 版本（例如 index.md） | 一个页面的内容，用简单的格式，没有菜单和 HTML 代码 | AI 爬虫和智能体；在我的日志里有 ClaudeBot 和 OAI-SearchBot 等 | 不会 |

**llms.txt 不拦截任何东西，也不决定模型的训练。** robots.txt 文件向 AI 爬虫传达访问规则，但只对遵守它的爬虫起作用。访问也可以在服务器、防火墙和 CDN 的设置里限制，CDN 是中间代理服务器的网络。我在关于 [SEO 审计](https://rogala.pro/zh-hans/blog/seo-audit-zenme-zuo/)的文章里，写了我怎么检查这一点。

## llms.txt 与页面的 Markdown 版本有什么区别？

**llms.txt 和页面的 Markdown 版本是两件不同的事，尽管 llmstxt.org 的提议同时描述了两者。** llms.txt 是针对整个网站或其一部分的一个文件，也就是最重要网址的清单，每个都带简短说明。Markdown 版本是一个页面的内容，用简单的格式，没有菜单、脚本和 HTML 代码。llms.txt 里的链接应该指向这样的版本，但两者各自都能在没有对方的情况下工作（llmstxt.org）。

**爬虫可以通过三种方式找到 Markdown 版本，而 llmstxt.org 的提议描述了其中两种：**

- 在固定的网址下。提议建议把 Markdown 版本放在页面网址加上 `.md` 的位置，例如 `strona.html.md`，对没有文件名的网址则用 `index.md`。
- 通过标记或标头。页面代码里的 `<link rel="alternate" type="text/markdown">` 标记，指向 Markdown 版本。`<link rel="describedby">` 标记，指向描述这个页面的 llms.txt 文件。提议的第二版也允许在 HTTP 的 `Link` 标头里，也就是服务器的响应里这样做（llmstxt.org）。
- 通过内容协商。程序发送 `Accept: text/markdown` 标头，也就是直接请求 Markdown，服务器在普通网址下返回 Markdown 而不是 HTML。llmstxt.org 的提议没有描述这种方式。例如 Cloudflare 的一项功能就是这样工作的，我在下文说明对它的测量。

**在 rogala.pro 上，三种方式都有，而 llms.txt 是一个单独的文件，指向 Markdown 版本。** 每个页面在自己的网址加 `index.md` 下，都有内容相同的 Markdown 版本。在页面代码里，`rel="alternate"` 标记指向这个版本，`rel="describedby"` 标记指向 llms.txt。对 `Accept: text/markdown` 标头，服务器在普通网址下返回 Markdown。从日志里可以看出这是两件独立的事：AI 爬虫抓取了 Markdown 版本，而没有任何已知的 AI 爬虫发出过抓取 llms.txt 的请求。2026 年 7 月，在我经手项目中检查过的 10 个域名中，我没有在任何一个里找到 Markdown 版本。

## llms.txt 文件长什么样？

**格式很简单：标题、简短的说明，以及按标题分组的链接列表。** 唯一必需的元素是带网站名称的标题。提议这样描述元素的顺序（llmstxt.org）：

1. 一级标题，写网站或项目的名称，用 Markdown 写作 `# 名称`。
2. 引用块中的简短说明，也就是以 `>` 开头的一行。
3. 可选的背景段落，不带标题。
4. 带二级标题的部分（`## 部分`），每个部分里是 `- [标题](网址): 说明` 形式的链接列表。
5. 习惯上有一个名为“Optional”的部分，列出不那么重要的资料的链接。在第一版里，当整个文件超出智能体一次能处理的文本量时，智能体可以跳过它。第二版只把这个部分保留为一种习惯（llmstxt.org）。

**服务类公司最简单的文件只有五行：**

- `# 示例会计事务所`
- `> 位于克拉科夫的会计事务所：自 2010 年起为个体经营者和公司提供记账服务。`
- `## 服务`
- `- [价格](https://example.com/cennik/): 个体经营者和公司的记账价格`
- `- [联系方式](https://example.com/kontakt/): 事务所的地址、电话和工作时间`

**在 rogala.pro 上，这个文件的名称和说明用英语写，有一段关于 Markdown 版本的说明和三个部分。** “Profile”部分指向关于我的页面，“Blog”指向波兰语和英语的博客，“Optional”指向博客其余的 25 个语言版本。每个链接都指向页面的 Markdown 版本，冒号后面的说明，与页面描述标记（meta description）里的文字相同。2026 年 10 月，这个文件大约有 40 KB。

**有些带文档的网站还会发布 llms-full.txt 文件，把全部内容放在一个文件里。** llmstxt.org 的提议没有描述这样的文件。Anthropic 文档中的 llms-full.txt 文件大约有 45 MB，Cloudflare 文档中的大约有 69 MB（2026 年 10 月 18 日核实）。

## Allegro、Empik 和 Morele 的 llms.txt 文件是什么样的？

**波兰的大型网店已经有了 llms.txt，但我检查的三个文件，没有一个完整地遵循这项提议。** Allegro、Empik 和 Morele 的文件，我是在 2026 年 10 月 18 日下载的。我按 llmstxt.org 的格式，以及本文所述的检查来评估它们。三个文件都指向普通的 HTML 页面，而不是 Markdown 版本。

**Allegro 给智能体提供的实用信息最多，但把一部分结构写成了粗体，而不是标题。** 文件有更新日期、首选的品牌名称、公司地址和联系表单。它还描述了搜索、筛选和后续结果页的网址规律，所以智能体可以自己拼出产品列表的网址。给模型的提示说，价格和库存要在产品页面上核对，并列出了已停止的项目的名称。“主要分类”和“其他页面与服务”这样的组，用的是粗体而不是 `##` 标题。所以按格式读取文件的程序，会把服务清单归到关于筛选的部分里。链接的说明放在连字符后面，而不是冒号后面，13 个主要分类也没有说明。

**Allegro 文件里的页面，对我的脚本返回了 403 代码，尽管文件本身下载没有问题。** 脚本在 User-Agent 标头里给出了自己的名称和我网站的地址，我用它检查了文件中的前八个网址。我不知道 AI 爬虫是否得到同样的响应，因为只有 Allegro 的日志才能显示。这是对每个文件都值得做的检查：llms.txt 里的网址，能否被下载了这个文件的同一个程序下载。

**Empik 最忠实地遵循格式，但品牌说明读起来像广告文字。** 文件有一级标题、引用块里的说明、`##` 部分，以及冒号后带说明的链接列表。给模型的提示很具体：价格和库存要看产品页面，退货规则取决于卖家。品牌说明里有“领先的”和“备受喜爱的品牌”这样的措辞，而本文建议写事实，因为模型可以拿说明与网站对照。文件没有更新日期。标题和一部分标签是英语的，而其余部分是波兰语的。文件里的 35 个网址，有 34 个返回 200 代码，一个返回重定向。

**Morele 有不错的分类和指南清单，但文件不符合格式，所以程序可能读不了它。** 文件以一个不可见的 BOM 字符开头，第一行 `#Morele.net` 在 `#` 后面缺少空格。在 Markdown 里，这样的行不是标题，而带名称的标题是唯一必需的元素。文件没有引用块里的说明，而且有好几个一级标题。116 个网址里没有一个是 Markdown 链接，大多数写成了“名称 - 网址”的普通文字。分类旁边有标签列表和“最常见的查询”，也就是给模型看的关键词，还有广告文字。116 个网址中，113 个返回 200 代码，3 个重定向到新网址下的文章。

**三个网站都没有给智能体提供页面的 Markdown 版本，所以读完文件之后，智能体还是要抓取完整的 HTML 页面。** Empik 和 Morele 对 `Accept: text/markdown` 标头返回 HTML，加了 `.md` 的网址返回 404 代码。Allegro 对同样的尝试返回了 403 代码。三个网站也都没有 `rel="describedby"` 标记，或 `rel="alternate" type="text/markdown"` 标记。

## Google 会使用 llms.txt 吗？

**不会：Google 写道，要出现在搜索中，不需要为 AI 创建文本文件或 Markdown 版本。** Google 关于针对 AI 功能做优化的指南补充说，搜索会忽略这类文件。所以它们既无助于可见度，也不会损害它（Google Search Central，2026 年 7 月 10 日更新）。据 Search Engine Land 对 2025 年 7 月 Search Central Live 大会的报道，Gary Illyes 说 Google 不支持 llms.txt（Search Engine Land）。

**John Mueller 把 llms.txt 比作 keywords 元标记，也就是搜索引擎不使用的关键词标记。** 2025 年 4 月，他在 Reddit 上写道，这个文件是网站所有者对网站内容的声明。AI 系统可以改为直接检查网站本身（Search Engine Journal）。他补充说，从服务器日志里可以看出，AI 服务甚至不检查这个文件是否存在。

**Chrome 和 Google 搜索是两回事。** Lighthouse 是 Chrome 用来评估页面的工具，它有一个实验性的“Agentic Browsing”类别，其中检查域名根目录里是否有 llms.txt 等（Chrome for Developers）。这项检查评估的是网站为浏览器中的智能体所做的准备。它的结果不能说明任何有关在 Google 搜索中排名的事。

## AI 爬虫会读 llms.txt 吗？

**从现有数据看，AI 搜索引擎的爬虫很少抓取 llms.txt，而 GPTBot 和 Claude Code（程序员的助手）抓得更多。** 我查阅过原始报告的三项研究，测量的是不同的东西：llms.txt 文件本身、通过 Accept 标头发送的 Markdown 版本，以及单独网址下的 Markdown。

- Ahrefs 分析了 2026 年 5 月其流量分析数据中的 137,210 个域名。其中 28% 有 llms.txt，而这些文件中有多达 97% 在 5 月份一次请求都没有收到。到达这些文件的请求里，有 96% 是爬虫发出的。AI 搜索引擎的爬虫，例如 OAI-SearchBot 和 PerplexityBot，合计发出 233 次请求，占全部的 1.1%。在有名称的 AI 工具中，发出请求最多的是 GPTBot，第二是 Claude Code。GPTBot 是 OpenAI 为模型收集数据的爬虫，而 Claude Code 是 Anthropic 公司的程序员助手（Ahrefs，2026 年 6 月 15 日）。
- Suganthan Mohanadasan 在 Cloudflare 里启用了向智能体提供 Markdown 的功能，之后用 44 天记录了带 `Accept: text/markdown` 标头的请求。作者给出 1,421 次请求（他的表格合计是 1,373）。其中 639 次来自无界面浏览器，500 次来自 Anthropic 的基础设施（据作者说不是 ClaudeBot）。表格里没有 GPTBot，也没有 PerplexityBot（Suganthan Mohanadasan，2026 年 4 月 19 日）。
- Otterly 用 14 天，对比了 HTML 页面和放在单独网址下、在页脚里加了链接的 Markdown 版本。HTML 页面有 137 次 AI 爬虫的访问，而 Markdown 版本为零。没有任何 AI 平台引用过 Markdown 网址（Otterly，2026 年 4 月 1 日更新）。

**Ahrefs 的研究测量的是请求，而不是爬虫对文件做了什么。** GPTBot 抓取 llms.txt，并不意味着这个文件会改变 ChatGPT 的回答。Ahrefs 还提醒说，它的客户比一般网站更偏技术、更有 SEO 意识。所以在整个网络上，有 llms.txt 的网站占比，很可能低于 28%。

## 上线 llms.txt 之后，我网站的日志显示了什么？

**上线之后的十天里，没有任何已知的 AI 爬虫发出抓取 llms.txt 的请求，而抓取 Markdown 版本的爬虫，并没有请求过这个文件。** 2026 年 10 月 8 日，我在 rogala.pro 上发布了 llms.txt 和每个页面的 Markdown 版本（上线当天有 114 个网址）。访问日志我从主机上下载，并统计三类请求：抓取 llms.txt 的、抓取 index.md 文件的（也就是每个页面单独网址下的 Markdown 版本），以及抓取页面普通网址下 Markdown 响应的。

**普通网址下的 Markdown 响应，我是间接识别的，所以它们的数量只是近似值。** 主机不记录 Accept 标头，所以我找的是大小等于某个已知 Markdown 版本大小的响应。内容改动之后，我不知道旧的大小，所以可能漏掉了一部分这样的响应。大小碰巧一致是可能的，但在精确到字节的大小上，可能性很小。

**AI 爬虫抓取了 Markdown 版本，但没有任何一个请求过 llms.txt**

八个爬虫的横向条形图。每个爬虫有两条：2026 年 10 月 8 日至 17 日 rogala.pro 上抓取 HTML 页面的请求数，以及抓取 Markdown 版本的请求数。Googlebot 169 和 0，Bingbot 129 和 0，ClaudeBot 171 和 123，OAI-SearchBot 113 和 35，Applebot 80 和 27，Meta-ExternalAgent 36 和 3，ExaSearchBot 0 和 22，ChatGPT-User 8 和 0。这些爬虫中没有任何一个请求过 llms.txt 文件。

*rogala.pro 2026 年 10 月 8 日至 17 日的原始访问日志，不含我自己的请求。选出的爬虫，按请求中给出的名称（User-Agent）统计。Markdown 版本是对 index.md 文件的请求，以及普通网址下我按大小识别出的 Markdown 响应；其中有 37 次请求被 429 代码拒绝（ClaudeBot 34 次，Meta-ExternalAgent 全部 3 次）。测量持续到 2026 年 11 月 8 日。*

**2026 年 10 月 8 日至 17 日的结果，已扣除我自己的请求：**

- 我记录到 5 次抓取 llms.txt 的请求，其中 3 次成功下载了文件。一次是 SEO 工具的爬虫，两次是自称手机浏览器的匿名扫描器。没有任何已知的 AI 爬虫发出过抓取这个文件的请求。
- 直接请求 index.md 文件的有 ClaudeBot（123）、OAI-SearchBot（35）和 Applebot（27）。ClaudeBot 是 Anthropic 的收录爬虫，与 Ahrefs 研究里的 Claude Code 是不同的程序。主机用 429 代码，也就是“请求过多”，拒绝了 ClaudeBot 的 34 次请求，所以 ClaudeBot 有 89 次请求成功下载了文件。
- 普通网址下的 Markdown 响应，我只在 ExaSearchBot 的 22 次请求里检测到，主要在首页上。ExaSearchBot 是面向 AI 应用的搜索引擎所用的爬虫。
- Googlebot 发出了 169 次抓取 HTML 页面的请求，我没有检测到对它的 Markdown 响应。ChatGPT-User 是应 ChatGPT 用户的请求抓取页面的，它发出了 8 次抓取 HTML 页面的请求。

**日志没有显示，这些爬虫是从哪里知道 Markdown 版本的网址的。** 这段时间里，它们没有一个发出过抓取 llms.txt 的请求。HTML 页面上的 `<link rel="alternate">` 标记给出了 Markdown 版本的网址，所以这是一条可能的途径，但不是唯一的。下载也不能说明爬虫在回答里是否用了这个版本，这需要另外的测量。

**我自己的测试很容易与爬虫的流量混淆。** 10 月 17 日检查上线情况时，我的脚本以 Googlebot 的标识下载了 Markdown 文件，从我的 IP 地址产生了 115 次“Googlebot”的请求。如果不扣除我自己的地址，日志里就会显示 Googlebot 在抓取 Markdown，而我并没有检测到真正的 Googlebot 抓取 Markdown。

## 什么时候值得做 llms.txt？

**llms.txt 在程序员的助手会读取网站的地方最有意义：文档、API 和面向开发者的工具。** API 是程序之间交换数据所用的接口。在 Ahrefs 的研究里，就请求这个文件的次数而言，Claude Code 是仅次于 GPTBot 的 AI 工具。代码编辑器里拿到文档网址的助手，可以从链接清单里比通过导航更快地找到正确的页面。

**llms.txt 适合文档；网店先要保证爬虫能访问**

四行两列的矩阵。列：文档、API 或面向开发者的工具，以及网店、服务类或企业网站。行：谁来读这个文件、它带来什么、先做什么，以及怎么检查是否被抓取。

*划分依据是 Ahrefs 的研究（2026 年 5 月的数据）和 rogala.pro 2026 年 10 月的日志。根据 Google 的文档，在这两种情况下 Google 搜索都不使用这个文件。*

**对网店或服务类公司，llms.txt 是便宜的附加项，而不是获得 AI 流量的办法。** 我尚未见到证据表明这个文件能增加流量或引用。在做它之前，先检查 AI 爬虫到底能不能抓取你的网站。然后检查内容在不执行 JavaScript 的 HTML 里是否可见。这两项检查，我写在了关于 [AI 排名优化](https://rogala.pro/zh-hans/blog/geo-yu-ai-seo/)的文章里。

**给爬虫的版本，必须和给人看的页面内容相同，只能在格式上不同。** Google 在垃圾内容政策里描述了伪装（cloaking），也就是向搜索引擎展示与用户不同的内容（Google Search Central）。信息、价格和条件都相同的 Markdown 版本，只是同一个页面的另一种格式，而内容不同或条件不同的版本，则有风险。在 rogala.pro 上，选择 Markdown 版本的是 Accept 标头，而不是爬虫的名称。在 `Link` 标头里，Markdown 版本把 HTML 页面指定为规范网址，也就是页面的首选版本。

**我会检查 AI 爬虫能否抓取你的网站，以及能从中看到什么。** 请写下网站用什么系统，以及你能否访问服务器日志。我会回复我会从哪里开始。

[写信给我](https://rogala.pro/zh-hans/#contact) · [LinkedIn](https://www.linkedin.com/in/lukaszrogala/?locale=zh_CN) · [WhatsApp](https://wa.me/48570081225)

## 怎么做 llms.txt 文件？

**如果你知道哪些页面重要，这个文件可以自己做：**

1. 选出询问你的公司或产品的人应该了解的页面：服务、价格、文档、联系方式、最重要的文章。不要把整个站点地图贴进去。
2. 写一个带名称的标题，以及引用块里一两句话的说明。说明要陈述公司的事实，而不是广告口号，因为模型可以拿它与网站对照。
3. 把链接按二级标题分组，每个链接后面用一句话写这个页面上有什么。
4. 把文件以 `/llms.txt` 保存在域名的根目录下，用 UTF-8 编码。检查这个网址是否返回 200 代码，也就是正常的响应，以及普通文本，而不是某些系统在任何未知网址下都会显示的 HTML 页面。如果你的系统不允许把文件上传到根目录，请问网店或主机的提供方。
5. 用和网站相同的来源生成这个文件，让文件里的信息与内容一致。在 rogala.pro 上，每次构建网站时，llms.txt 都用与 HTML 相同的数据生成。

### llms.txt 生成器够用吗？

**生成器会准备一个初稿，但选哪些页面和写什么说明，要手动检查。** 据 DataForSEO，在波兰，关键词“llms txt generator”每月大约有 70 次搜索，而在美国“llms.txt generator”大约有 480 次（12 个月的中位数）。如果生成器从站点地图或用爬虫扫描网站来获取网址，它并不知道哪些页面对你重要。发布之前，检查五件事：

- 文件里是否只有你想展示的页面，没有登录页、购物车页和建设中的页面；
- 每个网址是否都能访问，并返回 200 代码；
- 说明是否与页面当前的内容、价格和服务一致；
- 文件里的信息是否都能在网站上找到；
- 网站改动之后，文件怎么更新。

## 怎么检查爬虫是否在抓取 llms.txt？

**答案在服务器日志里，而不在 AI 可见度工具里。** 从主机后台下载原始访问日志，在里面搜索 `/llms.txt` 网址和 Markdown 版本的网址。对每个请求，日志会记录 IP 地址、日期、响应代码、大小，以及发出请求的程序的名称，也就是 User-Agent。

**爬虫的名称可以伪造，所以对重要的请求，我按 IP 地址核对。** OpenAI 公布了它的爬虫的地址列表，而在我的日志里，OAI-SearchBot 的 4 个地址段中有 3 个在这个列表上。出于同样的原因，我扣除自己的测试，因为我的检查脚本冒充过 Googlebot。

**日志要定期下载，因为主机保存日志的时间不长。** 我的主机只保存日志 14 天，所以为了有一个月的测量，我每隔几天就下载一次存档。品牌在 AI 回答中的出现情况，我另外测量。我在关于[品牌的 AI 可见度](https://rogala.pro/zh-hans/blog/ai-kejiandu-celiang/)的文章里写了这项测量。

## 关于 llms.txt 的常见问题

### llms.txt 文件应该放在哪里？

**最常见的是放在域名的根目录，网址是 /llms.txt，和 robots.txt 一样。** 提议的第二版也允许把文件放在子目录里，例如用于文档，这时以离当前页面最近的那个为准。这个文件应该返回 200 代码和 UTF-8 编码的普通文本。

### llms.txt 会阻止 AI 用我的网站训练吗？

**不会，llms.txt 不拦截任何东西。** 针对为训练模型收集数据的爬虫的规则，写在 robots.txt 里，而且只对遵守它的爬虫起作用。对其他爬虫，访问要在服务器或防火墙上限制。llms.txt 只是描述网站并指出网址。

### ChatGPT 会读 llms.txt 吗？

**我尚未见到证据表明 ChatGPT 在回答时使用 llms.txt。** 在 Ahrefs 的研究里，GPTBot，也就是 OpenAI 为模型收集数据的爬虫，在各 AI 工具里发出的抓取 llms.txt 的请求最多。但请求并不能说明文件是否影响 ChatGPT 的回答。John Mueller 在 2025 年 4 月写道，据他所知，没有任何 AI 服务宣布过使用 llms.txt。在我网站的日志里，十天内没有任何 OpenAI 的爬虫发出过抓取 llms.txt 的请求。ChatGPT 搜索引擎的爬虫 OAI-SearchBot，在这段时间里抓取了页面的 Markdown 版本。

### llms.txt 真的有人用吗？

**有网站部署 llms.txt，但部署并不代表文件会被读取。** 在 Ahrefs 研究的 137,210 个域名里，28% 有 llms.txt，其中多达 97% 的文件在 5 月份一次请求都没有收到。在我网站的日志里，上线之后的十天里，没有任何已知的 AI 爬虫发出过抓取这个文件的请求，而 Google 写道它的搜索不使用这类文件。

### llms.txt 值得做吗？

**在文档、API 和面向开发者的工具里值得做，而在网店或企业网站上，它只是便宜的附加项。** 我尚未见到证据表明这个文件能增加流量或引用。在做它之前，先检查 AI 爬虫能不能抓取你的网站，以及内容在 HTML 里是否可见。llms-full.txt 只有在文档很大时才值得考虑，Anthropic 文档里这样的文件大约有 45 MB。

## 从哪里开始？

**先从爬虫的访问开始，llms.txt 放到最后再加。** 打开 `/robots.txt`，检查针对 AI 爬虫的规则。然后下载最近几天的日志，看看哪些爬虫访问了网站，响应代码是什么。如果你有文档或面向开发者的产品，就马上添加 llms.txt 和 Markdown 版本。在网店或服务类公司里，llms.txt 是做完这两项检查之后的附加项。如果你想一起做，请通过[联系页面](https://rogala.pro/zh-hans/#contact)写信给我。

外部来源（2026 年 10 月 18 日核实）：

- llmstxt.org: The /llms.txt file, v2 (llmstxt.org)
- llmstxt.org: Changes in v2 (llmstxt.org)
- Google Search Central: Google's Guide to Optimizing for Generative AI Features on Google Search (developers.google.com)
- Google Search Central: Spam Policies for Google Web Search (developers.google.com)
- Search Engine Land: Google says normal SEO works for ranking in AI Overviews and LLMS.txt won't be used (searchengineland.com)
- Search Engine Journal: Google Says LLMs.Txt Comparable To Keywords Meta Tag (searchenginejournal.com)
- Chrome for Developers: Lighthouse agentic browsing scoring (developer.chrome.com)
- Ahrefs: We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read (ahrefs.com)
- Suganthan Mohanadasan: Cloudflare Markdown for Agents. I Tracked Every AI Request for 44 Days (suganthan.com)
- OtterlyAI: HTML vs Markdown: What Impacts AI? (otterly.ai)
- OpenAI: Overview of OpenAI Crawlers (platform.openai.com)
- OpenAI: OAI-SearchBot 地址列表 (openai.com)
- Allegro: llms.txt (allegro.pl)
- Empik: llms.txt (empik.com)
- Morele: llms.txt (morele.net)

自有数据：rogala.pro 2026 年 10 月 8 日至 17 日的访问日志（10 月 4 日至 17 日的存档，10 月 8 日上线）、对我经手项目中 10 个域名的检查（2026 年 7 月）、2026 年 10 月 18 日核实的 llms.txt 和 llms-full.txt 文件、DataForSEO 的需求数据（2026 年 10 月）。

[Łukasz Rogala](https://rogala.pro/zh-hans/#about)

SEO 策略师兼 SEO 顾问

Łukasz Rogala 是 SEO 策略师兼 SEO 顾问，现任 VerticalSEO 首席执行官，也是 Linko 联合创始人。他自 2014 年起从事 SEO，提供 360° 全方位 SEO 优化服务：SEO 策略与审计、技术 SEO、内容、外链建设（link building）、Google Discover、语义 SEO，以及品牌在 AI 搜索中的可见度（GEO）。

[关于我](https://rogala.pro/zh-hans/#about) · [演讲与媒体](https://rogala.pro/zh-hans/#featured)

延伸阅读

- [GEO 与 AI SEO：哪些做法有依据，哪些只是误区](https://rogala.pro/zh-hans/blog/geo-yu-ai-seo/)
- [SEO 审计（SEO audit）怎么做：我检查网站的 8 个步骤](https://rogala.pro/zh-hans/blog/seo-audit-zenme-zuo/)