如何将llms.txt添加到您的网站(分步指南)
核心要点
- llms.txt文件帮助AI爬虫理解您网站的内容结构——可以把它理解为面向大型语言模型的
robots.txt。- 您可以手动创建,也可以使用LLMGenerator等工具自动生成。
- 通过
<link rel="llms-txt">HTML标签进行声明,让AI系统无需爬取整个网站就能发现它。- 在大多数平台上,整个过程不超过15分钟。
AI系统越来越多地被用于研究、总结和引用网络内容。根据BrightEdge 2025年的研究,AI驱动的搜索功能影响了58%的信息查询(BrightEdge,2025年)。为AI发现而结构化您的内容已经不再是可选项——这是一种竞争优势。这正是llms.txt文件的作用,本指南将向您展示如何今天就将其添加到您的网站。
什么是llms.txt?
llms.txt标准(在llmstxt.org中定义)是一个您放置在域名根目录的纯文本Markdown文件——如yourdomain.com/llms.txt。它为AI语言模型提供了您网站最重要内容的精心策划的结构化概览。
robots.txt告诉爬虫不要索引什么,sitemap.xml列出每个URL,而llms.txt则告诉AI系统您的内容是关于什么的以及哪些页面最重要。它以干净的Markdown格式编写,LLM可以自然地解析。
一个最简化的llms.txt如下所示:
# 您的网站名称
> 一句话描述您的网站提供什么。
## 文档
- [入门指南](/docs/getting-started): 如何设置产品。
- [API参考](/docs/api): 完整的API文档。
## 博客
- [最新文章标题](/blog/post-slug): 简短描述。
第一步:创建您的llms.txt文件
您有两个选择:
选项A——自动生成
使用LLMGenerator扫描您的网站,在几秒钟内生成格式正确的llms.txt。这是最快的方式,并处理分页、规范URL和动态内容等特殊情况。
选项B——手动编写
创建一个名为llms.txt的文件,用Markdown标题和链接进行结构化。保持专注:包含您最重要的页面,而不是网站上的每个URL。AI系统从策划中受益,而不是从详尽的列表中。
优质llms.txt的提示:
- 在顶部的
>引用块中写一个清晰的一句话描述。 - 在有意义的
##节标题下分组链接。 - 在每个链接的冒号后添加简短描述。
- 将文件保持在100KB以下——理想情况下低于20KB。
第二步:上传到您的网站根目录
您的llms.txt必须可通过https://yourdomain.com/llms.txt访问。上传方式取决于您的平台:
| 平台 | 如何上传 |
|---|---|
| 静态网站(Astro、Next.js等) | 放置在/public目录 |
| WordPress | 通过FTP上传到根目录或使用插件 |
| Webflow | 使用资产管理器或自定义域名重定向 |
| Shopify | 通过主题编辑器 > assets/文件夹添加并设置重定向 |
| Wix | 通过Wix Dev Mode上传或使用重定向规则 |
| Squarespace | 使用代码注入或带重定向的第三方文件托管 |
上传后,直接在浏览器中访问https://yourdomain.com/llms.txt验证它已上线。
第三步:使用HTML Link标签进行声明
这是大多数教程跳过的步骤。文件上线后,您应该在HTML的<head>中进行声明,这样AI爬虫和浏览器就能自动发现它——无需猜测URL。
在每个页面的<head>内(或至少在首页)添加此标签:
<link rel="llms-txt" href="/llms.txt" />
这遵循与其他资源提示相同的约定(<link rel="sitemap">、<link rel="manifest">)。这是一个声明性信号:“这个网站有一个llms.txt文件,在这里找到它。”
rel="llms-txt"属性还不是W3C标准,但它正在早期实施者中获得采用,并在社区工具中被引用。现在发布它,可以在正式标准化发生之前让您的网站处于领先位置。
在常见框架中添加的位置
Astro(src/layouts/Layout.astro或BaseHead.astro):
<link rel="llms-txt" href="/llms.txt" />
Next.js(app/layout.tsx):
export default function RootLayout({ children }) {
return (
<html>
<head>
<link rel="llms-txt" href="/llms.txt" />
</head>
<body>{children}</body>
</html>
);
}
WordPress(functions.php):
function add_llms_txt_link() {
echo '<link rel="llms-txt" href="/llms.txt" />' . "\n";
}
add_action('wp_head', 'add_llms_txt_link');
第四步:验证一切正常
添加文件和link标签后,进行快速检查:
- 文件可访问:访问
https://yourdomain.com/llms.txt——您应该看到Markdown内容。 - Link标签存在:打开DevTools > Elements并在
<head>中搜索llms-txt。 - 无重定向问题:URL应该返回HTTP 200,而不是重定向链。
- 文件是有效的Markdown:将内容粘贴到任何Markdown预览器中,确认它能干净地渲染。
llms.txt真的有效吗?
值得问。没有主要的LLM提供商官方确认他们在训练流程中解析llms.txt文件。OpenAI、Google和Anthropic都尊重robots.txt——但llms.txt的采用仍在发展中。
话虽如此,现在就有实际好处:
- MCP工具 — Model Context Protocol服务器可以直接使用您的
llms-full.txt作为知识源(在我们的MCP指南中有更多介绍)。 - 开发者发现 — 构建AI代理的开发者经常将这些代理指向llms.txt文件,让它们基于您的文档。
- 面向未来 — 随着标准成熟,维护良好llms.txt的网站将有先发优势。
常见问题
添加llms.txt会影响我的常规SEO吗?
不会。它是一个独立文件,不与Googlebot或传统搜索爬虫交互。您的robots.txt和sitemap.xml保持不变。
我应该多久更新一次llms.txt? 每当您添加重要的新部分、更改网站结构或发布您希望AI系统发现的高价值内容时更新。每月审查是个好的频率。
我也应该创建llms-full.txt吗?
是的,如果您有大量文档或长篇内容。llms-full.txt文件包含您主要页面的完整文本——对MCP集成和需要深度上下文的AI代理很有用。
如果我的网站有多个子域名怎么办? 每个子域名都应该在其根目录有自己的llms.txt。您可以使用每个文件中的Optional部分进行交叉引用。
添加llms.txt对于任何关心AI系统如何呈现其内容的网站来说,都是一个低努力、高信号的举措。创建文件,上传到根目录,将<link rel="llms-txt">标签添加到<head>,就完成了。随着AI驱动的发现不断增长,15分钟的工作就能带来有意义的优势。
准备好自动生成您的llms.txt了吗?免费试用LLMGenerator。