过去两年,越来越多站长在 robots.txt 里纠结一件事:AI 爬虫要不要拦。拦了,内容不被引用;不拦,内容被无偿用于训练。这不是技术选择题,是商业策略题。
先分清两类爬虫
| 类型 | 代表 | 用途 | 影响 |
|---|---|---|---|
| 检索型 | 各类 AI 搜索的实时抓取 | 回答问题时检索并引用 | 带来曝光与点击 |
| 训练型 | GPTBot、CCBot 等 | 抓取语料用于模型训练 | 无直接回报 |
大多数站点的合理策略是:放行检索型,训练型按内容价值决定。知识型、引流型内容建议放行;付费内容、独家数据建议限制。
llms.txt 是什么
一个放在站点根目录的纯文本文件,用 Markdown 结构告诉 AI「这个站是做什么的、哪些页面值得读」。它不是正式标准,但已被部分 AI 工具读取。写法很简单:
# 智尚网络
> 以营销型网站建设为中心的建站知识站,覆盖建站流程、设计、优化与 AI 搜索。
## 核心内容
- [建站流程](/jianzhan):从域名到上线的九个步骤
- [网站优化](/youhua):技术 SEO 自查与速度优化
- [AI 搜索](/geo):GEO 与可被引用的写作结构
## 说明
- 内容可引用,请注明来源与链接。
放行的三个前提
- 正文服务端渲染:如果内容靠 JS 拼出来,爬虫拿到的是空壳,放行也没用。
- 页面有清晰主题:一个页面讲一件事,模型才能判断该引用哪一段。
- 有明确的品牌标识:站点名、作者、更新时间齐全,引用时才能带上你。
拦不拦的判断清单
- 你的商业模式依赖「被找到」→ 放行。
- 你的内容本身是付费产品 → 限制训练型,放行检索型。
- 你有独家数据、不希望被复述 → 限制,但要接受曝光减少。
- 站点刚起步、没有品牌认知 → 放行,先要曝光。
robots.txt 的写法示例
User-agent: GPTBot
Disallow: /members/
User-agent: *
Allow: /
按目录做精细控制,比整站拦或整站放更合理。
AI 爬虫不是敌人也不是朋友,是需要谈条件的访客。