过去近 30 年，互联网的商业模式是 Google 的"搜索换流量"协议：内容创作者允许搜索引擎免费爬取内容，搜索引擎回报以流量。创作者靠广告、订阅或曝光变现。
但这个协议正在崩塌。AI 爬虫在 strip-mine（露天采矿）式地掠夺互联网——爬走内容，几乎不返回流量。
📊 背景：为什么旧的协议失效了
AI 在发生 2 倍于智能手机普及速度的平台级迁移。3.5 年内超 30% 人类（25 亿活跃用户）已日常使用生成式 AI。每在线花 1 小时找信息，只有 15 分钟落在开放互联网。
📅 时间线：内容独立日前世今生
🎯 第二波升级详解
🔀 三大用途分类
| 分类 | 说明 | 默认行为 |
|---|---|---|
| Search | 建立索引、给你送流量的爬虫 | ✅ 默认放行 |
| Agent | 替真人实时办事的行为（ChatGPT-User、浏览器 Agent） | 🚫 广告页默认屏蔽 |
| Training | 爬取数据训练/微调模型 | 🚫 广告页默认屏蔽 |
Cloudflare 强烈要求爬虫运营商把三种用途分到不同的 bot 上，否则混合爬虫会按最严格的规则处理。
这些混合用途爬虫搜索和训练不分家。9 月 15 日后，如果网站主选择了"屏蔽训练"，这些爬虫在广告页将一并被屏蔽。Google 当前比对手多访问约 2× 的数据量——这种不对称优势即将结束。
💰 Pay Per Crawl → Pay Per Use
第一年推出的 Pay Per Crawl 按爬取次数收费；第二年进化成 Pay Per Use——内容实际被引用、产生价值时再付费。
合作伙伴：Ceramic.ai（按查询付费，创作者还能拿回查询数据）和 You.com（Agent 按需为单条内容付费）。
📈 Attribution Business Insights
全新的仪表盘（Enterprise Bot Management 客户可用），第一次让网站主看清：
- 哪些 AI 在爬你、爬了多少
- 给你送回了多少人流量（crawl-to-referral 比率）
- 你的内容在各 AI 模型中如何被引用、多频繁、多显眼
- 进入 AEO（Answer Engine Optimization） 时代——搜索引擎优化的 AI 版本
🔋 智能爬取信号（Crawler Hints）
Cloudflare 主动告诉 AI 爬虫哪些页面有变化，省掉 50%+ 的重复无效爬取——减轻网站带宽负担 + 节省 AI 公司算力。
🔗 传递信任（Transitive Trust）
如果 A 平台在 Cloudflare 上跑自动化脚本，而 A 的用户访问你的网站——通过 Forwarded 请求头传递身份，让网站主能表达："我允许这个运营商，不管它是直接来还是经过三层代理"。失去 Verified 状态 = 失去超过 20% 网页的访问权限。
📋 Content Use 级别
| 级别 | 行为 | 说明 |
|---|---|---|
immediate | 交互 | 可访问但不可存储或复用 |
reference（默认） | 索引 + 摘录 + 回链 | 可以引用并附链接 |
full | 摘要 + 再现 | 可以完整再现内容 |
这些级别通过 robots.txt 的 Content-Signal: use=reference 来表达。如果爬虫滥用信号，将失去 Verified 状态。
🔮 未来方向
Cloudflare 正在搭建内容交易市场，让内容创作者和 AI 公司直接对接，并邀请经济学家和计算机科学家建立一套按"知识增量"而非流量来给内容定价的体系。
把 AI 模型想象成一块瑞士奶酪。能填补"知识空洞"的新鲜原创内容，比重复爬取的低价值内容值钱得多。"如果我们能按内容推进了多少知识——而非产生了多少流量——来评分和定价，不仅能帮助 AI 更快变好，也可能催生一个高质量内容创作的新黄金时代。"
📌 红队简评
第一波是"关门不给进"，第二波是改门禁系统——搜索可以进，训练和代理要付钱，不规范的混合爬虫给我出去。
这里最有意思的是 Cloudflare 的"裁判"定位：它同时坐在内容创作者和 AI 公司中间（超过 20% 的网站在 Cloudflare 网络上，80% 的头部 AI 公司也是客户），天然具备建立标准和市场的稀缺位置。
9 月 15 日截止令后，Google 等混合用途爬虫将面临最大压力——搜索可以继续，但训练用途必须分离出来。这对整个 AI 爬虫生态的透明度和规范化是一个重大事件。