之前在大麦云《CDN管道里，三分之一的水已经不是人喝的》一文里，我们提过 Cloudflare 在 2026 年 Q1 披露的一组数据，非人流量占比已经明显抬升。那时讨论的重点，还是 AI 爬虫正在改变 CDN 的流量结构。
现在，事情又往前走了一步。
Cloudflare 不只是继续披露观察数据，还开始把 AI 相关流量拆成 Search、Agent、Training 三类来管理，也在继续推进 Pay-Per-Crawl 这类机制。行业讨论的重点，也就跟着变了，不再只是 AI 爬虫是不是越来越多，而是这些流量该怎么区分、怎么管理，又该怎么理解。
01 Cloudflare 这次到底改了什么
如果只看表面，这像是一次流量管理设置的更新。
但往深一点看，它其实是在回答一个越来越绕不开的问题，同样都是抓取请求，它们还是不是同一种流量。
按照 Cloudflare 今年 7 月 1 日的官方说明，它没有再把这类请求一股脑算成 AI bots，而是拆成了三类。
- Search，为了建立索引、回答后续搜索问题而抓取内容
- Agent，代表用户实时访问页面、完成任务
- Training，抓取内容用于训练或微调模型
这三个名字看着只是分类变了，背后的判断逻辑其实已经不一样了。
过去，很多网站和平台面对的是一个比较粗的选择，放还是拦。现在 Cloudflare 想把问题改成另一种问法，这类流量过来，到底是为了被发现、被使用，还是为了把内容拿走吸收掉。
这也是它今年继续推进 AI 流量管理选项，并把多用途爬虫纳入更严格判断逻辑的原因。对新接入域名中展示广告的页面，Cloudflare 将自 9 月 15 日起对 Search、Agent、Training 设置不同默认处理方式。
这次变化的重点，不在于全面封杀 AI 爬虫，而在于开始把不同用途的 AI 流量当成不同问题来处理。
02 为什么这件事值得 CDN 行业认真看
因为 CDN 行业一直最熟的，就是流量。
有多少请求，跑了多少带宽，峰值多高，命中率怎么样，链路稳不稳，这些都是老问题。
但 AI 进来以后，一个新问题越来越明显。流量还在涨，可流量的含义已经没那么单一了。
在 Cloudflare 的公开报告里，截至 2026 年 6 月，它识别到的爬虫请求中，52% 已用于 AI 训练，混合用途爬虫占比超过 36%。与此同时，纯搜索抓取虽然还重要，但在整体爬虫活动里的占比已经变小，而且还在往下走。
这说明，今天跑在网络里的很多请求，已经不只是传统意义上的搜索可见性流量。
有些流量会把用户带回来。
有些流量会把内容拿走，喂给模型训练。
还有一些流量，本质上是在替用户执行任务。
在网络层看，它们都可能像抓取请求。在业务层看，它们已经不是一回事了。
所以你会看到 Cloudflare 一边谈控制权，一边谈补偿机制，一边又把管理方式从拦不拦，往按用途区分继续推进。
对 CDN 行业来说，这里面放出来的信号很直接。以后对流量价值的理解，可能不再只是看量大不大，还会越来越看重用途是什么、回流关系是什么、它会给节点和调度带来什么不同要求。
03 这还不是结果，但信号已经很清楚了
当然，这不代表行业已经形成一套成熟的新规则。
至少到现在，不管是 Pay-Per-Crawl，还是后来延伸出来的 Pay Per Use 思路，都还明显带着探索性质。Cloudflare 自己也公开承认，这仍然是一个持续试验、持续演进的过程。
所以这篇文章真正想说的，不是新的定价体系已经落地，也不是所有 AI 流量以后都要收费。
更接近现实的判断是，行业已经不愿再把 AI 请求都当成同一种抓取流量来看了。
当 Search、Agent、Training 被拆开，平台、内容方、网络方对流量价值的判断，自然也会跟着变细。
这未必会立刻写进价格表，但很可能先体现在更前面的环节。
- 哪些流量更值得保留
- 哪些请求需要更严格识别
- 哪些节点和链路更适合承接持续性、可管理的请求
- 哪些平台更有能力把不同类型流量放进清晰的规则里
这也是大麦云持续关注的一个变化。
当 AI 流量从新增流量，变成需要被区分、被管理、被重新理解的流量，CDN 行业对资源价值的判断，往往也会跟着变细。
当抓取流量不再只有一种含义，CDN 行业对资源价值的判断，也很难继续停留在老办法里。
