Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫

网络服务提供商 Cloudflare 宣布即日起为所有网站 (包括免费托管的网站) 带来 AI 审计功能,该功能目前处于测试阶段,可以分析 AI 公司的爬虫和抓爬数据。新的 AI 审计工具 (Cloudflare AI Audit) 主要提供 AI 公司的爬虫何时到网站来抓取数据、抓取的数据地址、抓取频次以及其他分析数据。

内容创作者和网站管理员可以借助 AI 审计功能轻松检查自己的内容被哪些 AI 公司白嫖了,如果被白嫖难受的话,也可以直接一键禁止抓取。

其中 AI 审计工具中的禁止抓取与 Cloudflare 已经提供的一键禁止所有 AI 爬虫抓取不同,在 AI 审计工具中网站管理员可以分门别类的进行审计和屏蔽。

举个例子:如果网站已经与 OpenAI 达成协议允许其抓取内容,则网站管理员可以放行 GPTBot 爬虫,而其他认识的、不认识的、白嫖的爬虫可以全部屏蔽。

在 Cloudflare 的演示中目前能够识别的爬虫包括 OpenAI、Meta、字节跳动、Common Crawl (通用爬虫,即不可识别到特定公司的爬虫)、Anthropic、Amazon、Perplexity 等知名的人工智能开发商。

如果网站本身没有和任何一家 AI 公司达成内容授权协议,那还可以通过 AI 爬虫的抓取频次进行封禁,这样可以避免某些公司的爬虫进行高频次抓爬耗费服务器带宽和流量以及影响正常用户的访问体验。

此外 Cloudflare 还计划在明年推出交易市场,允许网站管理员设置自己网站的内容抓取价格,AI 公司如果愿意的话可以付费获取抓取权限,如果不愿意付费那网站就可以通过 Cloudflare 一键拦截爬虫阻止内容被抓取。

AI 审计路径:登录 Cloudflare 控制台、选择特定的网站、在左侧导航栏点击 AI Audit 即可查看,目前此功能刚刚上线因此大部分网站数据可能还是空白的。

感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。期望未来能为大家带来更多有价值的内容,请多多关注我的动态!

相关推荐
chh5636 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval6 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi7 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿7 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方8 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI8 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP8 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷9 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考9 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI9 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具