Cloudflare为网站添加AI审计 可检查AI爬虫何时抓取和抓取频次以及直接屏蔽爬虫

网络服务提供商 Cloudflare 宣布即日起为所有网站 (包括免费托管的网站) 带来 AI 审计功能,该功能目前处于测试阶段,可以分析 AI 公司的爬虫和抓爬数据。新的 AI 审计工具 (Cloudflare AI Audit) 主要提供 AI 公司的爬虫何时到网站来抓取数据、抓取的数据地址、抓取频次以及其他分析数据。

内容创作者和网站管理员可以借助 AI 审计功能轻松检查自己的内容被哪些 AI 公司白嫖了,如果被白嫖难受的话,也可以直接一键禁止抓取。

其中 AI 审计工具中的禁止抓取与 Cloudflare 已经提供的一键禁止所有 AI 爬虫抓取不同,在 AI 审计工具中网站管理员可以分门别类的进行审计和屏蔽。

举个例子:如果网站已经与 OpenAI 达成协议允许其抓取内容,则网站管理员可以放行 GPTBot 爬虫,而其他认识的、不认识的、白嫖的爬虫可以全部屏蔽。

在 Cloudflare 的演示中目前能够识别的爬虫包括 OpenAI、Meta、字节跳动、Common Crawl (通用爬虫,即不可识别到特定公司的爬虫)、Anthropic、Amazon、Perplexity 等知名的人工智能开发商。

如果网站本身没有和任何一家 AI 公司达成内容授权协议,那还可以通过 AI 爬虫的抓取频次进行封禁,这样可以避免某些公司的爬虫进行高频次抓爬耗费服务器带宽和流量以及影响正常用户的访问体验。

此外 Cloudflare 还计划在明年推出交易市场,允许网站管理员设置自己网站的内容抓取价格,AI 公司如果愿意的话可以付费获取抓取权限,如果不愿意付费那网站就可以通过 Cloudflare 一键拦截爬虫阻止内容被抓取。

AI 审计路径:登录 Cloudflare 控制台、选择特定的网站、在左侧导航栏点击 AI Audit 即可查看,目前此功能刚刚上线因此大部分网站数据可能还是空白的。

感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。期望未来能为大家带来更多有价值的内容,请多多关注我的动态!

相关推荐
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程5 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝5 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion7 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周7 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享8 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜9 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿9 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程