一键管控 AI 爬虫,腾讯 EdgeOne 基础 Bot 管理能力免费开放

生成式 AI 对数据与内容的需求迅猛增长,开发者该如何管控 AI 爬虫,保障自身利益不受侵害?

2月4日,腾讯云边缘安全加速平台 EdgeOne 正式向所有套餐用户(含免费版)开放"基础 Bot 管理"能力,包括 AI 爬虫处置、 人机校验页两大重点功能。

相比传统爬虫,AI 爬虫访问往往更隐蔽、规模更大,也更难被站点精确区分和管理。开发者为了防止 AI 无偿爬取使用原创内容、占用服务器带宽,往往陷入无休止的"打地鼠"游戏,封禁了一个旧爬虫,隔天又会出现数十个换了"马甲"的新爬虫。

基于此,EdgeOne 的 AI 爬虫处置功能能够基于请求的 User-Agent 字段进行特征识别,并持续更新识别规则,精准识别包括 GPTBot、ClaudeBot、Google-Extended 在内的各类主流 AI 爬虫。开发者无需编写复杂代码,只需在控制台中简单配置,根据自身业务需选择"观察模式"、"拦截模式"、"放行模式"、"挑战模式"等不同处置方式。灵活的处置策略,确保开发者既能阻断恶意的数据收割,也能在需要时拥抱友好的 AI 生态。(点击了解更多)

此外,针对频发的自动化攻击,EdgeOne 的人机校验功能能够智能识别可疑 Bot 行为,在不影响真实用户体验的前提下,通过人机验证挑战阻断恶意访问,保护网站免受自动化攻击,为数字内容确权、电商大促、金融交易等高价值场景筑起一道安全防线。

"AI 技术迅猛发展,内容和数据的访问治理会是一个长期问题。我们开放基础 Bot 管理能力,希望能够帮助每一位开发者从被动防御转向主动管理,更好地掌控自己的数字资产。"EdgeOne团队表示。

目前,相关能力已在 EdgeOne 控制台上线。未来,EdgeOne 将继续完善 Bot 管理与安全防护能力,帮助开发者在 AI 技术应用与内容权益保护之间建立更清晰的规则与边界。

相关推荐
智联视频超融合平台16 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟17 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯18 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐18 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
7177771 天前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn1 天前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健1 天前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道1 天前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9961 天前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音