生成式 AI 对数据与内容的需求迅猛增长，开发者该如何管控 AI 爬虫，保障自身利益不受侵害？
2月4日，腾讯云边缘安全加速平台 EdgeOne 正式向所有套餐用户（含免费版）开放"基础 Bot 管理"能力，包括 AI 爬虫处置、 人机校验页两大重点功能。
相比传统爬虫，AI 爬虫访问往往更隐蔽、规模更大，也更难被站点精确区分和管理。开发者为了防止 AI 无偿爬取使用原创内容、占用服务器带宽，往往陷入无休止的"打地鼠"游戏，封禁了一个旧爬虫，隔天又会出现数十个换了"马甲"的新爬虫。
基于此，EdgeOne 的 AI 爬虫处置功能能够基于请求的 User-Agent 字段进行特征识别，并持续更新识别规则，精准识别包括 GPTBot、ClaudeBot、Google-Extended 在内的各类主流 AI 爬虫。开发者无需编写复杂代码，只需在控制台中简单配置，根据自身业务需选择"观察模式"、"拦截模式"、"放行模式"、"挑战模式"等不同处置方式。灵活的处置策略，确保开发者既能阻断恶意的数据收割，也能在需要时拥抱友好的 AI 生态。（点击了解更多）
此外，针对频发的自动化攻击，EdgeOne 的人机校验功能能够智能识别可疑 Bot 行为，在不影响真实用户体验的前提下，通过人机验证挑战阻断恶意访问，保护网站免受自动化攻击，为数字内容确权、电商大促、金融交易等高价值场景筑起一道安全防线。
"AI 技术迅猛发展，内容和数据的访问治理会是一个长期问题。我们开放基础 Bot 管理能力，希望能够帮助每一位开发者从被动防御转向主动管理，更好地掌控自己的数字资产。"EdgeOne团队表示。
目前，相关能力已在 EdgeOne 控制台上线。未来，EdgeOne 将继续完善 Bot 管理与安全防护能力，帮助开发者在 AI 技术应用与内容权益保护之间建立更清晰的规则与边界。