人工智能爬虫导致维基共享资源带宽需求激增 50%

2025 年 4 月 1 日,维基媒体基金会在博文中表示,自 2024 年 1 月以来,维基共享资源下载多媒体的带宽消耗激增 50%,这一变化趋势主要由用于 AI 训练数据集的网络爬虫导致。以下是具体分析1:

  • 爬虫流量特征与数据存储模式的冲突:维基媒体基金会的数据存储模式是低使用频率内容仅存放在核心数据中心,而高频请求的数据则在更邻近的数据中心提供备份。人类读者倾向于关注特定主题,而爬虫机器人倾向于 "批量阅读" 大量页面并访问不太受欢迎的页面,这意味着它们有更多的流量发送到核心数据中心,带来了更高的流量成本。根据统计,机器人以 35% 的总体浏览量消耗了 65% 的核心数据中心流量资源。
  • 爬虫行为的无节制性:这些人工智能爬虫为了满足训练 AI 模型的数据需求,对数据的获取既贪婪又不加选择,会访问大量的页面资源,甚至还去访问了维基媒体基金会开发环境关键系统(如代码审查平台、错误跟踪器)的 URL,在一定时间内产生的请求量巨大,远远超过了正常人类用户的访问量,导致带宽需求急剧上升。

维基媒体基金会面临着较大的运营开支压力,其网站可靠性团队不得不花费大量时间和资源来阻止爬虫程序,以避免对普通用户造成干扰。

维基媒体基金会采取了以下针对爬虫行为的措施:

  • 技术限制手段
    • IP 限制:基金会可能会监控 IP 地址,对频繁发送请求的 IP 进行限制,阻止或限制来自这些 IP 的访问,从而减少爬虫的大规模访问。
    • User - Agent 检测:通过检测请求中的 User - Agent 字段来判断请求是否来自常见的爬虫程序。如果发现是爬虫的 User - Agent,就会对其进行拦截或限制,拒绝为其提供服务。
    • 验证码验证:在部分页面或操作中加入验证码,要求访问者进行人机验证,如拖动滑块、选中特定图片等,以防止自动化爬虫程序的访问。
    • 动态页面生成:使用 JavaScript 等技术在服务器端动态生成页面内容,使爬虫无法直接获取完整的页面数据,增加爬虫解析和获取信息的难度。
  • 规范与沟通措施
    • 明确使用规范:强调基金会的内容是免费提供的,但基础设施需要成本,呼吁建立负责任、可持续的基础设施使用规范,让开发者和数据复用者明确如何正确合法地获取和使用其内容。
    • 与科技公司合作:与相关科技公司合作来共同应对爬虫问题。例如,Cloudflare 推出了 AI Labyrinth,它使用人工智能生成的内容来减慢爬虫的速度,维基媒体基金会可能会借助类似的技术和工具来保护自身资源。
相关推荐
kooboo china.6 分钟前
Tailwind CSS 实战:基于 Kooboo 构建 AI 对话框页面(五):语音合成输出与交互增强
css·人工智能·交互
网易智企8 分钟前
专场回顾 | 重新定义交互,智能硬件的未来设计
人工智能·交互·智能硬件
我想睡觉26116 分钟前
Python打卡训练营Day40
开发语言·人工智能·python·深度学习·机器学习
哲讯智能科技22 分钟前
SAP Business One:无锡哲讯科技助力中小企业数字化转型的智慧之选
大数据·人工智能
林林宋41 分钟前
DiTAR: Diffusion Transformer Autoregressive Modeling for Speech Generation
人工智能·深度学习·transformer
摘星编程1 小时前
华为云Flexus+DeepSeek征文 | 基于Dify和DeepSeek-R1开发企业级AI Agent全流程指南
人工智能·华为云·deepseek·华为云flexus·dify-llm
lucky_lyovo1 小时前
机器学习-线性回归基础
人工智能·机器学习·线性回归
一洽客服系统2 小时前
技术为器,服务为本:AI时代的客服价值重构
人工智能
moonsims4 小时前
无人机桥梁3D建模的拍摄频率
人工智能
LaughingZhu6 小时前
PH热榜 | 2025-05-29
前端·人工智能·经验分享·搜索引擎·产品运营