人工智能爬虫导致维基共享资源带宽需求激增 50%

2025 年 4 月 1 日,维基媒体基金会在博文中表示,自 2024 年 1 月以来,维基共享资源下载多媒体的带宽消耗激增 50%,这一变化趋势主要由用于 AI 训练数据集的网络爬虫导致。以下是具体分析1:

  • 爬虫流量特征与数据存储模式的冲突:维基媒体基金会的数据存储模式是低使用频率内容仅存放在核心数据中心,而高频请求的数据则在更邻近的数据中心提供备份。人类读者倾向于关注特定主题,而爬虫机器人倾向于 "批量阅读" 大量页面并访问不太受欢迎的页面,这意味着它们有更多的流量发送到核心数据中心,带来了更高的流量成本。根据统计,机器人以 35% 的总体浏览量消耗了 65% 的核心数据中心流量资源。
  • 爬虫行为的无节制性:这些人工智能爬虫为了满足训练 AI 模型的数据需求,对数据的获取既贪婪又不加选择,会访问大量的页面资源,甚至还去访问了维基媒体基金会开发环境关键系统(如代码审查平台、错误跟踪器)的 URL,在一定时间内产生的请求量巨大,远远超过了正常人类用户的访问量,导致带宽需求急剧上升。

维基媒体基金会面临着较大的运营开支压力,其网站可靠性团队不得不花费大量时间和资源来阻止爬虫程序,以避免对普通用户造成干扰。

维基媒体基金会采取了以下针对爬虫行为的措施:

  • 技术限制手段
    • IP 限制:基金会可能会监控 IP 地址,对频繁发送请求的 IP 进行限制,阻止或限制来自这些 IP 的访问,从而减少爬虫的大规模访问。
    • User - Agent 检测:通过检测请求中的 User - Agent 字段来判断请求是否来自常见的爬虫程序。如果发现是爬虫的 User - Agent,就会对其进行拦截或限制,拒绝为其提供服务。
    • 验证码验证:在部分页面或操作中加入验证码,要求访问者进行人机验证,如拖动滑块、选中特定图片等,以防止自动化爬虫程序的访问。
    • 动态页面生成:使用 JavaScript 等技术在服务器端动态生成页面内容,使爬虫无法直接获取完整的页面数据,增加爬虫解析和获取信息的难度。
  • 规范与沟通措施
    • 明确使用规范:强调基金会的内容是免费提供的,但基础设施需要成本,呼吁建立负责任、可持续的基础设施使用规范,让开发者和数据复用者明确如何正确合法地获取和使用其内容。
    • 与科技公司合作:与相关科技公司合作来共同应对爬虫问题。例如,Cloudflare 推出了 AI Labyrinth,它使用人工智能生成的内容来减慢爬虫的速度,维基媒体基金会可能会借助类似的技术和工具来保护自身资源。
相关推荐
chh5632 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval3 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi4 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿4 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方4 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI5 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP5 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷5 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI5 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具