创新研报 | 2024+人工智能安全报告

人工智能(AI)是新一轮科技革命和产业变革的核心技术,被誉为下一个生产力前沿。具有巨大潜力的 AI 技术同时也带来两大主要挑战:一个是放大现有威胁,另一个是引入新型威胁。

奇安信预计,未来十年,人工智能技术的恶意使用将快速增长,在政治安全、网络安全、物理安全和军事安全等方面将构成严重威胁。

研究发现:

AI已成攻击工具,带来迫在眉睫的威胁,AI相关的网络攻击频次越来越高。数据显示,在2023年基于 Al 的深度伪造欺诈异增了 3000%,基于 Al 的钓鱼邮件数量增长了 1000%;奇安信威胁情报中心监测发现,已有多个有国家背景的 APT 组织利用 A 实施了十余起网络攻击事件。同时,各类基于 Al的新型攻击种类与手段不断出现,甚至出现泛滥,包括深度伪造(Deepfake)、黑产大语言模型、恶意 A 机器人、自动化攻击等,在全球造成了严重的危害。

AI 加剧军事威胁,Al 武器化趋势显现。Al 可以被用来创建或增强自主武器系统,这些系统能够在没有人类直接控制的情况下选择和攻击目标。这可能导致道德和法律问题,如责任归属问题及如何确保符合国际人道法。Al 系统可能会以难以预测的方式行动,特别是在复杂的战场环境中,这可能导致意外的平民伤亡或其他未预见的战略后果。强大的 AI 技术可能落入非国家行为者或恐怖组织手中,他们可能会使用这些技术进行难以应付的破坏活动或恐怖袭击。

AI 与大语言模型本身伴随着安全风险,业内对潜在影响的研究与重视程度仍远远不足。全球知名应用安全组织 OWASP 发布大模型应用的十大安全风险,包括提示注入、数据泄漏、沙箱不足和未经授权的代码执行等。此外,因训练语料存在不良信息导致生成的内容不安全,正持续引发灾难性的后果,危害国家安全、公共安全甚至公民个人安全。但目前,业内对其潜在风险、潜在危害的研究与重视程度还远远不足。

AI 技术推动安全范式变革,全行业需启动人工智能网络防御推进计划。新一代 AI 技术与大语言模型改变安全对抗格局,将会对地缘政治竞争和国家安全造成深远的影响,各国正在竞相加强在人工智能领域的竞争,以获得面向未来的战略优势。全行业需启动人工智能网络防御推进计划,包括利用防御人工智能对抗恶意人工智能,扭转"防御者困境"

一个影响深远的新技术出现,人们一般倾向于在短期高估其作用,而又长期低估其影响。当前攻防双方都在紧张地探索 Al 杀手级的应用,也许在几天、几个月以后就会看到重大的变化。因此,无论监管机构、安全行业,还是政企机构,都需要积极拥抱并审慎评估 AI 技术与大模型带来的巨大潜力和确定性,监管与治理须及时跟进,不能先上车再补票。

由于文章篇幅有限,原文链接,请点击:

创新研报 | 2024+人工智能安全报告

查看 1000+热门创新案例 请进入 创新社区

Runwise创新社区是一个连接全球领先创新智库和专家,汇聚10+万专业企业创始人、创业家、创新提供者(咨询师/咨询顾问)创新研究学者参与的创新实践社区。

相关推荐
可夫小子13 分钟前
13 条数据跑出 65.87 分:这场 48 小时真机挑战赛,拆穿了具身智能的落地真相
人工智能
大模型真好玩1 小时前
做好真人分身却不知道拍什么?8个视频应用场景直接抄
人工智能·agent·deepseek
ZhengEnCi1 小时前
黄仁勋想回英伟达却被拒:创始人 CEO 辞职后为什么回不来,董事会继任机制全拆解
人工智能·nvidia·团队管理
真上帝的左手1 小时前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
墨林陌2 小时前
AI 热点日报(2026-11-18):OpenAI 发布 GPT-6.2,APEC 峰会聚焦 AI,AI 制药融资创新高
人工智能
挖掘狂人2 小时前
ThreadLocal 会内存泄露吗?
java·安全·架构
byte轻骑兵2 小时前
【ATT】规范精讲[8]:配置要确认、灌包要速度、多字段要原子——BLE 写入的四重选择
人工智能·aiot·l2cap·嵌入式蓝牙·蓝牙链路管理
AAA修煤气灶刘哥2 小时前
Agent 都能干活了,软件还需要那么多按钮吗?
人工智能·后端·架构
Purple Coder3 小时前
开题报告学习
人工智能
狂师3 小时前
牛逼!谷歌亲自下场开源的AI自动化神器!
人工智能·开源·测试