四大攻击类型并存,NIST 警告人工智能系统带来的安全和隐私风险

美国国家标准与技术研究院 (NIST) 近日发布了有关对抗性机器学习 (AML) 攻击和缓解措施指南, 呼吁人们再度关注近年来人工智能 (AI) 系统部署增加所带来的隐私和安全挑战,并表示这类系统目前没有万无一失的方法进行保护。

NIST指出,这些安全和隐私挑战包括恶意操纵训练数据、恶意利用模型漏洞对人工智能系统的性能造成不利影响,甚至是恶意操纵、修改或仅仅是与模型交互,就可以外泄关乎个人、企业甚至是模型本身专有的敏感数据。

伴随着OpenAI ChatGPT 和 Google Bard 等生成式人工智能系统的出现,人工智能系统正快速融入在线服务,但支持这些技术的模型在机器学习操作的各个阶段都面临着许多威胁。NIST ,重点关注了四种主要类型的攻击:逃避、中毒、隐私和滥用。

  • 规避攻击:目的是在模型部署后产生对抗性输出
  • 中毒攻击:通过引入损坏的数据,针对算法的训练阶段进行攻击
  • 隐私攻击:目的是通过提出规避现有防护措施的问题,收集有关系统或其训练数据的敏感信息
  • 滥用攻击:目的是破坏合法的信息来源,如包含错误信息的网页,以重新利用系统的预期用途

在规避攻击中,NIST 以对自动驾驶车辆的攻击作为示例,例如创建令人困惑的车道标记导致汽车偏离道路。

针对自动驾驶车辆的规避攻击

在中毒攻击中,攻击者试图在人工智能训练期间引入损坏的数据。例如,通过将大量此类语言实例植入对话记录中,让聊天机器人使用不恰当的语言,以使人工智能相信这是常见的用语。

在隐私攻击中,攻击者试图通过询问聊天机器人大量问题,并使用给出的答案对模型进行逆向工程,进而发现弱点来获取有关人工智能或其训练数据中存在的敏感数据。

滥用攻击涉及将不正确的信息插入到源中,例如网页或在线文档,然后人工智能吸收这些信息。与前面提到的中毒攻击不同,滥用攻击试图从合法但受损的来源向人工智能提供不正确的信息,以重新调整人工智能系统的预期用途。

NIST表示,上述攻击并不需要完全掌握人工智能系统某些方面就可以轻松实施,希望科技界能拿出更好的防御措施来应对这些风险。

参考来源:

NIST Warns of Security and Privacy Risks from Rapid AI System Deployment

NIST: No Silver Bullet Against Adversarial Machine Learning Attacks

相关推荐
伤不起bb8 分钟前
MySQL 高可用
linux·运维·数据库·mysql·安全·高可用
Mr数据杨4 小时前
【Dv3Admin】插件 dv3admin_chatgpt 集成大语言模型智能模块
人工智能·语言模型·chatgpt
zm-v-159304339864 小时前
AI 赋能 Copula 建模:大语言模型驱动的相关性分析革新
人工智能·语言模型·自然语言处理
zhz52145 小时前
AI数字人融合VR全景:从技术突破到可信场景落地
人工智能·vr·ai编程·ai数字人·ai agent·智能体
数据与人工智能律师5 小时前
虚拟主播肖像权保护,数字时代的法律博弈
大数据·网络·人工智能·算法·区块链
James. 常德 student5 小时前
网络安全知识点
安全·web安全·php
武科大许志伟6 小时前
武汉科技大学人工智能与演化计算实验室许志伟课题组参加2025中国膜计算论坛
人工智能·科技
哲讯智能科技6 小时前
【无标题】威灏光电&哲讯科技MES项目启动会圆满举行
人工智能
__Benco6 小时前
OpenHarmony平台驱动开发(十七),UART
人工智能·驱动开发·harmonyos
小oo呆6 小时前
【自然语言处理与大模型】Windows安装RAGFlow并接入本地Ollama模型
人工智能·自然语言处理