四大攻击类型并存,NIST 警告人工智能系统带来的安全和隐私风险

美国国家标准与技术研究院 (NIST) 近日发布了有关对抗性机器学习 (AML) 攻击和缓解措施指南, 呼吁人们再度关注近年来人工智能 (AI) 系统部署增加所带来的隐私和安全挑战,并表示这类系统目前没有万无一失的方法进行保护。

NIST指出,这些安全和隐私挑战包括恶意操纵训练数据、恶意利用模型漏洞对人工智能系统的性能造成不利影响,甚至是恶意操纵、修改或仅仅是与模型交互,就可以外泄关乎个人、企业甚至是模型本身专有的敏感数据。

伴随着OpenAI ChatGPT 和 Google Bard 等生成式人工智能系统的出现,人工智能系统正快速融入在线服务,但支持这些技术的模型在机器学习操作的各个阶段都面临着许多威胁。NIST ,重点关注了四种主要类型的攻击:逃避、中毒、隐私和滥用。

  • 规避攻击:目的是在模型部署后产生对抗性输出
  • 中毒攻击:通过引入损坏的数据,针对算法的训练阶段进行攻击
  • 隐私攻击:目的是通过提出规避现有防护措施的问题,收集有关系统或其训练数据的敏感信息
  • 滥用攻击:目的是破坏合法的信息来源,如包含错误信息的网页,以重新利用系统的预期用途

在规避攻击中,NIST 以对自动驾驶车辆的攻击作为示例,例如创建令人困惑的车道标记导致汽车偏离道路。

针对自动驾驶车辆的规避攻击

在中毒攻击中,攻击者试图在人工智能训练期间引入损坏的数据。例如,通过将大量此类语言实例植入对话记录中,让聊天机器人使用不恰当的语言,以使人工智能相信这是常见的用语。

在隐私攻击中,攻击者试图通过询问聊天机器人大量问题,并使用给出的答案对模型进行逆向工程,进而发现弱点来获取有关人工智能或其训练数据中存在的敏感数据。

滥用攻击涉及将不正确的信息插入到源中,例如网页或在线文档,然后人工智能吸收这些信息。与前面提到的中毒攻击不同,滥用攻击试图从合法但受损的来源向人工智能提供不正确的信息,以重新调整人工智能系统的预期用途。

NIST表示,上述攻击并不需要完全掌握人工智能系统某些方面就可以轻松实施,希望科技界能拿出更好的防御措施来应对这些风险。

参考来源:

NIST Warns of Security and Privacy Risks from Rapid AI System Deployment

NIST: No Silver Bullet Against Adversarial Machine Learning Attacks

相关推荐
PcVue China2 小时前
PcVue + SQL Grid : 释放数据的无限潜力
大数据·服务器·数据库·sql·科技·安全·oracle
HyperAI超神经2 小时前
【TVM 教程】使用 Tensorize 来利用硬件内联函数
人工智能·深度学习·自然语言处理·tvm·计算机技术·编程开发·编译框架
扫地的小何尚3 小时前
NVIDIA RTX 系统上使用 llama.cpp 加速 LLM
人工智能·aigc·llama·gpu·nvidia·cuda·英伟达
埃菲尔铁塔_CV算法6 小时前
深度学习神经网络创新点方向
人工智能·深度学习·神经网络
艾思科蓝-何老师【H8053】6 小时前
【ACM出版】第四届信号处理与通信技术国际学术会议(SPCT 2024)
人工智能·信号处理·论文发表·香港中文大学
Hacker_Nightrain6 小时前
网络安全CTF比赛规则
网络·安全·web安全
weixin_452600697 小时前
《青牛科技 GC6125:驱动芯片中的璀璨之星,点亮 IPcamera 和云台控制(替代 BU24025/ROHM)》
人工智能·科技·单片机·嵌入式硬件·新能源充电桩·智能充电枪
学术搬运工7 小时前
【珠海科技学院主办,暨南大学协办 | IEEE出版 | EI检索稳定 】2024年健康大数据与智能医疗国际会议(ICHIH 2024)
大数据·图像处理·人工智能·科技·机器学习·自然语言处理
看山还是山,看水还是。7 小时前
Redis 配置
运维·数据库·redis·安全·缓存·测试覆盖率
右恩7 小时前
AI大模型重塑软件开发:流程革新与未来展望
人工智能