这篇文章最初发表在 NVIDIA 技术博客上。
在 Black Hat USA 2023 上， NVIDIA 举办了为期两天的培训课程，为安全专业人员提供了一个现实的环境和方法，以探索机器学习（ML）在当今环境中带来的独特风险。
在这篇文章中， NVIDIA AI 红队分享了培训期间的内容，以及继续学习 ML 安全的其他机会。
Black Hat USA 训练
今年是人工智能的辉煌一年。许多安全团队被要求评估和保护人工智能产品，而没有适当评估其潜在漏洞的技能和知识。
通过在世界领先的安全会议之一上提供此培训，我们能够在许多不同的垂直行业分享 NVIDIA AI 红队的经验和知识。我们帮助确保这些组织能够开始安全地使用和开发人工智能解决方案。我们也来自那个社区，所以这是一个舒适的教学空间。
为期两天的培训包括 20 多本 Jupyter 笔记本和 200 张幻灯片，分为以下模块：
- 介绍
- 逃避
- 提取
- 评估
- 反转
- 成员推断
- 中毒
- 所有应用于大型语言模型的内容
太多了。与会者带着幻灯片和笔记本回家，继续按照自己的节奏反复学习课程。
该课程试图吸引来自各种背景的学生，为他们在机器学习和安全交叉领域打下坚实的基础。它让学生们从 NumPy 力学的基础知识到针对大型语言模型的算法攻击。每个模块都给出了一些理论，然后探索了应用场景。
学生们得到了一个基于我们自己框架的基本方法论（NVIDIA AI 红队的评估框架）。他们得到了一个环境和代码，可以带回自己的组织进行迭代。还有很多很酷的工作要做。
与会者的问题和关注点
除了重塑问题之外，还有很多关于攻击机器学习系统的效果和可能性的问题。多年来，机器学习一直是防御性产品。"ML 旁路"每天都在发生。
我们的目标是帮助与会者了解威胁模型、技术和攻击向量，以便他们能够适当地设计和校准安全控制。安全并不是一刀切的，但对组织内部的系统有一定的了解是建立有意义的防御的先决条件。
机器学习安全在学术界有着悠久的历史。本课程为学生提供了将这些技术应用于熟悉的安全场景的经验。
培训的主要经验教训
人们都非常聪明和有创造力。查看安全性并指出缺陷是很容易的（我们确实这样做了，在 ML 中有很多），但安全性在过去十年中已经显著成熟。我们认为安全行业也将迎接 ML 带来的挑战。
这次培训也是行业基准化的一次很好的实践。我们有来自各个行业的专业人士。了解这些行业在采用机器学习和安全系统方面的进展真的很有趣。可以公平地说，大多数人才刚刚开始他们的旅程。
总的来说，我们很高兴对这一领域感兴趣的人有一个可以运作的大本营。这是一个有趣的空间，我们喜欢与同龄人分享我们的材料。
有机会了解有关 ML 安全的更多信息
NVIDIA 机器学习安全课程的下一次迭代将在 欧盟黑帽 12 月 4 日和 5 日进行。
我们也在研究其他交付方式和机制。如果您有请求，请联系 AI 红队。参加课程的学生将收到我们提供的最新信息！