OpenAI 组建安全 AGI 新团队!应对AI“潘多拉魔盒”

夕小瑶科技说 原创

作者 | 小戏

一旦谈及未来 AI,除了天马行空的科幻畅想,不可避免的也有未来 AI 时代的末日预言。从 AI 武器化到 AI 欺骗,从邪恶 AI 到 AI 掌权,人工智能,尤其是通用人工智能的风险始终都清清楚楚的写在人们的担忧之中。

而伴随着以 GPT-4 为代表的大模型的出现,人类如何掌控这些拥有无法解释以致使用"涌现"而命名的神奇能力的大模型成为了一个巨大的灰犀牛问题,AI 的安全风险不会瞬间爆发,但是却不紧不慢的向我们奔袭而来。

而在昨天,OpenAI 在其安全与对齐社区中发布文章,宣布组建名为"Preparedness"的新团队,这个以"准备"甚至带着"战备"意味的词似乎表明 OpenAI 已经在试图为未来的 AI 风险付出认真的行动

根据博客,OpenAI 表示自己已经开始积极的开展工作以应对 AI 相关的全方位的安全风险,这些风险不仅仅包含现在以 GPT 为基础架构的大模型潜在的风险,也包含未来可能的"超级人工智能"所蕴含的风险。具体而言,Preparedness 团队将评估与解决:

  1. 在现在以及未来,前沿的 AI 系统被滥用,它们会有多危险?

  2. 如何构建一个强大的框架来监控、评估、预测与防御前沿 AI 系统可能的风险?

  3. 如果前沿的 AI 系统被盗用,恶意行为者可能会如何使用它们?

在这些大目标的基础上,这个由 MIT 教授 Aleksander Madry 领导的新团队将主要防范包括网络安全风险、化学风险、生物风险、辐射风险、核风险以及政治风险在内的多种灾难性风险

此外,Preparedness 团队还将开发与维护一个风险指引发展策略(Risk-Informed Development Policy ,RDP),RDP 将详细阐释 OpenAI 将如何对自己开发的大模型进行风险监控,如何对大模型风险管理搭建治理体系与治理结构,以及如何对已发生风险进行补救。

▲image.png

与此同时,OpenAI 也发布了一个 AI 安全风险防范挑战赛用以预防 AI 被灾难性的滥用,挑战赛的 TOP 10 将获得总计 25000 美元的 API 积分。

挑战赛地址:

https://openai.com/form/preparedness-challenge

最后,组建新团队当然还有一步就是广发英雄帖:

▲image.png

目前在招的岗位有安全风险研究员以及研究工程师,怀揣拯救世界梦想的少年有没有去挑战 AI 这条恶龙的兴趣呢?

相关推荐
Blossom.11827 分钟前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
Gyoku Mint33 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc78736 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云36 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he44 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生2 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336393 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
安全系统学习6 小时前
网络安全之SQL RCE漏洞
安全·web安全·网络安全·渗透测试
美狐美颜sdk6 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习