《第四届数字信任大会》精彩观点:腾讯经验-人工智能安全风险之应对与实践|从十大风险到企业级防护架构

背景

观点内容摘取自《第四届数字信任大会暨ISACA中国2025年度大会》嘉宾的演讲与分享,内容代表了演讲嘉宾的经验分享/意见观点。

详细版本PPT更新在ISACA中国区官网。

1. AI应用中的十大常见安全风险

  1. 样本投毒(数据污染)

  2. Prompt注入攻击(恶意利用)

  3. 代码辅助工具数据泄露

  4. 第三方代码依赖污染

  5. 自动化Agent权限滥用

  6. 自建模型平台暴露面过大

  7. 模型数据和隐私泄露

  8. 模型推理劫持(对抗样本)

  9. 伦理与偏见放大

  10. 开源模型滥用(深度伪造/辅助犯罪)

这些风险贯穿从数据采集、模型训练到推理和部署的全生命周期,尤其在多智能体系统和开源生态中表现突出。


2. 三个典型安全漏洞案例

案例1:Anthropic SQLite注入漏洞

  • 问题:SQL注入 → 存储式提示注入 → AI代理劫持

  • 关键点:攻击从数据面升级到控制面,触发AI决策逻辑失控。

案例2:MCP Inspector RCE漏洞

  • CVE-2025-49596,CVSS评分9.4

  • 开发者本地工具成为攻击入口,显示本地开发环境同样需严格防护。

案例3:mcp-remote命令注入漏洞

  • CVE-2025-6514,CVSS评分9.6

  • OAuth授权流程被劫持,导致跨平台任意命令执行。


3. 新型威胁:大模型越狱与MCP生态风险

  • 大模型越狱攻击:利用提示词和上下文污染绕过安全策略。

  • MCP协议生态问题:身份认证缺失、权限控制不足、审计追溯缺乏。

  • 多智能体复杂性:权限传递不一致、身份仿冒、跨智能体越权访问。


4. 企业级防护实践

4.1 大模型全生命周期安全

  • 数据安全:分类分级、加密、脱敏、数据溯源、机密计算。

  • 模型安全:漏洞扫描、推理劫持检测、持续监控。

  • 访问控制:统一身份认证、权限分级、跨平台授权。

4.2 防护架构与工具

  • LLM-WAF(大模型防火墙):实时拦截算力滥用、提示词攻击与数据泄露。

  • AI-SPM(攻击面与漏洞管理):风险态势感知与漏洞修复。

  • 天御大模型安全网关:统一身份和权限管控,连接智能体、模型与服务,实现决策链安全。


5. 风险评估与控制框架

  • 130+ 控制措施:覆盖数据、模型、MCP服务、Agent系统七大层次。

  • 测试与监控:从提示词攻击到工作流检测,形成多层次防线。

  • 统一安全水位:消除生态碎片化带来的薄弱点。


相关推荐
是店小二呀6 分钟前
openGauss进阶:使用DBeaver可视化管理与实战
开发语言·人工智能·yolo
万粉变现经纪人9 分钟前
如何解决 pip install 编译报错 ‘cl.exe’ not found(缺少 VS C++ 工具集)问题
开发语言·c++·人工智能·python·pycharm·bug·pip
深度学习机器15 分钟前
深度智能体框架DeepAgent剖析
人工智能·开源
星云数灵15 分钟前
AI赋能传媒科技创新研究报告
人工智能·ai·大模型·生成式ai·ai赋能·传媒科技·传媒ai
金融小师妹20 分钟前
基于机器学习与深度强化学习:非农数据触发AI多因子模型预警!12月降息预期骤降的货币政策预测
大数据·人工智能·深度学习·1024程序员节
walnut_oyb33 分钟前
arXiv|SARLANG-1M:用于 SAR 图像理解的视觉-语言建模基准
论文阅读·人工智能·机器学习·计算机视觉·语言模型·自然语言处理
GOTXX38 分钟前
CANN特性能力深度解析:释放AI计算潜能
人工智能
jinxinyuuuus1 小时前
Info Flow:分布式信息采集、数据去重与内容分级的工程实现
人工智能·分布式·程序人生·生活
settingsun12251 小时前
分布式系统架构:SQL&NoSQL
sql·架构·nosql
IT_陈寒1 小时前
Spring Boot 3.2 性能翻倍秘诀:这5个配置优化让你的应用起飞🚀
前端·人工智能·后端