360智脑张向征:共建可信可控AI生态 应对大模型安全挑战

发布 | 大力财经

人工智能的加速发展,有力推动了社会的数智化转型;与此同时,带来的相关安全风险也日益凸显。近日,在北京市举办的通明湖人工智能开发与应用大会上,360智脑总裁张向征以"大模型安全研究与实践"为主题,向业界分享了大模型安全领域的最新研究成果和实践经验。

张向征表示,大模型是数智化时代的重要基础设施,其应用贯穿众多行业和领域,但伴随而来的安全挑战同样不容忽视。大模型的开发、训练、推理和应用涉及复杂的软件生态系统,这一过程中,数据泄露、模型投毒、提示注入攻击、幻觉问题等安全隐患贯穿始终。张向征强调,保障大模型安全,不仅是维护企业利益的关键,更是确保社会公共安全的必要举措。

张向征提出,大模型安全面临四大核心挑战:大模型软件生态系统安全、内容安全、幻觉问题和Agent流程可控。针对这些挑战,360智脑团队基于多年安全研究积累,提出了一套完整的安全防护体系,包括全链路检测、防护、攻击与测评的闭环流程。

在大模型软件生态系统安全方面,360智脑通过自主研发的检测工具与多层次安全评估方法,可及时发现和修复潜在漏洞,为开发者和用户提供全面的技术支持。此外,针对提示注入攻击、持久性提示劫持、记忆投毒等新型安全威胁,团队研发了精准识别与多重防御机制,显著提升了模型对恶意行为的抗干扰能力。

内容安全方面,张向征分享了360智脑的实践经验。团队通过持续预训练、安全微调和安全强化对齐等手段,结合国标TC260的要求,构建了"大模型原生安全增强""内容安全护栏"两大防护方案,有效减少模型输出中可能涉及的歧视偏见、违禁内容和其他不良信息。在实际应用中,这些措施帮助大模型在金融、医疗和教育等行业更安全、更高效地提供服务。

针对备受关注的大模型幻觉问题,360智脑创新性地引入幻觉检测Agent技术,能够对模型的输出进行实时评估与修正。通过结合外部知识库和搜索增强功能,该技术有效降低了幻觉发生率,提升了模型的决策可信度。张向征透露,得益于这一技术,360智脑在AI搜索场景中的用户体验提升了32%。

此外,在Agent流程可控方面,360智脑构建了一套针对多Agent协作任务的流程监控与管理机制,通过实时监测和动态调整,确保模型任务执行的全程可控性与透明性。这一举措不仅有效降低了操作偏差的风险,还为复杂任务的安全性提供了有力保障。

演讲还介绍了新型攻击方式的风险评估与应对策略。随着大模型应用的加深,基于自然语言到代码的间接提示注入(NL2SHELL)等攻击正日益增多。对此,360智脑利用自主研发的安全评测大模型,结合红队攻击模型,通过对抗方式快速识别潜在威胁,并持续优化模型的安全策略。

张向征表示,大模型安全不仅是技术问题,更是行业共同面临的课题,只有在保障大模型安全的前提下,才能真正释放AI的无限可能。360智脑致力于与产业伙伴协作,共建安全可信的AI生态。他呼吁全行业关注大模型的"检、防、攻、测"体系建设,通过技术创新与资源共享,共同推动大模型在社会各领域的落地与发展。

相关推荐
阿坡RPA6 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049936 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心6 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI8 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c9 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2059 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清9 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh10 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员10 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物10 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技