商汤SenseNova 5.5大模型的应用实践

SenseNova 5.5如何重塑金融、医疗与自动驾驶的未来

**©作者|**wy

**来源|**神州问学

一、引言

人工智能(AI)作为引领未来发展的重要力量,正以前所未有的速度改变着我们的生活和工作方式。每年一度的世界人工智能大会(WAIC),不仅展示了最前沿的AI技术成果,更成为了洞察未来科技趋势的重要窗口。

今年的WAIC上,商汤科技,成为全场瞩目的焦点。他们不仅带来了对AI技术未来的深刻洞察,更重磅发布了国内首个具备流式原生多模态交互能力的大模型------日日新SenseNova 5.5。这一创新成果的发布,不仅标志着商汤科技在AI技术研发上迈出了坚实的一步,更为整个AI行业的发展注入了新的活力。

日日新SenseNova 5.5的问世,是对传统AI交互模式的一次重大突破。它融合了视觉、语音、文本等多种信息源,实现了真正意义上的多模态交互,为用户带来了更加自然、流畅、智能的交互体验。这一技术的诞生,不仅将极大地提升用户在日常生活中的便捷性和趣味性,更将为教育、医疗、娱乐等众多领域带来前所未有的变革与机遇。

二、SenseNova 5.5的应用实践

1. 金融领域

4月23日,海通证券与商汤科技联合发布了金融行业多模态全栈式大模型,双方在智能客服、合规风控、代码辅助、展业办公助手等领域展开了深度合作,覆盖证券交易的前、中、后期各个环节,为金融行业数字化转型注入全新活力。通过SenseNova大模型的赋能,海通证券实现了数智化转型,提升了业务处理效率和客户体验。具体而言,SenseNova大模型在智能客服方面能够实时理解和响应客户需求,提供个性化的金融咨询和服务;在合规风控方面,通过大数据分析和模型预测,有效降低了业务风险;在代码辅助和展业办公助手方面,则大幅提高了工作效率和准确性。

2. 医疗领域

2024世界人工智能大会(WAIC)期间,作为全球医疗大模型创新先行者,商汤科技与瑞金医院深度合作,构建了全院智慧影像云平台,实现了影像数据的互联互通及多项智能化功能,如移动阅片、远程会诊、AI辅助诊疗等,为医院提供了现代化智慧医疗的坚实基础。在精准诊疗方面,商汤科技的多模态医疗模型助力瑞金医院实现全身多部位多器官的AI辅助诊疗,特别是SenseCare®肝脏智能手术规划系统,显著提升了诊疗精度与效率。在病理诊断领域,商汤科技协助瑞金医院建立了数字病理科标杆,通过AI辅助诊断系统减轻医生负担,提高阅片效率,这一成果已被《数字化智慧病理科建设白皮书》收录,为国内外医院病理科的数字化转型提供了重要参考。此外,商汤科技还助力瑞金医院在临床科研方面取得突破,通过多模态影像大数据治理及专病应用项目,为医院科研提供了丰富的数据支持。

3. 自动驾驶领域

商汤科技的绝影自动驾驶功能车是SenseNova大模型在自动驾驶领域的杰出代表。基于SenseNova大模型的视觉大模型能力,商汤实现了可识别3000类物体的BEV环视通用感知算法的实车量产,并构建了感知决策一体化的自动驾驶多模态模型。这一成果不仅提升了自动驾驶车辆的环境感知能力和行为决策能力,还带来了更强的环境、行为、动机解码能力。目前,商汤绝影自动驾驶功能车已在多个城市进行了路测和示范运营,展现了其在自动驾驶领域的领先地位。

在本次展会上,商汤绝影展示了可解释、可交互的自动驾驶大模型DriveAGI,同时还发布了有关车载生成式交互界面的多款车载应用。此外,商汤绝影L4级别自动驾驶小巴也亮相本届WAIC,并在承担大会接驳任务。

4. 智慧城市与政务服务

今年8月,上海临港新片区成立五周年之际,依托商汤临港的AIDC算力平台,推动政务服务智能化升级。通过大数据、云计算等技术,实现政务数据高效利用,提升政府服务效率。智能客服、自动化审批等应用,为市民提供便捷服务。同时,构建智慧城市生态体系,促进城市与产业融合发展。

商汤科技推出的城市方舟智能管理平台,基于SenseNova大模型体系能力,为城市管理者提供了全面的智能化解决方案。该平台通过整合多模态数据资源,实现了城市运行状态的实时监测和智能分析。在交通管理领域,平台能够优化交通信号控制、提高道路通行效率;在城市服务领域,则能够提供便捷的公共服务查询和办理渠道。此外,平台还具备应急响应和遥感解译等功能,为城市的安全管理和灾害预防提供了有力支持。

三、SenseNova 5.5的核心优势

1、流式原生多模态交互能力

日日新SenseNova 5.5是国内首个具备流式原生多模态交互能力的大模型,能够实时融合视觉、语音、文本等多种信息源,实现自然流畅的交互体验。

用户可以通过语音、文字、图像等多种方式与模型进行交互,模型能够准确理解用户的意图并给出相应的回应。

2、庞大的模型规模和惊人的性能表现

日日新SenseNova 5.5的参数量高达6000亿,较上一代产品实现了近30%的性能提升。

在知识理解、逻辑推理、数理分析、编程能力等多个维度均达到了前所未有的高度。

3、强大的长文本处理能力和多模态融合能力

日日新SenseNova 5.5对长文本的处理能力得到空前加强,其支持的上下文长度可达约200K,大大拓宽了大模型理解和分析复杂文本的边界。

在多模态融合方面,实现从图文到视频的全面突破,带来更加身临其境的人机交互体验。

4、实时流式多模态交互模型日日新5o

日日新5o作为日日新SenseNova 5.5体系中的重要组成部分,是国内首个所见即所得模型,具备实时多模态交互和问答功能。

用户可以通过输入文字、图像或音频等多种方式与模型进行互动,获得更加便捷和个性化的体验。

5、端侧模型全面升级

此次发布会上,商汤推出全面升级的端侧模型「日日新 5.5 Lite」。日日新5.5 Lite是商汤公司专为端侧模型进行升级而推出的模型,在提高模型精度的同时,成功降低了首包延迟40%,推理效率也提升了15%,性能指标更优,推理速度更快,端侧模型矩阵更完善。

这使得用户在使用日日新5.5 Lite进行推理任务时,能够享受到更高效和流畅的体验。

作为一款集大成之作,SenseNova 5.5模型实现了跨模态信息的无缝融合与实时处理,为用户提供了接近自然语言的流畅交互体验。该模型不仅能够理解复杂指令、进行多轮对话,还能在多个应用场景中展现出强大的适应性和创造力,为AI技术在医疗、教育、娱乐等多个领域的广泛应用奠定了基础。SenseNova 5.5的发布,不仅展示了商汤科技在AI技术研发方面的深厚积累和创新实力,也预示着AI技术将更加深入地融入人们的日常生活,为社会带来更加便捷、高效、智能的服务体验。随着AI技术的不断发展和普及,我们也期待商汤科技能够继续引领行业创新,推动AI技术向更高水平、更广领域发展。

相关推荐
亮剑201825 分钟前
文科生学pytorch——一些概念的解释
人工智能·pytorch·python
CHECKCMS25 分钟前
硕博论文写作如何完成一篇符合学术诚信的优秀论文
论文阅读·人工智能·深度学习·论文笔记
AutoAutoJack33 分钟前
C#的结构体(Struct)应用示例
开发语言·数据结构·人工智能·c#
神洛华44 分钟前
OpenCV系列教程二:基本图像增强(数值运算)、滤波器(去噪、边缘检测)
人工智能·opencv·计算机视觉
蟹屋在海边1 小时前
NLP 主流应用方向
人工智能·语言模型
sp_fyf_20241 小时前
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-09-26
人工智能·深度学习·神经网络·算法·语言模型·自然语言处理·数据挖掘
Hiweir ·1 小时前
BERT训练之数据集处理(代码实现)
人工智能·python·深度学习·自然语言处理·bert
JasonLiu19191 小时前
LLM Agent系列 | 端侧Agent路由器,合纵连横AI江湖,破局端侧大模型之困!
人工智能·llm·agent·智能体
Kenneth風车2 小时前
【第十六章:Sentosa_DSML社区版-机器学习之生存分析】
人工智能·低代码·机器学习·数据挖掘·数据分析
一只蜗牛儿2 小时前
【人工智能】多模态AI:如何通过融合文本、图像与音频重塑智能系统未来
人工智能·音视频