用GAI定义手机,联发科和朋友们在行动

最近一段时间,端侧生成式 AI 上游的「军备竞赛」异常激烈。

上个星期,联发科技(MediaTek)举行了首届天玑开发者大会 2024( MDDC 2024 ),正式发布最新一代芯片与 AI 工具。苹果为新一代 iPad Pro 首次搭载了 M4 芯片,AI 算力相较第一代提升了 60 倍。

本周一,vivo 发布的旗舰手机 vivo X100S 系列搭载天玑 9300+,再次刷新了 AI 手机性能的上限。

距离 vivo X100 的发布仅过去半年,在这次的升级版上,vivo 带来了 AI 视效,蓝心 AI 也接入了 QQ、钉钉、飞书等聊天会议软件,实现了跨 App 的智能录音识别等能力,展示了端侧生成式 AI 能力的无限可能性。

一键换季节:vivo X100S 上首发了 AIGC 和影像能力结合的「四季人像」功能。

一系列生成式 AI 能力的背后,联发科从芯片到软件上的全面布局引发了人们的关注。

在 MDDC 大会上,联发科公布的一系列新技术和产品应用,为生成式 AI 技术落地提供了方向。

提前布局,构建先进端侧 AI 算力

端侧部署生成式 AI,意味着无需连接云端,直接在移动设备上进行大模型的 AI 推理,有低延迟、高灵活度等优势,同时保护了用户的隐私数据。

如今,端侧生成式 AI 的落地已成为全球科技公司竞争的重点。在过去一年时间里,国内外大部分手机厂商都在推动生成式 AI 模型的端侧落地,希望能为智能手机带来革命性的 AI 体验,甚至形态的转变。在 AI 创业公司一侧,也不断有面向端侧优化的大模型出现,一些最新的轻量级模型已拥有了多模态能力。

但归根结底,为了实现端侧 AI 应用落地,首先需要强大的 AI 算力。这就离不开联发科强大的芯片实力。

天玑 9300+ 是联发科重磅发布的最新旗舰 5G 生成式 AI 移动平台,其采用 4nm 工艺打造,八核 CPU 包含 4 个 Cortex-X4 超大核,最高频率可达 3.4 GHz,是安卓阵营中性能表现最强的手机芯片。

在新一代 SoC 上,联发科着重提升端侧 AI 能力:天玑 9300 + 内置第七代 AI 引擎 APU 790,率先支持 AI 推测解码加速技术,生成速度可提升 120%。同时支持天玑 AI LoRA Fusion 2.0 技术,生成效率提升 100%,内存空间节省 50%。天玑 9300 + 还支持 AI 框架 ExecuTorch,可加速端侧生成式 AI 应用的开发进程。

这款旗舰芯支持多种业内主流的先进 AI 大模型,包括阿里云通义千问大模型、百川大模型、文心大模型、谷歌 Gemini Nano、零一万物终端大模型、Meta Llama 2、Llama 3 等。

联发科表示,搭载天玑 9300+ 的工程机已在端侧跑通了 Llama 2 7B,推理速度达到 22 token/s

走概念领先的全大核路线,具备多项业界领先的生成式 AI 技术,承载共同合作实现的优质游戏体验,这些特性聚集在一起,让天玑 9300 系列成为了驱动当下 AI 手机的最强芯片。

自天玑 9000 发布以来,联发科旗舰芯片的 AI 能力就十分亮眼,屡屡占据 AI BenchMark 榜单的头名位置。冲击高端的联发科在 AI 领域持续发力,已逐渐获得了用户的认可。其实,联发科的目标一直是面向 AI 大幅投入,做最具前瞻性的那一个。

「在手机上,即使运行 7B、13B 的大模型也是很大的挑战,」联发科无线通信事业部技术规划总监李俊男说道。「我们必须提升芯片算力,并通过构建 Neuron Studio 等工具来完成大模型的量化、压缩,做出最佳化和最小的网络结构。」

生成式 AI 与智能手机的融合既是产业各方的需要,也是技术发展的必由之路。其生态包含括芯片厂商、手机厂商、大模型厂商、开发者等多方,尚未形成相对统一的范式。对于引领方向联发科来说,生成式 AI 手机已发展成为端侧生成式 AI 的第一突破口。

构建工具链,覆盖生成式 AI 全流程

生成式 AI 应用尚处于起步期,手机端侧被认为是最佳的落地方向,但我们还面临着一系列挑战:端侧芯片的算力和功耗较低,大模型会占用大量内存。为了针对手机进行优化,开发者必须花费大量时间精力将云端大模型适配端侧,而端侧又存在大量不同手机厂商的系统差异。

为应对挑战,联发科提供了完整的开发工具链。

上周的 MDDC 中,联发科联合阿里云、百川智能等生态伙伴启动了「天玑 AI 先锋计划」,通过整合自身与产业生态伙伴的资源,为开发者提供开发能力、技术支持和商业机会。同时发布了「天玑 AI 开发套件」,为全球开发者提供终端生成式 AI 应用开发的一站式解决方案。

天玑 AI 开发套件包含四大核心模块,分别是:快速高效的 GenAI 最佳实践、覆盖全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 优化技术和 Neuron Studio 一站式视觉化开发环境。联发科表示,四大模块能为开发者提供「快、全、强、易」的专业开发体验,覆盖终端生成式 AI 应用开发的全流程。

其中,GenAI 最佳实践通过模型量化、模型编译和模型推理技术加速了大模型的终端部署,让开发的时间从数周加速到只需一天。同时,GenAI Model Hub 适配了行业前沿主流的大模型,为开发者高效构建生成式 AI 应用提供丰富的大模型资源。在构建生态上,联发科站在移动生态的角度,始终保持完全开放的态度,为端侧用户带来更加完善和先进的体验。

天玑 AI 开发套件还支持 AI 推测解码加速技术、LoRA Fusion 等先进的 GenAI 优化技术;而 Neuron Studio 集成开发环境可提供一站式可视化的开发环境,跳出传统的代码开发环境,带来「所见即所得」的开发体验。

从功能机到智能机,回头看去,手机形态迭代的成功,往往是更有效、更易用的新方法解决了消费者的老问题,随后再随着技术的进步不断优化。在 AI 手机上,新体验很大程度上也应该是对已有能力的整合。联发科技董事、总经理暨营运长陈冠州表示,在构建端侧 AI 应用的道路上,最好的方式应该是将现在的智能生态转化成生成式 AI,而不是从零开始构建。

联发科判断,生成式 AI 手机将在三个方面率先实现落地 ------ 新的交互体验、智能出行体验,以及智能化的游戏体验。

拥抱生态伙伴,携手推进端侧 AI 落地开花

生成式 AI 时代,提供算力支持的芯片成为人们关注的焦点。在与 AI 大模型公司对接之后,终端厂商还是需要与芯片厂商合作,从底层进行优化,最终才能实现应用的落地。

联发科的开放态度和在端侧 AI 生态的一系列布局,大大加快了这一进程。

与竞争对手相比,联发科在做好芯片算力提升的同时,更加尊重与关注了开发者的需求,并致力于构建创新的用户体验。

「我们发现,生态伙伴会使用我们从未想过的方式利用平台能力。如今的很多技术都是通过长期的合作与讨论构建起来的,」联发科技无线通信事业部副总经理陈一强表示。「我们的很多工作就是『多走了一步』,直接面向全体开发者,让手机厂商和开发者可以更好地应用芯片的能力。」

联发科构建的生态为从大模型公司到手机厂商,再到开发者的广泛群体带来了清晰、高效的工具和明确的路径。让大模型的落地更加容易,同时还能获得来自硬件底层的优化。

在 MDDC2024 大会上,联发科还携手数十家生态伙伴,共同构建了生成式 AI 应用生态。

随着大模型技术的不断发展,以及芯片算力的提升,生成式 AI 技术正在延伸到更为广阔的领域。联发科还在围绕端侧多模态生成式 AI、专家系统等方向进行探索。

从创造产品到定义标准,联发科将引领端侧 AI 生态

从积极提供高端芯片,到率先引领端侧生成式 AI 生态,第一届天玑开发者大会 2024(MDDC 2024)是联发科的一个重要转折点。

在开发者大会上,联发科与众多手机厂商、科技大厂和 AI 公司联合发布了《生成式 AI 手机产业白皮书》,对 生成式 AI 手机进行了定义。白皮书提出生成式 AI 手机需要具备如下必要特征:

  • 支持大模型的本地部署,或是通过云端协同的方式执行复杂的生成式 AI 任务;

  • 具备多模态能力,即可以处理文本、图像、语音等多种形式的内容输入,以生成各种形式的输出;

  • 确保流畅、无缝的用户体验,设备能够以自然而直观的交互方式,快速响应用户的请求;

  • 拥有实现上述特征的硬件规格。

受益于强大的移动计算平台,不断进步的模型技术,以及配套工具链的推动,生成式 AI 手机将在未来几年保持高速成长。分析机构 Counterpoint 预测,生成式 AI 手机的存量规模将在 2027 年突破 10 亿大关。联发科董事、总经理暨营运长陈冠州则表示,随着 2024 年生成式 AI 即将在消费级市场普及,到 2027 年全球智能手机端侧整体 AI 算力会达到 50000 EOPS。

而在其中,联发科的贡献势必越来越大 ------ 最近的分析报告显示,联发科在 2023 年第四季度表现强劲,智能手机应用处理器(AP)以 36% 的出货量市场份额位列全球第一,已经连续多个季度处于领先位置。

毫无疑问,随着用户基数的不断增长,在生成式 AI 大规模落地的过程中,联发科将占据越来越重要的地位。AI 生态将成为人们社交、工作、娱乐和出行的载体。新类型的应用,会逐渐改变我们的生活,变得不可或缺。

端侧的生成式 AI,即将为我们带来颠覆性的体验。

相关推荐
Chef_Chen8 分钟前
从0开始学习机器学习--Day33--机器学习阶段总结
人工智能·学习·机器学习
搏博9 分钟前
神经网络问题之:梯度不稳定
人工智能·深度学习·神经网络
GL_Rain26 分钟前
【OpenCV】Could NOT find TIFF (missing: TIFF_LIBRARY TIFF_INCLUDE_DIR)
人工智能·opencv·计算机视觉
shansjqun31 分钟前
教学内容全覆盖:航拍杂草检测与分类
人工智能·分类·数据挖掘
狸克先生33 分钟前
如何用AI写小说(二):Gradio 超简单的网页前端交互
前端·人工智能·chatgpt·交互
baiduopenmap1 小时前
百度世界2024精选公开课:基于地图智能体的导航出行AI应用创新实践
前端·人工智能·百度地图
小任同学Alex1 小时前
浦语提示词工程实践(LangGPT版,服务器上部署internlm2-chat-1_8b,踩坑很多才完成的详细教程,)
人工智能·自然语言处理·大模型
新加坡内哥谈技术1 小时前
微软 Ignite 2024 大会
人工智能
江瀚视野1 小时前
Q3净利增长超预期,文心大模型调用量大增,百度未来如何分析?
人工智能
陪学2 小时前
百度遭初创企业指控抄袭,维权还是碰瓷?
人工智能·百度·面试·职场和发展·产品运营