AMD发布首个AI小语言模型:6900亿token、推测解码提速3.88倍

AMD发布了自己的首个小语言模型(SLM),名为"AMD-135M"。相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族,有两个版本:

一是基础型"AMD-Llama-135M",拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型"AMD-Llama-135M-code",额外增加了专门针对编程的200亿个token,同样硬件训练了四天。

创建与部署流程

它使用了一种名为"推测解码"(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更精确的目标模型,进行验证或纠正。

这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。

比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。

推测解码

AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。

按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。


感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。期望未来能为大家带来更多有价值的内容,请多多关注我的动态!

相关推荐
落了一地秋41 分钟前
4.5 优化器中常见的梯度下降算法
人工智能·算法·机器学习
格林威1 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现卫星图像识别(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
豆浆Whisky1 小时前
字节Coze入场开源,一文搞定基础部署和实践,放弃Dify?
人工智能·coze
柠檬味拥抱1 小时前
基于YOLOv8的边坡排水沟堵塞检测与识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能
李想AI1 小时前
Coze智能体本地部署保姆级教程
人工智能
TechubNews1 小时前
RWA与DeFi(去中心化金融)的关系是什么?RWA在DeFi中扮演什么角色?
人工智能·区块链
AndrewHZ1 小时前
【图像处理基石】如何对遥感图像进行目标检测?
图像处理·人工智能·pytorch·目标检测·遥感图像·小目标检测·旋转目标检测
非优秀程序员1 小时前
8 个提升开发者效率的小众 AI 项目
前端·人工智能·后端
留意_yl2 小时前
量化感知训练(QAT)流程
人工智能
山烛2 小时前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式