边缘部署

Gary Studio9 天前
ai·大模型·mtk·边缘部署
嵌入式大模型边缘部署(MTK方向)大语言模型(LLM)的运行本质是一个自回归(Autoregressive)的下一个词预测过程。它接收人类语言,转化为数学矩阵,并通过庞大的神经网络不断计算概率,生成下一个最优结果。其运行过程严格分为两个核心阶段:
LeeeX!5 个月前
android·深度学习·目标检测·边缘部署·yolo26
YOLO26实现安卓ncnn实战部署:支持检测、分割、姿态估计、旋转框检测在伦敦YOLO Vision 2025大会上,Ultralytics创始人Glenn Jocher演示YOLO26在树莓派上实时检测的效果,我才彻底被打脸。那个只有512MB内存的小设备,竟能以28FPS的速度准确识别出视频中快速移动的小鸟,而功耗仅仅0.8W! 今年1月14日,Ultralytics正式发布了YOLO26,基于官方发布的测试数据与实际验证,YOLO26在边缘计算场景的表现确实实现了显著突破。YOLO26的设计理念发生了根本转变:其设计重心从追求基准测试性能,转向优化真实场景下的部署效率与
Lululaurel9 个月前
pytorch·python·机器学习·模型压缩·模型优化·边缘部署
深度模型瘦身术:从100MB到5MB的工业级压缩实战训练了一个准确率95%的模型,却因为体积太大无法部署到手机APP;云端推理成本太高,每天GPU费用上千元;模型响应速度慢,用户体验极差——这是很多AI项目从实验室走向生产环境时的真实困境。
我是有底线的