端侧ai

【HarmonyOS 7新能力｜028】Core Vision Kit工程封装：把接入逻辑放进可维护的分层结构端侧视觉 AI 的演示通常只需要“取一张图并显示识别结果”，工程实现却必须处理实时帧、方向旋转、坐标换算、页面生命周期、推理背压和隐私留存。任意一环失控，都可能出现框选错位、页面退出后仍计算、内存持续增长等问题。

如何判断一套离线语音系统到底是不是“真离线”？很多产品都会写“支持离线语音”。但如果真的从技术角度去问：到底什么叫离线？其实并不是简单地把网线拔掉。

DeepSeek 语音对话灰度上线：四种音色背后的端侧 AI 交互架构与商业逻辑核心结论：9 月 12 日，DeepSeek App 开始灰度测试 AI 语音对话——不是"语音转文字"的伪语音，而是真正双向的"你开口、它开口"，并提供四种音色（贝壳、白浪、海星、暗潮）。对行业而言，这意味着以文字推理著称的 DeepSeek 正式向全场景语音交互迈进；对架构师而言，语音对话链路（ASR→意图→LLM→TTS→流式传输）是端侧 AI 软硬一体化的下一个主战场；对决策者而言，语音正在成为大模型的超级入口，端侧价值开始重估。

@嵌入式扫地僧

TFLite Micro STM32/ESP32 开箱即用推理骨架 + INT8 量化脚本实战：零调试跑通端侧 AI 推理完整步骤随着端侧 AI 需求爆发，在资源受限的 MCU 上部署深度学习模型已成为嵌入式开发的主流趋势。TFLite Micro 作为谷歌推出的轻量级推理框架，是目前 TinyML 领域应用最广泛的方案之一，但实际落地过程中开发者普遍面临三大痛点：

新品亮相｜向成电子IPCA_3588H AI边缘网关重磅发布，算力下沉，自主可控人工智能浪潮之下，海量感知数据涌向边缘端，行业迫切需要兼顾强劲算力、长期稳定运行、数据安全可控的本地化算力载体。向成电子正式推出IPCA_3588H AI边缘网关，内置自研XC3588H工控主板，打造软硬件一体化全国产边缘计算硬件方案，打通端侧AI落地最后一公里，成为私有化大模型部署、智能视觉、物联网数采的理想硬件底座。

端侧模型多端部署实战：从格式转换到灰度发布，Web 和移动端统一部署流水线摘要：产品从 Web 端扩展到移动端之后，同一个模型、同一段输入，移动端推理结果和 Web 端对不上——评测通过率从九成出头掉到七成多。本文从格式转换、多端适配、加载优化、灰度发布到版本管理，分享一套 Web + 移动端统一部署流水线的搭建过程，以及我在每个环节踩过的坑。

带娃的IT创业者

深度解析 Apple Foundation Models：端侧 AI 的真正革命在移动开发领域，我们正站在一个关键的转折点上。过去两年，大语言模型（LLM）的应用主要集中在云端——开发者通过 API 调用远程服务器，实现文本生成、图像处理等功能。这种模式虽然强大，但始终存在延迟、隐私和离线可用性这三大痛点。

Hybrid AI应用架构设计——WebView+LLM混合开发实践在上一篇文章《WebView里跑端侧AI模型——浏览器内LLM推理实战》中，我们实现了在App的WebView里直接运行大语言模型。这背后蕴含着一套可复用的架构模式。本文将以此为经验基础，从架构视角探讨如何设计Hybrid AI应用，将WebView灵活性与端侧LLM能力深度融合，打造高性能、可迭代的智能移动应用。

程序猿玖月柒

ubuntu22.04.2安装英伟达驱动本文介绍一种最最最简单和无脑的方法去安装，英伟达的驱动，系统是ubuntu22.04.2.在Ubuntu的终端输入命令，查看建议我们安装的版本。

子非鱼@Itfuture

端侧AI（On-Device AI / Edge AI）｜边缘 AI｜云端 AI 探索报告端侧AI：把AI模型轻量化后装在手机、电脑、车机、摄像头等硬件里，数据在本机直接运算推理，不用上传云端服务器。

【技术帖】遥控操控卡顿失灵？艾为全新触控方案重塑流畅操控体验当下智能家居产业高速普及，全屋智能生态加速落地，传统多功能遥控器交互卡顿、按键失灵、操控滞后等痛点日益凸显，老旧硬件方案已然无法匹配智能家电高端化、一体化、轻量化的产品发展趋势，更难以适配全屋智能联动、端侧 AI 智能操控等新型使用场景。

0.8W跑10B模型：端侧AI的“寒武纪爆发“与中间件的轻量进化2026年5月，端侧AI迎来了一个标志性数据：10B参数级别的大模型可以在终端设备上离线运行，功耗仅0.8W。这个数字有多夸张？作为参照，一部普通智能手机的待机功耗约为0.5W，而运行一个云端大模型推理请求的功耗通常在10W以上。

注意！2026大模型风口突变：告别云端军备竞赛，端侧AI才是今年最大黑马🔥个人主页：北极的代码（欢迎来访） 🎬作者简介：java后端学习者 ❄️个人专栏：苍穹外卖日记，SSM框架深入，JavaWeb ✨命运的结局尽可永在，不屈的挑战却不可须臾或缺！

[ExecuTorch 系列] 2. 导出官方支持的大语言模型确保已经安装了 ExecuTorch。安装教程：[ExecuTorch 系列] 1. 从源码构建 ExecuTorch

[ExecuTorch 系列] 3. 导出自定义的大语言模型如果你有自己的 PyTorch 模型且该模型是大型语言模型（LLM），本文档将展示如何手动将其导出并适配到 ExecuTorch，其中包含许多与之前的 export_llm 指南中相同的优化。

音诺ai翻译机采用ASR595x执行离线语音识别在跨境交流频繁的今天，网络延迟与隐私泄露成为在线语音识别的痛点。音诺AI翻译机搭载ASR595x芯片，实现端侧离线语音识别，带来毫秒级响应、数据本地化处理和无网可用三大核心优势。

微软开源的Fara-7B 如何让你的电脑长出“双手”目录前言一、Fara-7B 是什么？一个真正“上手干活”的 AI 助理二、70 亿参数的“魔法”：小模型如何战胜大模型？

我是有底线的