第7.4篇:鸿蒙 AI 开放能力------语音与自然语言处理
系列 :鸿蒙 7(API 26)新特性与创新场景篇 · 画伴梦工厂实战
难度 :⭐⭐⭐ 高级
前置知识 :第 4.5 篇 语音识别实战、第 4.6 篇 语音识别状态管理
涉及源文件:参考 HarmonyOS AI Kit 文档
在"画伴梦工厂"的前几篇中,我们已经通过 SpeechRecognitionEngine + AudioCapturer 实现了基础的语音识别能力,借助 GPT-4o-mini 完成了儿童绘画的图像理解。这些能力分别来自 @kit.CoreSpeechKit 和第三方云端 AI 服务。
HarmonyOS 7(API 26)带来了系统级 AI 开放能力的全面升级 ------从单一的语音识别,扩展到覆盖视觉、语音、自然语言处理三大领域的完整 AI Kit 体系。更重要的是,鸿蒙 7 首次在端侧部署了 30B 参数大模型 ,结合 openPangu 2.0 云侧大模型,构建了一套"云+端"混合 AI 架构,让应用可以在不依赖网络的情况下实现高质量的本地推理。
本文将系统性地介绍 HarmonyOS AI Kit 的完整能力图谱,深入对比端侧与云侧 AI 的架构差异,并探讨如何将这些能力与项目现有的 AI 服务(语音识别、图像识别、AI 生成)进行融合升级。
一、HarmonyOS AI Kit 概览:三大能力域
HarmonyOS AI Kit 是鸿蒙系统级 AI 能力的统一入口,按照能力类型划分为三大领域:
1.1 视觉能力(Vision Kit)
视觉能力由 @kit.CoreVisionKit 提供,涵盖图像理解与处理的核心 API:
| 能力 | API 模块 | 功能说明 |
|---|---|---|
| 图像超分辨率 | imageSuperResolution |
将低分辨率图片提升 2x~4x,适用于老照片修复、缩略图放大 |
| 文搜图 | textImageSearch |
通过自然语言语义搜索本地图片,无需人工标注标签 |
| 图像分割 | imageSegmentation |
分离前景与背景,支持人像、物体抠图 |
| 文字识别 OCR | textRecognizer |
从图片中提取印刷体/手写体文字 |
| 人脸检测 | faceDetector |
检测人脸位置、关键点、表情属性 |
视觉能力与项目第 3.5 篇中通过 GPT-4o-mini 实现的图像识别功能形成互补:GPT-4o-mini 擅长开放域理解 (理解"这是一只快乐的小恐龙"),而 Vision Kit 擅长结构化提取(精确的文字识别、人脸检测、图像分割)。两者配合使用,可以构建更强大的画作理解管线。
1.2 语音能力(Speech Kit)
语音能力由 @kit.CoreSpeechKit 提供,这也是项目第 4.5 篇已经使用过的 SDK。在鸿蒙 7 中,语音能力从单一识别扩展到完整的语音处理矩阵:
| 能力 | API 模块 | 功能说明 |
|---|---|---|
| 语音识别 | speechRecognizer |
将语音转为文本,支持在线/离线双模式 |
| 语音合成 | textToSpeech |
将文本转为自然语音,支持多种音色和语速 |
| 声纹识别 | voiceprintRecognizer |
基于声纹特征识别说话人身份 |
| 情感检测 | emotionDetector |
从语音中检测说话人的情绪状态(开心、难过、愤怒等) |
1.3 自然语言处理能力(NLP Kit)
NLP 能力是鸿蒙 7 新增的核心开放域,由 @kit.CoreNLPKit 提供:
| 能力 | API 模块 | 功能说明 |
|---|---|---|
| 文本摘要 | textSummarizer |
自动生成长文本的简短摘要,支持多粒度控制 |
| 情感分析 | sentimentAnalyzer |
分析文本的情感倾向(正面/负面/中性)及强度 |
| 实体抽取 | entityExtractor |
从文本中提取人名、地名、时间、组织等命名实体 |
| 意图分类 | intentClassifier |
识别用户输入的自然语言意图,支持自定义分类体系 |
| 文本纠错 | textCorrector |
自动检测并纠正文本中的拼写和语法错误 |
二、超越识别的语音能力
前文第 4.5 篇与第 4.6 篇已经详细拆解了语音识别的完整实现。在鸿蒙 7 的 AI Kit 中,语音能力进一步扩展到了三个全新的维度。
2.1 语音合成:文本到自然语音
语音合成(Text-to-Speech, TTS)是语音识别的逆过程------将文字转化为自然流畅的语音。在"画伴梦工厂"中,TTS 可以用来为生成的动画故事添加旁白配音,让儿童创作的画作"开口说话"。
typescript
import { textToSpeech } from '@kit.CoreSpeechKit';
async function synthesizeStory(storyText: string): Promise<string> {
const engine = await textToSpeech.createEngine({
language: 'zh-CN',
voiceType: 'child-friendly', // 儿童友好音色
speed: 1.0, // 正常语速
pitch: 1.1 // 略微升高音调,更适合儿童
});
const audioUri = await engine.synthesize({
text: storyText,
outputFormat: 'audio/mp3',
sampleRate: 24000
});
engine.release();
return audioUri;
}
语音合成在儿童应用中有独特的价值:儿童阅读能力有限,语音旁白可以让他们"听"懂自己创作的动画故事,大大降低使用门槛。
2.2 声纹识别:个性化体验
声纹识别能够通过声音特征识别说话人身份。在项目场景中,不同儿童使用同一台设备时,声纹识别可以自动区分当前用户,加载对应的作品集和个性化设置:
typescript
import { voiceprintRecognizer } from '@kit.CoreSpeechKit';
async function identifySpeaker(audioSample: ArrayBuffer): Promise<string> {
const engine = voiceprintRecognizer.createEngine();
// 注册声纹(首次使用)
// await engine.enroll('user_001', audioSample);
// 识别声纹
const result = await engine.identify(audioSample);
return result.userId; // 返回匹配的用户 ID
}
2.3 情感检测:读懂孩子的情绪
情感检测是语音能力中最有趣也最具挑战的方向。当儿童用语音描述画作时,情感检测可以分析语气中的快乐、兴奋、困惑等情绪,从而让 AI 生成的内容更加贴合当下的心理状态:
| 检测维度 | 输出示例 | 项目应用 |
|---|---|---|
| 情绪类别 | happy, sad, angry, neutral, excited |
决定动画的情绪基调 |
| 置信度 | 0.92(92% 确认为开心) |
多结果排序依据 |
| 强度等级 | 0.0 ~ 1.0 |
控制情绪表现力度(如快乐程度决定动画动作幅度) |
三、NLP 能力详解
NLP Kit 是鸿蒙 7 新增的能力域,它为应用提供了"理解文字"的能力。在"画伴梦工厂"的多个环节中,NLP 能力都可以发挥重要作用。
3.1 文本摘要
当 AI 生成了一长段故事描述时,文本摘要可以将其压缩成简短的标题或一句话简介,适合在作品卡片上展示:
typescript
import { textSummarizer } from '@kit.CoreNLPKit';
async function generateStoryTitle(longStory: string): Promise<string> {
const engine = textSummarizer.createEngine();
const summary = await engine.summarize({
text: longStory,
maxLength: 20, // 最多 20 个字符
minLength: 5, // 最少 5 个字符
style: 'creative' // 创意风格,适合儿童故事
});
engine.release();
return summary;
}
3.2 情感分析
与 2.3 节中的语音情感检测不同,NLP 情感分析处理的是文本。在项目场景中,它可以分析用户输入的 Prompt 文字的情感倾向,辅助 AI 生成匹配情感基调的内容:
typescript
import { sentimentAnalyzer } from '@kit.CoreNLPKit';
function analyzePromptEmotion(prompt: string): SentimentResult {
const engine = sentimentAnalyzer.createEngine();
const result = engine.analyze({
text: prompt,
granularity: 'sentence' // 按句子粒度分析
});
engine.release();
return result;
// 返回:{ overall: 'positive', score: 0.85, segments: [...] }
}
3.3 实体抽取
实体抽取可以从自然语言描述中提取结构化的关键信息。对于"画伴梦工厂"的场景,这特别有用------用户说"画一只红色的小恐龙在火山旁边",实体抽取可以自动解析出:
typescript
import { entityExtractor } from '@kit.CoreNLPKit';
function extractDrawingEntities(description: string): ExtractedEntity[] {
const engine = entityExtractor.createEngine();
const entities = engine.extract({
text: description,
types: ['character', 'location', 'color', 'action', 'object']
});
engine.release();
return entities;
// 返回示例:
// [
// { type: 'character', text: '小恐龙', confidence: 0.95 },
// { type: 'color', text: '红色', confidence: 0.98 },
// { type: 'location', text: '火山旁边', confidence: 0.89 }
// ]
}
这些结构化实体可以直接映射到第 3.5 篇中定义的 DrawingRecognitionResult 模型的各字段,作为 GPT-4o-mini 识别结果的补充或校验。
3.4 意图分类
意图分类可以理解用户输入的"意图",这是构建语音交互界面的关键能力。在项目中,儿童可能说出"帮我画一只恐龙"、"把这个变大"、"换一个颜色"等指令,意图分类可以将这些自然语言映射到具体的操作:
typescript
import { intentClassifier } from '@kit.CoreNLPKit';
function classifyUserIntent(userInput: string): string {
const engine = intentClassifier.createEngine({
intents: ['create', 'modify', 'delete', 'color_change', 'size_change', 'save', 'share']
});
const result = engine.classify(userInput);
engine.release();
return result.intent; // 如 'create'
}
四、端侧 vs 云侧 AI:鸿蒙的混合 AI 架构
鸿蒙 7 最引人瞩目的 AI 特性之一,是其端侧 30B 参数大模型 与 openPangu 2.0 云侧大模型的混合架构。这套架构从根本上改变了系统级 AI 的能力边界。
4.1 端侧 30B 大模型的技术突破
| 指标 | 前代端侧模型 | 鸿蒙 7 端侧 30B 模型 | 提升幅度 |
|---|---|---|---|
| 参数量 | 7B~13B | 30B | 2~4 倍 |
| 推理速度 | 基线 | 快 50% | +50% |
| 内存占用 | 基线 | 少 20% | -20% |
| 支持离线任务 | 基础 NLP | 完整 NLP + 部分 Vision | 大幅扩展 |
30B 参数模型能够在端侧运行的背后,是多项系统级优化的成果:
- 模型量化压缩:通过 INT4/INT8 混合精度量化,将模型体积压缩至原始大小的 25%~30%
- 硬件加速协同:利用昇腾 NPU 的专用推理单元,实现低功耗高吞吐推理
- 缓存友好计算图优化:重排计算图以减少 NPU 与 CPU 间的数据传输
- 动态内存管理:按需加载模型子图,避免全模型常驻内存
4.2 端侧推理的典型流程
端侧 AI 推理的调用链路极其简洁------所有数据在设备内部流转,无需网络请求:
应用层 API 调用
│
▼
AI Kit 服务(系统进程)
│
├── 模型加载(按需从 ROM 加载到 NPU)
│
├── 数据预处理(NPU 或 DSP)
│
├── 模型推理(昇腾 NPU)
│
├── 后处理(CPU)
│
▼
返回结构化结果
整个过程中,没有任何用户数据离开设备。这是鸿蒙隐私优先设计理念的核心体现。
4.3 openPangu 2.0 云侧模型
对于需要更大知识库或更强推理能力的任务,鸿蒙 7 提供了 openPangu 2.0 云侧大模型。云侧模型与端侧模型的分工如下:
| 维度 | 端侧 30B 模型 | 云侧 openPangu 2.0 |
|---|---|---|
| 适用场景 | 低延迟、高频、隐私敏感任务 | 高精度、大知识库、复杂推理任务 |
| 网络需求 | 完全离线 | 需要网络连接 |
| 响应延迟 | < 50ms | 200ms ~ 2s(含网络传输) |
| 参数量 | 30B | 数千亿 |
| 知识新鲜度 | 取决于模型版本 | 实时更新 |
| 隐私保护 | 数据不出设备 | 需加密传输 |
4.4 智能调度策略
鸿蒙系统会基于以下因素自动在端侧和云侧之间选择执行路径:
判断优先级:
1. 网络可用性 → 无网络则强制端侧
2. 任务类型 → 简单任务(实体抽取)→ 端侧;复杂任务(长文本生成)→ 云侧
3. 隐私要求 → 含个人隐私数据 → 强制端侧
4. 延迟要求 → 实时交互 → 端侧;批处理 → 云侧
5. 电池状态 → 低电量 → 端侧(低功耗)
五、隐私优先设计:数据不出设备
鸿蒙 AI Kit 从架构层面保证用户隐私。所有端侧 AI 推理在系统沙箱内完成,应用层无法直接访问模型内部数据,AI Kit 也不会将用户数据上传到云端。
5.1 隐私保护的三层保障
| 层级 | 保障措施 | 说明 |
|---|---|---|
| 系统层 | 端侧推理沙箱 | 模型推理在独立的系统进程中执行,应用进程无法干涉 |
| 数据层 | 零数据上传 | 所有输入数据在设备内完成处理,结果返回给应用 |
| 权限层 | 按能力授权 | 每项 AI 能力需要独立的权限声明,用户可在设置中关闭 |
5.2 与项目现有隐私设计的对比
项目当前的 AI 服务(GPT-4o-mini 图像识别、Seedream 文生图、图生视频)全部依赖第三方云端 API,图片和文本数据需要经过网络传输。具体来说:
| 服务 | 数据类型 | 传输方式 | 隐私风险 |
|---|---|---|---|
| GPT-4o-mini 图像识别 | 儿童画作图片 | HTTPS | 图片需上传到第三方服务器 |
| Seedream 文生图 | 文本 Prompt | HTTPS | Prompt 需上传到第三方服务器 |
| 图生视频 | 图片 | HTTPS | 图片需上传到第三方服务器 |
| AI Kit 端侧能力 | 语音/文本/图片 | 无 | 数据完全在设备内 |
采用鸿蒙 AI Kit 的端侧能力可以避免用户数据离开设备,这对于面向儿童的应用尤为重要------家长可以完全放心孩子的画作和语音不会被上传到任何云端服务。
六、API 调用模式:创建引擎、设置回调、处理结果
鸿蒙 AI Kit 的所有能力遵循统一的 API 调用模式,可以概括为三步:创建引擎 → 配置参数 → 处理结果。
6.1 通用调用模式
typescript
// 第一步:创建引擎实例
const engine = await SomeAICapability.createEngine({
// 引擎配置参数,不同能力不同
});
// 第二步:执行推理(同步或异步)
const result = await engine.process({
// 输入参数
});
// 第三步:处理结果
console.log(result);
// 第四步:释放资源
engine.release();
6.2 回调模式(语音识别特有)
对于语音识别这类流式处理任务,采用"引擎 + 监听器"模式:
typescript
// 创建引擎
const engine = await speechRecognizer.createEngine(options);
// 注册回调监听器
engine.setListener({
onResult(sessionId, result) { /* 实时结果 */ },
onComplete(sessionId, message) { /* 完成 */ },
onError(sessionId, code, message) { /* 错误 */ }
});
// 启动处理
engine.startListening(sessionConfig);
// 写入数据
engine.writeAudio(sessionId, audioData);
// 结束会话
engine.finish(sessionId);
项目第 4.5 篇中的 VoiceRecognitionService 已经完整实现了这一模式,当前实现可以直接与 AI Kit 的语音识别 API 无缝对接。
6.3 同步模式(NLP 能力)
NLP Kit 的大部分能力(情感分析、实体抽取、意图分类)采用同步调用模式,推理结果即时返回:
typescript
const engine = sentimentAnalyzer.createEngine();
const result = engine.analyze({ text: userInput });
// result 在调用返回时已经就绪
engine.release();
这种同步模式适合即时反馈场景,如用户输入时的实时情感评估。
七、与项目现有 AI 服务的融合升级路径
"画伴梦工厂"当前已经构建了一套完整的 AI 服务链。鸿蒙 AI Kit 的端侧能力可以逐步融入这套体系中,形成"云端大模型 + 端侧小模型"的混合架构。
7.1 融合架构总览
现有云端服务链 鸿蒙 AI Kit 端侧能力
───────────────── ────────────────────
用户输入(语音/文字) 用户输入
│ │
├─ VoiceRecognitionService ├─ AI Kit 语音识别
│ (SpeechRecognitionEngine) │ (更稳定、离线可用)
│ │
▼ ▼
文本 → ImageRecognitionService 文本 → NLP Kit 实体抽取
(GPT-4o-mini 图像识别) (提取角色/场景/颜色)
│ │
├─ Seedream 文生图 ├─ AI Kit 文搜图
│ (生成角色图片) │ (本地图片搜索)
│ │
▼ ▼
图片 → 图生视频 Service 图片 → Vision Kit 图像分割
(火山引擎视频生成) (精细化抠图)
│ │
▼ ▼
动画 → AI Kit TTS 语音合成
(为动画添加旁白)
7.2 具体升级场景
场景一:语音识别的端侧升级
当前 VoiceRecognitionService 已经通过 speechRecognizer.createEngine 使用 AI Kit 的语音识别能力。在鸿蒙 7 中,端侧离线模型升级到 30B 参数,离线识别的精度大幅提升,可以逐步将默认模式从"离线优先"调整为"纯离线模式",消除对在线兜底的依赖。
场景二:语义理解通道
在用户输入语音或文字 Prompt 时,引入 NLP Kit 的实体抽取和意图分类能力,实时解析用户意图,而不必等待 GPT-4o-mini 的云端响应。这可以实现"即说即反馈"的交互体验:
用户语音输入 → 语音识别(端侧) → 实体抽取(端侧) → 即时 UI 反馈
↓
GPT-4o-mini(云端)
→ 深度理解 → 动画生成
场景三:绘画理解的轻量路径
对于不需要深度理解的简单场景(如仅识别主体颜色、基本形状),可以绕过 GPT-4o-mini 的云端 API,直接使用 Vision Kit 的图像分割和分类能力:
typescript
async function quickAnalyzeDrawing(imageUri: string): Promise<QuickResult> {
// 端侧快速分析:无需网络,毫秒级返回
const segmentation = await imageSegmentation.segmentImage(imageUri);
const dominantColor = await extractDominantColor(segmentation.foreground);
return {
hasCharacter: segmentation.hasForeground,
dominantColor: dominantColor,
complexity: segmentation.regionCount
};
}
7.3 选型决策矩阵
在实际项目中,选择使用云端 AI 还是端侧 AI,可以参考以下决策矩阵:
| 判断维度 | 优先端侧 | 优先云端 |
|---|---|---|
| 网络条件 | 离线或弱网环境 | 稳定高速网络 |
| 响应要求 | 实时交互(< 100ms) | 可接受秒级延迟 |
| 数据隐私 | 含个人隐私或儿童数据 | 匿名化通用数据 |
| 推理精度 | 标准精度即可 | 需要行业顶级精度 |
| 知识范围 | 通用知识 | 需要最新或专业知识 |
| 功耗/电池 | 低电量或长续航要求 | 设备充电或高性能模式 |
八、项目实战升级场景
结合上述能力,我们可以构想三个具体的项目升级方向。
8.1 智能故事生成:从画作到故事
利用 NLP Kit 的文本摘要和情感分析能力,结合端侧语音识别和 TTS,构建完整的"画作 → 故事 → 有声书"管线:
儿童画作 → Vision Kit 图像分割 → 提取角色和背景
→ 端侧语义理解 → 生成角色描述
→ NLP Kit 文本生成 → 生成短篇故事
→ TTS 语音合成 → 生成有声旁白
整个过程完全在设备端完成,不依赖任何云端 API。
8.2 画作描述生成:从识别到表达
当儿童完成涂鸦后,系统可以利用端侧 AI 自动生成一段关于画作的描述文字:
涂鸦画布 → 像素导出(第 2.4 篇)
→ Vision Kit 图像分类 → 识别主体物体
→ NLP Kit 实体组织 → 组合成自然语言描述
→ UI 展示 → "你画了一只红色的小恐龙!"
这种"即画即反馈"能力可以极大提升儿童的创作成就感。
8.3 语音控制创作:从指令到操作
将语音识别 + 意图分类 + 实体抽取串接起来,构建完整的语音控制创作体验:
儿童语音:"画一只蓝色的鲸鱼"
│
▼
语音识别(AI Kit 端侧)→ "画一只蓝色的鲸鱼"
│
▼
意图分类(NLP Kit)→ intent: 'create', confidence: 0.97
│
▼
实体抽取(NLP Kit)→ { 动物: '鲸鱼', 颜色: '蓝色' }
│
▼
映射到 DrawingRecognitionResult → protagonist: '蓝色鲸鱼', scene: '海底'
│
▼
文生图(Seedream 云端)→ 生成蓝色鲸鱼图片
这一管线将端侧 AI Kit 的"理解"能力与云端 AI 服务(Seedream 文生图)的"生成"能力有机结合,各取所长。
九、Best Practice:云侧 vs 端侧 AI 选型指南
作为本文的总结,下面提供一套在实际项目中选型端侧 AI 与云侧 AI 的实用指南。
9.1 端侧优先的场景
| 场景 | 理由 | 适用 API |
|---|---|---|
| 高频调用的实时交互 | 避免网络延迟,提升用户体验 | 语音识别、情感分析、意图分类 |
| 隐私敏感数据 | 数据不出设备,合规无担忧 | 图像分割、人脸检测、声纹识别 |
| 基础理解任务 | 端侧 30B 模型已足够胜任 | 实体抽取、文本摘要、文本纠错 |
| 离线环境保障 | 不依赖网络,功能始终可用 | 所有端侧 AI Kit API |
| 低功耗需求 | NPU 推理功耗远低于蜂窝/Wi-Fi 传输 | 语音识别、文本分类 |
9.2 云端优先的场景
| 场景 | 理由 | 适用服务 |
|---|---|---|
| 开放域图像理解 | 需要世界知识理解"这是什么" | GPT-4o-mini |
| 高质量内容生成 | 需要数十亿参数模型创造内容 | Seedream 文生图、图生视频 |
| 长文本深度推理 | 需要超越端侧模型的知识边界 | openPangu 2.0 |
| 多模态复杂任务 | 同时融合视觉、语言、语音 | 云端多模态大模型 |
| 持续更新的知识 | 需要最新信息的任务 | 云端搜索增强生成 |
9.3 混合策略推荐
对于"画伴梦工厂"这类涉及儿童数据、需要实时交互、又需要高质量生成的应用,推荐的混合策略是:
- 理解层(端侧):语音识别、实体抽取、意图分类、情感分析------全部使用 AI Kit 端侧能力,确保实时性和隐私安全
- 创作层(云端):文生图、图生视频、深度图像理解------使用云端大模型,保证生成质量
- 表达层(端侧):TTS 语音合成、图像分割------使用 AI Kit 端侧能力,优化用户体验
- 隐私保护层:所有儿童画作和语音数据仅在端侧处理,不上传云端;仅将脱敏后的 Prompt 文本发送给云端服务
十、展望:从 AI Kit 到 AI 原生应用
HarmonyOS 7 的 AI Kit 不仅是 API 的集合,更代表了操作系统层面"AI 原生"的设计理念------AI 能力不再是独立的应用功能,而是以系统服务的形式嵌入到每个应用可以调用的基础设施中。
从"画伴梦工厂"的视角来看,前文第 3.5 篇到第 3.9 篇构建的云端 AI 服务链(识别 → 理解 → 生成 → 展示),在第 7 篇中通过鸿蒙 7 的 AI Kit 获得了端侧能力的补充。最终形成的是一个"云+端"混合的 AI 架构:
| 架构层 | 能力来源 | 职责 | 数据流向 |
|---|---|---|---|
| 端侧 AI Kit | 系统级 30B 大模型 | 实时理解、隐私保护、离线保障 | 数据不出设备 |
| 云端 AI API | GPT-4o-mini / Seedream | 高质量生成、开放域理解 | 脱敏后传输 |
| 混合编排层 | 应用 Service 层 | 智能路由、结果融合、降级策略 | 内部调度 |
这种架构的演进方向,是从"应用调用云端 AI"的单向模式,走向"应用利用系统端侧 AI 做预处理、负责任务路由、调用云端 AI 做重推理"的协作模式。作为开发者,理解并善用这种混合架构,是构建下一代智能应用的关键能力。
总结
本文系统性地介绍了 HarmonyOS 7 AI Kit 的三大能力域------视觉、语音与自然语言处理,深入剖析了端侧 30B 大模型与云侧 openPangu 2.0 的混合 AI 架构,并结合"画伴梦工厂"项目的实际代码,给出了多条融合升级路径和选型决策指南。
| 知识点 | 说明 |
|---|---|
| 三大 AI 能力域 | Vision Kit(视觉)、Speech Kit(语音)、NLP Kit(自然语言处理) |
| 语音扩展能力 | 语音合成、声纹识别、情感检测------超越基础语音识别 |
| NLP 核心能力 | 文本摘要、情感分析、实体抽取、意图分类 |
| 端侧 30B 模型 | 推理速度快 50%、内存少 20%、完全离线运行 |
| 混合 AI 架构 | 端侧负责实时理解与隐私保护,云侧负责高质量生成 |
| 隐私优先设计 | 所有端侧推理数据不出设备,系统级沙箱隔离 |
| API 调用模式 | 三步法:创建引擎 → 配置参数 → 处理结果 |
| 项目融合路径 | 理解层用端侧,创作层用云端,表达层用端侧 |
| 选型决策矩阵 | 网络、延迟、隐私、精度、功耗------综合评估 |
| AI 原生理念 | AI 作为系统基础设施,嵌入每个应用 |
下一篇: 第 7.5 篇将介绍 DevEco Code:AI 编程 Agent 与 Agentic 开发模式,学习如何利用 AI 提升鸿蒙应用开发效率。
参考文档
本文内容基于 HarmonyOS 7(API 26)AI Kit 开发文档:
@kit.CoreVisionKit--- Core Vision Kit 视觉 AI 能力参考@kit.CoreSpeechKit--- Core Speech Kit 语音 AI 能力参考@kit.CoreNLPKit--- Core NLP Kit 自然语言处理能力参考- 端侧 30B 大模型与 openPangu 2.0 混合 AI 架构设计指南