一、端侧AI（On-Device AI / Edge AI）
端侧AI：把AI模型轻量化后装在手机、电脑、车机、摄像头等硬件里，数据在本机直接运算推理，不用上传云端服务器。
1.和云端AI最核心区别
- 云端AI：语音、图片、提问全部联网上传远程服务器算完再回传，必须联网、有网络延迟、数据出设备。
- 端侧AI ：采集的数据留在本机本地计算，可离线运行、毫秒级响应、数据不出设备。
2.四大核心优点
- 超低延迟：本地运算，相机实时美颜、车载紧急避险无网络卡顿。
- 隐私安全：人脸、相册、语音、健康数据保存在本机，不上传云端，杜绝泄露。
- 离线可用：没网、地下室、野外依旧能用离线翻译、本地AI助手。
- 省带宽&云端成本：海量日常AI计算下沉终端，大幅减少云服务器与流量开销。
3.日常看得见的端侧AI实例
- 手机：相册搜图（搜"小狗"自动筛选照片）、人像虚化/夜景计算摄影、离线语音输入、本机大模型AI助理（端侧大模型）。
- AIPC笔记本：本地AI文档总结、离线文生图、本地智能改写文案。
- 汽车：车载摄像头实时识别障碍物、车道预警（紧急避险不靠云端）。
- 穿戴设备：手表本地分析心率、睡眠异常预警；智能家居离线语音控灯。
- 工业：产线摄像头实时瑕疵检测，毫秒级分拣次品。
4.实现端侧AI的关键技术
- 硬件 ：芯片内置NPU神经网络处理器（手机SoC、PC酷睿Ultra NPU）专门加速AI运算。
- 模型优化 ：
- 量化、剪枝、知识蒸馏：把千亿参数大模型压缩成小体积轻量化模型，适配设备内存/功耗；
- 轻量化网络：MobileNet、ConvNeXt等专为终端设计的神经网络架构。
5.局限&主流方案：端云协同
- 短板：终端算力有限，超大算力任务（复杂绘图、深度大模型推理）跑不动。
- 现在主流架构 ：简单任务本地端侧跑，复杂重型任务交给云端，自动按需分工（端云混合AI）。
二、端侧AI｜边缘AI｜云端AI 简明对比
| 对比项 | 端侧AI（设备端 On-Device） | 边缘AI（边缘节点 Edge） | 云端AI（公有云Cloud） |
|---|---|---|---|
| 部署位置 | 手机、手表、电脑、摄像头、车机等终端硬件 | 就近机房/边缘网关、边缘服务器、园区本地服务器 | 远程大型云计算中心 |
| 算力大小 | 小，依靠NPU/CPU/GPU片上算力 | 中等，单台高性能服务器算力 | 超大，集群GPU算力 |
| 网络依赖 | 完全可离线运行 | 局域网/就近宽带，不用跨城公网 | 必须联网，依赖远距离网络 |
| 数据去向 | 数据全留在本机，不出硬件 | 数据留在本地机房，不上公网云端 | 原始数据上传远程云服务器 |
| 延迟 | 极低：1～几十ms | 低：几十～几百ms | 高：几百ms～数秒（受网速影响） |
| 适用场景 | 拍照美颜、本地AI大模型、离线语音、手表健康监测 | 小区人脸识别闸机、工厂产线质检、园区安防 | AI生图、长篇大模型对话、大数据训练 |
| 成本 | 硬件一次性成本，无流量服务费 | 自建边缘服务器，运维成本中等 | 按量付费，算力、流量持续计费 |
1.快速区分
- 端侧：装在手里的设备里（手机本机跑AI）
- 边缘：放在设备附近机房里（小区楼下机房处理全小区监控）
- 云端：千里之外的大型数据中心（联网调用大厂服务器）
2.现在通用架构：端云协同
- 简单实时任务：端侧本地运算（人像抠图）
- 大批量本地业务：边缘处理（工厂全天质检数据）
- 超高算力重型任务：云端运算（高清AI绘画、万亿数据训练）
三、NPU 是什么：神经网络处理器（Neural Processing Unit）
专门用来跑AI、端侧大模型的专用芯片，CPU/GPU干AI活低效，NPU天生算神经网络，手机、AIPC、车机、边缘盒子标配。
1.区分 CPU / GPU / NPU
- CPU：全能打杂，通用计算，逻辑强、AI算力弱；
- GPU：图形+并行运算，通用AI加速，功耗高；
- NPU：AI专用芯片 ，只优化矩阵运算、神经网络推理，低功耗、速度快、省电，端侧AI核心硬件。
2.NPU能干什么（日常端侧场景）
手机端NPU（骁龙NPU、天玑APU、苹果Neural Engine）
- 相机实时人像、夜景、AI抠图
- 本机离线大模型、语音实时转文字、相册本地搜图
- 实时翻译、通话降噪（全部本地端侧，不上云）
Windows AIPC NPU（Intel Ultra NPU / AMD Ryzen NPU）
- 本地离线跑Qwen、Llama3端侧大模型（Ollama）
- 文档总结、本地文生图、AI语音
- OpenClaw自动化任务加速，不用占用CPU/GPU资源
车机、边缘设备NPU
- 自动驾驶视觉识别、摄像头故障检测、边缘AI推理
3.关键特点（端侧AI为什么离不开NPU）
- 低功耗：同样跑大模型，NPU耗电远低于GPU，手机/笔记本续航不掉崩；
- 推理提速：量化大模型在NPU速度比纯CPU快5～20倍；
- 本地离线 ：依托NPU算力实现纯端侧运行，不用联网、不上传数据。
4.有无NPU的影响
端侧大模型(量化) → NPU硬件加速 → OpenClaw框架调度 → 操控本地文件/脚本- 无NPU：只能CPU慢跑模型，卡顿、占用大量资源；
- 有NPU：AIPC/手机流畅离线跑7B、8B大模型。
相关名词
- NPUGPU异构：NPU负责AI推理，GPU负责绘图渲染，CPU调度系统；
- 量化模型：为适配NPU精简参数，是端侧落地必备。
四、HA名词解释（High Availability，高可用）
主流意思：多机冗余部署，机器宕机自动切备用机，业务不停、用户无感知 。
多用于服务器、数据库、中间件、网关、K8s集群，也是后端/云原生标配技术。
一、可用性「几个9」量化标准（行业通用）
| 等级 | 可用率 | 全年允许停机时长 | 适用场景 |
|---|---|---|---|
| 2个9 | 99% | ≈3.65天 | 企业OA、内部系统 |
| 3个9 | 99.9% | ≈8.76小时 | 普通网站、小程序服务 |
| 4个9 | 99.99% | ≈52.6分钟 | 电商、支付、核心业务 |
| 5个9 | 99.999% | ≈5.26分钟 | 银行、证券、通信核心 |
二、HA三种主流部署模式
1. 主备模式（最常用：一主一备）
- 主机跑业务，备机实时同步数据、空闲待命
- 主机故障→心跳探测失效，秒级自动故障转移，备升主
- 例：MySQL主从、Nginx主备、Redis哨兵
2. 双活/互备（双机同时对外提供服务）
两台机器同时承载流量，任意一台宕机，全量流量切另一台
例：网关HA、同城双活数据库
3. 多节点集群（3台及以上，K8s/Pacemaker）
多台节点组成集群，故障实例自动在其他节点重建（容器漂移）
三、HA三大核心技术原理
- 心跳检测（Heartbeat）：节点之间定时互相发探测包，收不到=判定宕机
- 数据实时同步：主节点数据同步副本，切换后无大量丢数据（RPO）
- 故障自动转移（Failover）：自动切换IP/域名/流量，用户不用改配置
四、常用开源HA组件
- Linux传统集群：
Corosync+Pacemaker（老牌HA集群） - 数据库：MySQL MGR、Redis哨兵/集群、PG流复制
- 网关/负载：Keepalived+Nginx（LVS+VRRP）
- 容器云：K8s Deployment/StatefulSet自带自愈HA
五、HA vs DR（容灾，别混淆）
- HA（高可用） ：同城/同机房，应对单机/硬件/软件故障，秒级切换
- DR（灾难恢复） ：异地多机房，应对火灾、机房断电、城市故障，分钟~小时级切换
另一种意思：HA=Home Assistant（智能家居）
智能家居圈HA=HomeAssistant，本地聚合米家、HomeKit、涂鸦全品牌设备，端侧本地化智能（和高可用不是一个东西）。