端侧推理

只睡四小时

端侧推理：face-api.js 首屏 92% 是白下载的端侧推理最容易翻车的是体积。把 face-api.js 的 public/models 拆开算账：6.67MB 模型里 FaceRecognitionNet 独占 92.1%，而"能框出人脸"只需 0.18MB 的 TinyFaceDetector。本文用真实权重实测，摆出 7 个性能账本。

Mininglamp_2718

在Mac上跑大模型，MLX 不是终点当 Apple MLX 框架让开发者第一次在 MacBook 上流畅运行 7B 模型时，整个社区为之振奋。但冷静下来看数据：MLX 的 W4A16 量化方案在 prefill 阶段的计算密度远未触及 Apple Silicon 的理论上限。权重被压缩到了 4-bit，激活值却依然以 FP16 参与矩阵运算——这意味着 GPU 核心中一半以上的 ALU 周期被浪费在了不必要的精度上。

我是有底线的