1-Bit Bonsai Image 4B：仅 0.93GB 的本地图像生成模型，手机也能跑

2026 年 5 月 26 日，PrismML 发布了 Bonsai Image 4B 系列------一组极致压缩的图像生成模型，能在 iPhone、笔记本等本地设备上流畅运行扩散推理。这个项目在 Hacker News 上获得了 260+ 分的热度，技术社区反响强烈。

核心亮点：将 16GB 模型压缩到 1GB

Bonsai Image 4B 基于 FLUX.2 Klein 4B 架构，但做了根本性的改变------将 transformer 权重量化为二值（binary）和三值（ternary）表示：

模型	Diffusion Transformer 体积	对比 FP16 缩小
FLUX.2 Klein 4B（原始）	7.75 GB	1.0x
1-bit Bonsai Image 4B	0.93 GB	8.3x
Ternary Bonsai Image 4B	1.21 GB	6.4x

1-bit 版本 使用 {-1, +1} 二值权重 + FP16 group-wise scaling factor，有效 1.125 bits/weight。Ternary 版本使用 {-1, 0, +1} 三值权重，有效 1.71 bits/weight，额外零状态带来更好的表示灵活性。

本地部署：手机端首次实现 4B 级图像生成

这是目前已知首个能在 iPhone 上直接运行的 4B 参数级图像模型。

完整部署包（含压缩后的 text encoder 和 FP16 VAE）：1-bit 版本 3.42 GB，Ternary 版本 3.88 GB。对比之下，原始 FLUX.2 Klein 4B 需要 15.97 GB。

关键运行时内存占用：

512×512 图像生成：1-bit 平均 1.5 GB，Ternary 平均 1.96 GB（原始 FLUX 需要 11.74 GB，缩小 7.8x）
1024×1024 图像生成：1-bit 平均 1.95 GB，Ternary 平均 2.38 GB（原始 FLUX 需要 14.39 GB，缩小 7.4x）

推理速度实测

Bonsai Image 4B 生成 512×512 图像的速度：

iPhone 17 Pro Max：约 9.4 秒
Mac M4 Pro：约 6 秒（比原始全精度 MFLUX pipeline 快 5.6x）

支持的硬件与部署栈

Apple Silicon（iPhone、iPad、Mac）：通过 MLX low-bit 路径
NVIDIA CUDA GPU：通过 Gemlite low-bit GEMM kernels
推理时 text encoder 可在 prompt 编码后卸载，降低峰值内存

模型质量评估

PrismML 在三个基准上做了评估：

基准	测试内容	结果
GenEval	物体组合与属性绑定	与 FLUX.2 Klein 4B 接近
HPSv3	人类偏好与美学质量	质量可接受
DPG-Bench	密集 prompt 遵循度	语义忠实度良好

主观对比显示，1-bit 版本在细节丰富度上有所损失，但主体结构和 prompt 遵循度保持良好。Ternary 版本因零状态的引入，在质量上更接近原始模型。

对开发者和 AI 应用的意义

Bonsai Image 4B 代表了一个重要趋势：大规模模型正变得足够小，可以在你的口袋里运行。

这对 AI 应用开发者意味着什么：

隐私优先：图像生成完全在本地完成，用户数据不出设备
零 API 成本：无需调用云端 API，推理成本趋近于零
离线可用：无网络环境也能生成高质量图像
低延迟：手机端 9 秒生成，体验接近原生应用

PrismML 表示将开放模型权重，开发者可以将其集成到自己的应用中。对于关注 AI + 移动端的团队来说，这是一个值得密切跟踪的项目。

总结

1-bit 和 Ternary 量化技术让 4B 参数级别的图像生成模型首次在手机上落地。这不仅是技术突破，更是 AI 应用从"云端依赖"走向"端侧原生"的一个里程碑。开源权重 + 本地运行 + 快速推理的组合，将催生新一代移动端 AI 创作工具。

如果你对这个方向感兴趣，可以关注 PrismML 的后续发布。我正在做的一个在线工具站 zidongai.com.cn 也在关注端侧 AI 部署的最新进展，欢迎交流。