1. 前言

微软开源的BitNet模型（特别是BitNet b1.58 2B4T）是一种革命性的低精度大语言模型（LLM），1.58位三值权重：权重仅取-1、0、+1三种值，每个参数平均占用约1.58位存储，结合8位整数激活值（W1.58A8配置），大幅压缩模型体积，通过创新的量化技术和架构设计，在性能、能效和部署灵活性上实现了显著突破。

在x86 CPU上推理速度提升2.37--6.17倍，ARM CPU上提升1.37--5.07倍，CPU解码延迟低至29毫秒；相比全精度模型，能耗降低55.4%--82.2%；非嵌入内存仅需0.4GB，仅为传统FP16模型的1/6（如Qwen 1.5B需2.6GB），支持在普通笔记本或嵌入式设备上运行100B参数的模型。

支持在CPU（如苹果M2芯片、ARM架构设备）上直接运行，无需GPU，适用于手机、IoT设备、嵌入式系统等资源受限场景；通过极低能耗和硬件要求，降低企业及个人使用大模型的成本，推动AI技术在发展中国家和小型企业中的普及。

但是，也有局限性，知识密集型任务（如TriviaQA）表现较弱，需优化数据分布。

2. 应用部署

>git clone --recursive https://github.com/microsoft/BitNet.git

>cd BitNet

>conda create -n bitnet-cpp python=3.9

>conda activate bitnet-cpp

>pip install -r requirements.txt

>huggingface-cli download microsoft/BitNet-b1.58-2B-4T-gguf --local-dir models/BitNet-b1.58-2B-4T

>python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s

|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 如果提示错误：bitnet.cpp error : no type named 'system_clock'。 **解决方案：**在BitNet\3rdparty\llama.cpp目录中查找common.cpp、log.cpp、imatrix.cpp、perplexity.cpp文件，加上#include <chrono>语句。 |