github上的安装流程很简单 pip install -e . 即可。 但是环境如果没有配置好会踩几个小坑。
cuda安装配置
从略
依赖的pip包
pip install numpy
cutlass安装配置
这里临时配置一下
bash
git clone https://github.com/NVIDIA/cutlass.git /tmp/cutlass
export CUTLASS_PATH=/tmp/cutlass
export CPATH=$CUTLASS_PATH/include:$CPATH
export C_INCLUDE_PATH=$CUTLASS_PATH/include:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=$CUTLASS_PATH/include:$CPLUS_INCLUDE_PATH安装
bash
git clone https://github.com/OpenBMB/infllmv2_cuda_impl.git
cd infllmv2_cuda_impl
pip install -e .编译线程数限制
注意, 机器如果核心较多, 可能会资源占用过多被杀进程。
如 Command '['ninja', '-v', '-j', '112']' returned non-zero exit status 255.
此时报错比较隐蔽只有一个Killed.
可以通过环境变量限制一下
bash
export MAX_JOBS=4