infllm_v2安装

github上的安装流程很简单 pip install -e . 即可。 但是环境如果没有配置好会踩几个小坑。

cuda安装配置

从略

依赖的pip包

pip install numpy

cutlass安装配置

这里临时配置一下

git clone https://github.com/NVIDIA/cutlass.git /tmp/cutlass
export CUTLASS_PATH=/tmp/cutlass
export CPATH=$CUTLASS_PATH/include:$CPATH
export C_INCLUDE_PATH=$CUTLASS_PATH/include:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=$CUTLASS_PATH/include:$CPLUS_INCLUDE_PATH

安装

git clone https://github.com/OpenBMB/infllmv2_cuda_impl.git
cd infllmv2_cuda_impl
pip install -e .

编译线程数限制

注意, 机器如果核心较多, 可能会资源占用过多被杀进程。

如 Command '['ninja', '-v', '-j', '112']' returned non-zero exit status 255.

此时报错比较隐蔽只有一个Killed.

可以通过环境变量限制一下

export MAX_JOBS=4