infllm_v2安装

用户13598170676402026-03-26 9:53

github上的安装流程很简单 pip install -e . 即可。但是环境如果没有配置好会踩几个小坑。

cuda安装配置

从略

依赖的pip包

pip install numpy

cutlass安装配置

这里临时配置一下

bash 复制代码

git clone https://github.com/NVIDIA/cutlass.git /tmp/cutlass
export CUTLASS_PATH=/tmp/cutlass
export CPATH=$CUTLASS_PATH/include:$CPATH
export C_INCLUDE_PATH=$CUTLASS_PATH/include:$C_INCLUDE_PATH
export CPLUS_INCLUDE_PATH=$CUTLASS_PATH/include:$CPLUS_INCLUDE_PATH

安装

bash 复制代码

git clone https://github.com/OpenBMB/infllmv2_cuda_impl.git
cd infllmv2_cuda_impl
pip install -e .

编译线程数限制

注意, 机器如果核心较多, 可能会资源占用过多被杀进程。

如 Command '['ninja', '-v', '-j', '112']' returned non-zero exit status 255.

此时报错比较隐蔽只有一个Killed.

可以通过环境变量限制一下

bash 复制代码

export MAX_JOBS=4

上一篇：从0开始设计一个树和扁平数组的双向同步方案

下一篇：RAG与GraphRAG介绍