如何在DCU上面编译llama.cpp

文章目录

一、环境配置
二、下载代码并编译
三、参考文献

一、环境配置

操作系统以及各种软件的版本如下：

二、下载代码并编译

bash 复制代码

git clone  https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)" cmake -S . -B build -DGGML_HIP=ON -DGPU_TARGETS=gfx928 -DCMAKE_BUILD_TYPE=Release

备注：在上面的命令中，gfx928是DCU的架构名称，可以通过下面的命令获得：

bash 复制代码

clinfo | grep Name

编译时，报错如下：

此时，vi examples/CMakeLists.txt，将simple文件夹那行注释掉：

重新运行上面的编译命令，再次报错如下：

解决办法是：

bash 复制代码

sed -i 's/5\.3\.25211/6.3.25211/g' /opt/dtk/lib/cmake/hip/hip-config-version.cmake

然后再次重新运行上面的编译命令。

完成后，再运行：（下面的128可改为你真实的cpu核数）

bash 复制代码

cmake --build build --config Release -- -j 128

此处的编译时间很长，需耐心等待。

如果中途报错如下：

那么就执行下面的操作：

bash 复制代码

apt install libclang-rt-15-dev
#下面的LDFLAGS路径是通过这个命令获得：find /usr/lib -name "libclang_rt.builtins-x86_64.a"
#/usr/lib/llvm-15/lib/clang/15.0.7/lib/linux/libclang_rt.builtins-x86_64.a
export LDFLAGS="-L/usr/lib/llvm-15/lib/clang/15.0.7/lib/linux"
rm -rf build
HIPCXX="$(hipconfig -l)/clang" HIP_PATH="$(hipconfig -R)" cmake -S . -B build -DGGML_HIP=ON -DGPU_TARGETS=gfx928 -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release -- -j 128

最终成功的编译结果截图：

128核cpu并行编译，耗时7分钟38秒。

三、参考文献

llama.cpp官网