pip安装Transformers / tokenizers 报错(Failed building wheel for tokenizers)

一、问题描述

当我们跑大模型如Llama 时，需要安装Transformers / tokenizers，但是由于版本匹配等问题，极易造成如下等信息的报错：

大概意思就是缺少Rust compiler ，导致 Failed building wheel for tokenizers。此类问题特别常见。解决办法如下：

二、解决办法

第一步：安装 rust

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

第二步：环境生效

source "$HOME/.cargo/env"

第三步：查看rust版本号

rustc --version

第四步：重新执行 pip install xxx 即可