当使用 AutoTokenizer 加载百川（Baichuan）模型时出现 BaiChuanTokenizer 相关报错

当使用 AutoTokenizer 加载百川（Baichuan）模型时出现 BaiChuanTokenizer 相关报错，通常是由于库版本不兼容、代码问题或模型文件异常导致的。以下是常见原因和解决方法。

常见原因与解决方案

1. ‌库版本不兼容‌

   如果 transformers 库版本过高（如高于 4.33.3），可能导致 BaiChuanTokenizer 类无法正确识别。

2. ‌解决方法 ‌：降级 transformers 版本至 4.33.3，并同步调整 torch 版本至 2.0。

   pip install transformers==4.33.3 torch==2.0