llama.cpp 转化 huggingface 模型失败 解决路径

问题:

./main -m ./models/book_q4_K_M -n 128

报错:

terminate called after throwing an instance of 'std::out_of_range' what(): unordered_map::at

解决方案:

python convert.py models/llama3-8B/ --vocab-type bpe

报错:

Found vocab files: {'spm': None, 'bpe': PosixPath('models/llama3-8B/vocab.json'), 'hfft': PosixPath('models/llama3-8B/tokenizer.json')} Loading vocab file PosixPath('models/llama3-8B/vocab.json'), type 'bpe' Vocab info: <BpeVocab with 128000 base tokens and 256 added tokens> Special vocab info: <SpecialVocab with 280147 merges, special tokens {'bos': 128000, 'eos': 128009, 'pad': 128009}, add special tokens unset>

复制代码
 (py310) root@quin-ubuntu:~/code/llama.cpp# ls models/llama3-8B/
 config.json             LICENSE                           model-00003-of-00004.safetensors  README.md                tokenizer.json
 generation_config.json  model-00001-of-00004.safetensors  model-00004-of-00004.safetensors  special_tokens_map.json
 ggml-model-f16.gguf     model-00002-of-00004.safetensors  model.safetensors.index.json      tokenizer_config.json

发现没有 vocab.json 文件

复制 token.json 重命名为 vocab.json

vocab.jsontokenizer.json 都是与自然语言处理模型中的令牌器(tokenizer)相关的配置文件,但它们包含的信息和用途可能有所不同。

  1. vocab.json:

    • 这个文件通常包含了模型的词汇表(vocabulary),即模型能够理解和生成的所有单词或子词单元的列表。

    • 词汇表文件可能包括每个词汇条目的索引、词汇本身以及相关的统计信息(如频率)。

    • 在基于BPE(Byte Pair Encoding)或其他子词分割算法的令牌器中,vocab.json 文件可能包含了所有合并操作(merges)的列表,这些合并操作定义了如何将字符组合成子词单元。

  2. tokenizer.json:

    • 这个文件可能包含了令牌器的完整配置,包括词汇表、特殊令牌(如[CLS]、[SEP]、[UNK]等)、分割规则、预处理和后处理步骤等。

    • 在某些框架或模型中,tokenizer.json 可能是一个更全面的配置文件,它不仅包含了词汇表信息,还可能包括了如何将文本转换为模型输入的详细说明。

    • 这个文件可能用于保存和加载令牌器的配置,以便在不同的环境中重用相同的令牌化过程。

在实际应用中,vocab.jsontokenizer.json 的具体内容和格式可能取决于所使用的框架和模型。例如,在Hugging Face的Transformers库中,tokenizer.json 文件通常包含了令牌器的所有配置信息,而 vocab.json 可能只是词汇表的一部分。

如果你遇到需要使用这些文件的情况,你应该查阅相关模型或框架的文档,以确保你理解每个文件的确切用途和内容,并正确地使用它们。如果你的模型或脚本期望找到 vocab.json 文件,但你只有 tokenizer.json,你可能需要检查这两个文件是否可以互换,或者是否需要对脚本进行调整以适应现有的文件。

复制代码
 cp models/llama3-8B/tokenizer.json  models/llama3-8B/vocab.json

重新转换:

复制代码
 # 转换模型
 python convert.py models/llama3-8B/ --vocab-type bpe
 ​
 # 量化模型
 ./quantize models/llama3-8B/ggml-model-f32.gguf ./models/book-Q4_K_M.gguf Q4_K_M
 ​
 # 运行模型
 ./main -m ./models/book-Q4_K_M.gguf -n 128
相关推荐
喜欢吃豆12 小时前
一份面向研究人员的强化学习对齐指南:为自定义语言模型实施与评估 PPO 和 DPO
人工智能·语言模型·自然语言处理·架构·大模型
喜欢吃豆14 小时前
微调高级推理大模型(COT)的综合指南:从理论到实践
人工智能·python·语言模型·大模型·微调·强化学习·推理模型
喜欢吃豆15 小时前
从指令遵循到价值对齐:医疗大语言模型的进阶优化、对齐与工具集成综合技术白皮书
人工智能·python·语言模型·自然语言处理·大模型·强化学习·constitutional
CoderJia程序员甲17 小时前
GitHub 热榜项目 - 日榜(2025-10-13)
ai·开源·大模型·github·ai教程
远上寒山2 天前
FlashAttention 原理与工程实践:从 IO-aware 到 H100 上的 1 PFLOPs/s
大模型·注意力机制·flash_attention·online softmax·shared memory
fly五行2 天前
大模型基础入门与 RAG 实战:从理论到 llama-index 项目搭建(有具体代码示例)
python·ai·llama·llamaindex
有点不太正常2 天前
Differentially Private Synthetic Text Generation for RAG——论文阅读
论文阅读·大模型·llm·rag
山顶夕景2 天前
【LLM】大模型vibe coding(cursor、copilot、comate)
大模型·copilot·coding·vibe coding·代码模型
杀生丸学AI2 天前
【三维重建】即插即用的3DGS的PDE优化:高质量渲染和重建
人工智能·3d·大模型·aigc·3dgs·高斯泼溅·空间智能
想躺平的咸鱼干2 天前
远程MCP的调用和阿里云生态的知识库和工作流的使用
阿里云·大模型·云计算·idea·格式化输出·mcp