大语言模型 llama-factory 通常不推荐只用 LoRA 做新词库预热 embedding

可以,但通常不推荐只用 LoRA 做新词库预热,原因如下:


核心问题:新词库 + LoRA 的冲突

问题 解释
LoRA 不训练嵌入层 LoRA 只改注意力层,不碰 token embedding
新 token 嵌入仍是随机值 模型"认识"新词,但不知道这些词什么意思
后续训练效果差 模型无法正确理解和生成化学分子序列

两种可行方案

方案 A:嵌入层预热 + LoRA 微调(推荐)

复制代码
阶段1(当前): 只训练 embedding 层
  ↓ 用 full finetuning,但只开 embedding 和 lm_head
阶段2: LoRA 微调任务
  ↓ 冻结基础权重,用 LoRA 训练下游任务

修改命令(只训嵌入层):

bash 复制代码
llamafactory-cli train \
    --model_name_or_path /path/to/deepseek-r1-32b \
    --tokenizer_name_or_path ./incremental_deepseek_druggpt_tokenizer-v2 \
    --dataset zinc20_stage1 \
    --template deepseek \
    --finetuning_type full \
    --freeze_trainable_layers all \        # 冻结所有层
    --trainable_modules embed_tokens,lm_head \  # 只训练嵌入和输出头
    --output_dir ./output/stage1_warmup \
    ...

方案 B:纯 LoRA(需特殊处理)

如果必须用 LoRA,需要手动初始化新 token 嵌入:

python 复制代码
# 伪代码:在 LoRA 训练前,先用小学习率预热 embedding
# 1. 加载模型和扩展后的 tokenizer
# 2. 新 token 用类似 token 的嵌入做均值初始化
# 3. 冻结基础权重,只训 embedding 几百步
# 4. 然后正常 LoRA 训练

缺点:需要改代码,不如方案 A 干净。


对比总结

方案 显存需求 复杂度 效果
Full FT(当前命令) 很高(80GB+) 低 ⭐⭐⭐ 最好
只训 embedding + LoRA 中等 低 ⭐⭐⭐ 推荐
纯 LoRA(无预热) 低 中 ⭐⭐ 可能差
纯 LoRA + 手动预热 低 高 ⭐⭐⭐ 可行但麻烦

建议

如果你的显存不够跑 Full FT:

  1. 阶段 1 :用 --freeze_trainable_layers all + --trainable_modules embed_tokens,lm_head 只预热嵌入层(显存需求降低 60%+)
  2. 阶段 2:加载预热后的模型,改用 LoRA 做任务微调

需要我帮你写阶段 2 的 LoRA 命令吗?

相关推荐
咕泡科技16 分钟前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
电科_银尘16 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
猿人谷17 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
泓博21 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
Dawson Zhu1 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
在所不辞兄1 天前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神1 天前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
顾鸟1 天前
ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台
llama·comfyui·工作流·qwen3.5
电科_银尘2 天前
【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch
人工智能·pytorch·深度学习
武子康2 天前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习