技术栈

高效微调

litble
18 天前
人工智能·lora·量化·peft·qlora·高效微调
如何速成LLM以伪装成一个AI研究者(6)——LoRA,Adapter,P-tuning,量化,QLoRA如何速成LLM以伪装成一个AI研究者(1)——循环,卷积,编解码器,注意力,Transformer 如何速成LLM以伪装成一个AI研究者(2)——Pre-LN,KV-Cache优化,MoE 如何速成LLM以伪装成一个AI研究者(3)——预训练,监督微调,强化学习RLHF/DPO 如何速成LLM以伪装成一个AI研究者(4)——PPO,GRPO,DAPO,GSPO 如何速成LLM以伪装成一个AI研究者(5)——显存估算,显卡选择
思考实践
3 年前
人工智能·语言模型·自然语言处理·lora·chatglm·高效微调
【LLM】大语言模型高效微调方案Lora||直击底层逻辑敬请期待...Reference深入浅出剖析 LoRA 技术原理_lora csdn-CSDN博客【OpenLLM 006】LoRA:大模型的低秩适配-最近大火的lora到底是什么东西?为啥stable diffusion和开源ChatGPT复现都在用? - 知乎 (zhihu.com)
我是有底线的