建议AI大模型小白必看的学习教程!!

逼自己两周刷完 AI大模型(白嫖)

LLM大模型自用资料,以及学习路线整理

整理了我入门大模型的学习路线和自用资料,在全民LLM时期,多输入一些就多一重安全感。建议先对LLM全貌有了解,然后自顶向下去学习。前置知识是nlp基础如transformer,这篇聚焦LLM的学习框架👉🏻

1️⃣ 预训练

🔅模型结构:decoder-only和encoder-decoder模型结构分别适用于什么场景,以及在训练中如何构造数据。建议直接从llama开始,开源社区氛围好。

🔅Scaling Law:用于估算现有资源可以训练多少B模型,以及当前模型的适用数据量。

🔅FlashAttention:了解原理-加速attention,避免多次和显存之间交互耗时。

🔅位置编码RoPE:通过旋转矩阵,实现对长文本的位置编码。

🔅训练框架:deepspeed等模型并行框架

2️⃣ SFT

🔅数据集选择:C-Eval是常用的中文bencmark,MAmmoTH是英文数学应用题

🔅数据配比和质量:LLM时常发生过拟合现象(比如你训练了一个客服问答模型,不管输入什么,它都会输出客服礼貌的语句),因此不能只是用目标任务数据集,需要稍全,同时少量高质量远好于大量含噪声数据。可以参考论文:LIMA: Less is More。

🔅全参数、Lora、p-tuning v2等方法的区别:lora等peft方法是为了在消费级显卡上也能训练、并节约训练时间而产生的,7B模型lora微调在一张v100上也能跑起来。

🔅Loss计算:为了最大化response的影响,一般输入的prompt不计算loss,在这个过程中涉及到mask机制。

3️⃣ RLHF

🔅PPO和DPO算法等

4️⃣ 应用层

🔅RAG:传统搜推的准确搜索能力,为大模型补充领域知识或及时信息。最终模型回答的准确性还是与LLM强相关,召回个人觉得类似于锦上添花,但在一个呆逼LLM上无法起死回生。

🔅Agent:在LLM基础上通过工程方法串联执行器,按照观察->思考->执行的方式,与LLM进行交互

🔅MOE:混合专家模型,多任务能力强

5️⃣ 量化

🔅vLLM,GPT-Q等,通过降低参数精度(fp16 -> int 8 -> int 4)提升推理性能。

针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码 领取🆓**↓↓↓**

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈






针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料 分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴,可以 扫描下方二维码 领取🆓**↓↓↓**

👉[CSDN大礼包🎁:全网最全《LLM大模型入门+进阶学习资源包》免费分享(安全链接,放心点击)]()👈

相关推荐
翔云API2 分钟前
PHP静默活体识别API接口应用场景与集成方案
人工智能
浊酒南街8 分钟前
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.9-4.10
人工智能·深度学习·神经网络·cnn
Tony聊跨境24 分钟前
独立站SEO类型及优化:来检查这些方面你有没有落下
网络·人工智能·tcp/ip·ip
懒惰才能让科技进步30 分钟前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
Qspace丨轻空间41 分钟前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
没有不重的名么42 分钟前
门控循环单元GRU
人工智能·深度学习·gru
love_and_hope1 小时前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
2403_875736871 小时前
道品科技智慧农业中的自动气象检测站
网络·人工智能·智慧城市
学术头条1 小时前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
准橙考典1 小时前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法