通俗理解词向量模型,预训练模型,Transfomer,Bert和GPT的发展脉络和如何实践

最近研究GPT,深入的从transfomer的原理和代码看来一下,现在把学习的资料和自己的理解整理一下。

  • 这个文章写的很通俗易懂,把transformer的来龙去脉,还举例了很多不错的例子。

Transformer通俗笔记:从Word2Vec、Seq2Seq逐步理解到GPT、BERT_v_JULY_v的博客-CSDN博客

  • 有了原理还需要进行代码实践,这篇文章从0开始讲解了一个简易的Transformer版本和真实版本的代码注释,值得详细读一下。

从零实现Transformer的简易版与强大版:从300多行到3000多行_写transformer-CSDN博客

  • 另外,给大家推荐一下自己动手写代码实践一下,代码模块可以丢给文心一言,GPT4,这些写代码的能力相当的不错,甚至运行出了问题,直接把问题输入给它,还能自己改正。
相关推荐
HavenlonLabs2 分钟前
重塑链上未来的隐形基石:长期主义下的生态演进
大数据·人工智能·安全·区块链
Jutick7 分钟前
远程 MCP 已配置,为什么你的 AI 开发工具仍查不到 A 股行情?
人工智能·mcp
phltxy8 分钟前
Spring AI Agents 智能体模式实战
java·人工智能·spring
li-xun11 分钟前
2026年6月14日博客精选
人工智能·ai
Esaka_Forever11 分钟前
LangChain+LangGraph+GPT-OSS+Groq Cloud
gpt·langchain
DogDaoDao21 分钟前
【GitHub】 Headroom 深度解析:AI Agent 上下文压缩层的完整技术拆解
人工智能·深度学习·程序员·github·ai agent·智能体·agent skill
挖坑的张师傅28 分钟前
方便 Mac 本机运行 e2b 的沙箱方案 e2b-local
人工智能·后端
生成论实验室34 分钟前
认知芯片:让判断力在物理定律上运行——AI芯片的第三条路
人工智能·语言模型·机器人·自动驾驶·安全架构
浦信仿真大讲堂34 分钟前
达索系统SIMULIA Abaqus 2026接触和约束的增强新功能介绍
人工智能·python·算法·仿真软件·达索软件
文艺倾年40 分钟前
【强化学习】MDP、贝尔曼方程与CartPole 编程,20W字总结(二)
人工智能·软件工程·强化学习