技术栈

从零构建大语言模型

cscshaha
8 小时前
人工智能·深度学习·语言模型·llm·从零构建大语言模型
《从零构建大语言模型》学习笔记1,环境配置暑假期间有点时间,趁这段时间把《从零构建大语言模型》这本书书学习一下,一直都对现在比较火的大预言模型有着非常大的好奇心,想要了解他背后的原理。本人的情况是有一些传统机器学习的基础在的,尤其是图像方面的一些卷积神经网络,但是现在各种人工智能的底层技术趋势是使用注意力模型,对这方面的知识我也只是了解理论上的实现,还没有自己从底层写代码去实现一些attention或者transformer的模型。正好在学习这本书的过程中一起实践一下。接下来就开始我的学习了,有一起学习的可以一起交流下经验,因为这个过程中肯定会碰