cpp 选手转 ai infra 后端秋招学习笔记 day1

1.ai infra 的全称是 ai infrastructure 相关的技术,具体涉及的岗位有 GPU 算子优化、推理优化、分布式训练。

这三者都是围绕着以 transfomer 的 decoder 模式涌现的大模型在不同阶段产生的岗位,比如推理优化是指在大模型训练完成之后,如何更高效的使用模型,降低延迟,提高吞吐量,在这个基础上的技术有 PagedAttention、prefix sharing 等等。

2.浅谈 Transformer 技术

Transformer 最传统的形式是编码器解码器两部分组成,用比喻的话,比如一个人打算把一段英文莎士比亚翻译成中文,编码器的作用就是去理解英文的意思,解码器就是去根据这个理解再去输出中文结果。

transfomer 的机制是一种叫做自注意力机制,它使得模型不同 token 之间的理解和关联跨越距离,解决了传统的 cnn 感受野有限,rnn 串行计算以及信息随着距离变远丢失的问题。

现在大模型主要采取单 decoder(解码器)结构,采用这种结构比最原始结构的好处就是模型的结构更加简单。

3.一个模型从输入的 prompt(比如你问豆包,在上海哪里好玩),到模型输出结果的过程主要包括

分词,模型是机器的,首先得把我们的句子分成多个词,tokenize,不过这里的分词不一定是严格意义上的一个单词,比如 luckily 可能就是 luck 和 ily,ily 是常见的形容词的后缀,或者 happiness 分成 happ 和 iness。

分词之后要变成词元,即机器里的"字典"。

在这之后是输入到模型里层层计算,产生输出。

最后把输出从词元概率反变换回词元,即输出的结果。

总结:要理解 ai infra 各种技术,传统的后端知识很重要,不管是 cpp 还是 java 或者 go、Python,通过这些领域积累的知识复利性很强。

当前的岗位主要围绕的是 Transformer 语言模型架构各个阶段的优化产生的,具体的有在训练前,有在训练之后的使用。

相关推荐
旖旎夜光1 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
ShineWinsu3 小时前
对于Qt:QSpacerItem常见属性以及方法的解析
开发语言·c++·qt·面试·系统架构·客户端·qspaceritem
Soari4 小时前
大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图
transformer·大语言模型·tsn·rlhf·指令微调
ShineWinsu6 小时前
对于Qt:QGripLayout常见属性、方法以及QSizePolicy的解析
开发语言·c++·qt·面试·gui·客户端·网格
艾莉丝努力练剑6 小时前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
辰小忆7 小时前
11 · RunCurveChart —— 实时运行曲线
c++·ui·duilib
Hhy_11079 小时前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio
艾莉丝努力练剑10 小时前
【QT】系统相关:TCP的API介绍
开发语言·前端·c++·人工智能·qt·学习·tcp/ip
青少儿编程课堂10 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中国剩余定理解析
c++·python·算法·bfs·信息学竞赛
wo_jack11 小时前
C++ 入门笔记(十八):list 进阶 —— const 迭代器、operator-> 与 clear 的坑
数据结构·c++·面试·stl·list