大语言模型领域的重要术语解释

前言

本人对人工智能非常感兴趣,目前是一名初学者,在研究大语言模型的一些内容。很多模型都是用英文提出的,其中也包括很多概念,有些概念的中文翻译和其想表达的意思不完全一样,所以在这里,想更加精准地帮助大家理解这些词汇。

术语解释

为了方便查找,接下来的词汇将按照字典序进行解释。

ablation study

消融实验。为了测试论文中提出的创新点是否有效,将加上创新点的代码效果与不加上创新点的代码效果进行对比,从而证明该创新点的有效性。这个实验被称为消融实验。

baseline

基线,或者翻译为参照物。一般是指一个简单、易于实现的基准模型,用来与论文中提出的新模型做对比的。

cross entropy

交叉熵。交叉熵是一种计算两个向量之间距离的方式,常用于损失函数当中。交叉熵越小,表明两个向量之间越接近。

假设有两个向量 X = ( x 1 , x 2 , ... , x n ) , Y = ( y 1 , y 2 , ... , y n ) X=(x_1,x_2,\dots,x_n),Y=(y_1,y_2,\dots,y_n) X=(x1,x2,...,xn),Y=(y1,y2,...,yn)

则这两个向量的交叉熵为 ∑ i = 1 n x i l o g 2 ( y i ) \sum_{i=1}^n{x_ilog_2(y_i)} ∑i=1nxilog2(yi)

decoding

解码。decoding是跟encoding相反的过程,将编码转换为离散属性。

encoding

编码。编码是处理离散属性的一个重要方式。独热编码(one-hot encoding)就是一种常见编码。

max pooling

最大值池化。pooling是池化的意思。max pooling这个操作可以把矩阵中 2 × 2 2\times2 2×2的格子,通过取最大值的方式,变成一个 1 × 1 1\times1 1×1的格子。该操作常用于图像处理。

NLP

自然语言处理。是Natural Language Processing的简称。著名的BERT模型、GPT模型都是用来处理NLP任务的。

normalization

归一化。归一化是对原始数据的线性变换,通常将数据映射到 [ 0 , 1 ] [0,1] [0,1],转换函数为 x ′ = x − m i n ( x ) m a x ( x ) − m i n ( x ) x'=\frac{x-min(x)}{max(x)-min(x)} x′=max(x)−min(x)x−min(x)

softmax

归一化指数函数。softmax是一个函数的名字,这个函数的作用是对一个向量进行处理,且使得处理完的向量所有分量之和为1,且可以放大分量中的最大值在所有分量中的占比,并且所有分量均为正值。该函数常用于多分类预测模型。

假设有一个向量 X = ( x 1 , x 2 , ... , x n ) X=(x_1,x_2,\dots,x_n) X=(x1,x2,...,xn),那么对这个向量进行softmax处理的公式为 x i ′ = e x i ∑ j = 1 n e x j x_i'=\frac{e^{x_i}}{\sum_{j=1}^ne^{x_j}} xi′=∑j=1nexjexi

经过softmax处理后的向量为 X ′ = ( x 1 ′ , x 2 ′ , ... , x n ′ ) X'=(x_1',x_2',\dots,x_n') X′=(x1′,x2′,...,xn′)

SOTA

最先进的技术。是State Of The Art的缩写。指在公开的数据集上,目前检测到的效果最好,识别率最高,正确率最高的模型。一般在论文中会把自己提出的模型与SOTA进行比较。

token

词元。token是语言类模型中的最小语义单位。通常可以是一个单词、一个词组、一个标点符号、一个字符等,取决于文本处理的需求和方法。

word embedding

理解1(简单的理解)

词向量。很多大语言模型的一个重要的目标,就是把每个单词(或者汉字)用一个向量来表示。embedding可以简单理解为向量的意思,word embedding就是这个单词的向量表示。

理解2(真实的理解)

词嵌入。嵌入,顾名思义,就是把高维的信息映射到低维空间上。经典的one-hot编码,就是采用N维向量来表示N个单词。但是由于单词量过大,会导致向量维数过大。为了解决这个问题,就需要通过某种方法,把这个高维向量用低维的向量表示,这个低维的向量,就被称为word embedding。

zero-shot learning

零样本学习。零样本学习就是让计算机模拟人类的推理方式,来识别从未见过的新事物。

总结

本人是一个机器学习领域的萌新,对于很多概念可能还理解不到位,但是尽量把自己的一些见解呈现给大家。希望可以对大家(尤其是新手)有所帮助。

相关推荐
PyAIExplorer8 分钟前
图像处理中的霍夫变换:直线检测与圆检测
图像处理·人工智能
格林威30 分钟前
Baumer工业相机堡盟工业相机如何通过DeepOCR模型识别判断数值和字符串的范围和相似度(C#)
开发语言·人工智能·python·数码相机·计算机视觉·c#·视觉检测
不爱学英文的码字机器33 分钟前
Claude Code: Best practices for agentic coding
人工智能
代码老y41 分钟前
数据挖掘:从理论到实践的深度探索
人工智能·数据挖掘
DAWN_T171 小时前
Python编译器(Pycharm Jupyter)
python·机器学习·jupyter·pycharm
九章云极AladdinEdu1 小时前
冷冻电镜重构的GPU加速破局:从Relion到CryoSPARC的并行重构算法
人工智能·pytorch·深度学习·机器学习·自然语言处理·架构·gpu算力
HMS Core1 小时前
用AI重塑游戏体验:《诛仙2》携手HarmonyOS SDK实现性能与功耗双赢
人工智能·游戏·harmonyos
jndingxin1 小时前
OpenCV哈希算法------Marr-Hildreth 边缘检测哈希算法
人工智能·opencv·哈希算法
金智维科技1 小时前
揽获双奖!2025大湾区珠港澳计算机设计大赛,金智维再现创新实力
人工智能
qiyue772 小时前
AI编程专栏(五)-提示词知识-通用提示结构或框架
人工智能·ai编程