本文例举和总结了笔者在学习和了解AI技术过程中，接触到的一些相关技术概念，整理成为一个简单的词汇表，作为笔记和备忘之用。
笔者假设读者已经具备最基本的信息技术的相关概念和认知，因此本词汇表中的内容不会过于基础，而且主要专注于AI领域相关的内容。此外，由于笔者自身学习和认知的过程，本文内容会不断补充和完善。
A
- AI, Artificial Intelligence
人工智能，它是一门研究如何使计算机模拟人类智能的科学
- AGI，Artificial General Intelligence，通用人工智能
也就是强人工智能(相对于ANI)，和真正的人工智能，AGI可以执行任何人类智能任务，实现对人类智能的全面模拟。是AI科学和技术的最终形态。
- ANI， Artificial Narrow Intelligence，狭义人工智能
是一系列专门用于执行特定任务的人工智能系统，如语音识别、图像识别、自然语音处理、推荐系统等等。ANI是AI的一个子集，是在AGI实现之前的一些过渡形式。
- ALU，Arithmetic Logic Unit，算术逻辑单元
是CPU中的基本运算单一之一，负责执行算术运算和逻辑运算，包括加法、减法、乘法、除法、位运算等算术和逻辑运算等操作。
- Activation Function激活函数
激活函数是在神经网络中经常使用的一类函数，可以在神经网络中引入非线性因素，使其能够学习更加复杂的模式和关系。激活函数通常应用在每个神经元的输出上，将神经元的加权输入转化为输出信号。激活函数的作用主要包括：1 引入非线性，从而使神经网络学习和表达更为复杂的关系；2 控制控制信号的传递，使得网络能够对某些输入更加敏感而对其他输入则不敏感，这在一定程度上可以提高模型的泛化能力。
常见的激活函数实现包括Sigmoid、Tanh、ReLU、Softmax函数等。它们都有自己的特点和适用场合，在具体应用中需要根据实际情况选择使用合适的激活函数。
B
- BERT，Bidirectional Encoder Representations from Transformers 基于变换的双向编码器表示
BERT是一种自然语言处理中的模型，它基于Transformer架构，采用无监督学习的方法进行预训练，从而实现对自然语言的理解和表示。
BRRT和GPT的主要差异是其采用了双向编码器，可以同时考虑一段文本中所有单词的上下文信息，从而生成更加准确的单词表示。此外，它们使用的模型也有一些不同，BERT使用掩码语言模型（Masked Language Model）和下一个句子预测（Next Sentence Prediction）；而GPT一般使用自回归语言模型（Autoregressive Language Model）。所以一般认为BERT更适合于自然语言理解任务，例如问答系统、情感分析、命名实体识别、关系抽取等。而GPT更适合于自然语言生成任务，例如写作文、翻译文本、回答问题等。
C
- CPU, Center Process Unit，中央处理器
是计算机系统中核心重要的部件，它负责执行计算机程序的指令和处理数据。CPU通常由算术逻辑单元（ALU）、控制单元（CU）和寄存器组成。
- CNN，Convolutional Neural Networks， 卷积神经网络
CNN是一种深度学习算法，主要用于图像识别和处理。它能够自动学习图像特征，并对其进行分类。CNN的结构通常包括输入层、卷积层、池化层、全连接层和输出层。其中，卷积层和池化层是CNN的核心，用于提取图像特征。CNN通常被用于图像分类、目标检测、语义分割等任务场景。
- Classification， 分类
是一种监督学习方法，用于将数据分为不同的类别，它通过学习输入和输出之间的关系，来预测新数据的类别。
- CUDA，Compute Unified Device Architecture，计算通用设备结构
CUDA是一个由NVIDIA推出的并行计算平台和编程模型。CUDA为开发人员提供了一个软件环境，特别包括了GPU上的编译器、数学库和驱动程序，他们可以使用高级语言访问GPU上的虚拟指令集和内存层次结构，以实现高性能和并行加速计算。CUDA是很多高性能AI计算框架的基础。是AI计算加速的事实标准。
- Confusion Matrix, 混淆矩阵
Confusion Matrix是一个表格，常被用来描述分类模型或分类器在一组测试数据上的性能。
- CEL，Cross Entropy Loss，交叉熵损失
在监督学习和分类问题中，经常使用的一种损失函数。
- CV, Computer Vision, 计算机视觉
计算机视觉是一门研究如何使用计算机来解释和理解图像和视频的科学，是人工智能的一个重要分支。其目标是使计算机能够像人类一样理解和识别图像和视频中的物体和场景，从而实现自动化的图像和视频分析和处理。CV的应用具体包括图像识别、目标检测、目标跟踪、图像分割、人脸识别、手势识别等。
D
- Deep Learning, 深度学习
Deep Learning是一种基于人工神经网络的机器学习技术，DL模型通常由多层神经网络组成，每层神经网络都包含多个神经元。这使它可以通过模拟人类大脑的工作方式，从大量数据中自动学习出有用的特征表示。特别是在多层神经网络中，每层的神经元都能够从输入数据中学习出一个特征，并将其传递给下一层神经元，这使它的学习能够更加自动化和反映模型的深层特性。这使它被广泛的应用在图像识别、自然语言处理、语音识别等多种更加复杂的问题和场景中。
Deep Learning的主要问题是计算复杂，数据庞大，模型难以解释等等。
E
- Error, 误差，错误
在机器学习中，Error通常指误差，即各种损失函数计算的差异值。
G
- GPU，Graphics Processing Unit，图形处理器
是一种专门用于图形处理的处理器系统，在计算机系统中主要负责计算机图形的建模、渲染和显示。和CPU相比，GPU一般具有更多的核心和并行设计，更适合于处理大规模的矩阵运算和图像处理任务。这些特性也让它被广泛的应用于AI技术加速。
- Gradient Descent梯度下降
梯度下降是一类常用的机器学习优化思想和算法，用于求解最小化目标函数的参数值，从而进行训练和优化模型。梯度下降算法的基本思想是：沿着目标函数的负梯度方向不断迭代更新参数值，使得目标函数的值逐渐降低，最终收敛到最小值。
在工程实践中，梯度下降算法有多种变体，如批量下降(Batch Gradient Descent)、随机下降(Stochastic Gradient Descent)、小批量下降(Mini-batch Gradient Descent)等。从而适应各种不同的情况和对下降过程进行优化。
- GAN，Generative Adversarial Network, 生成对抗网络
GAN是一种生成模型，于2014年提出。GAN通常由两个神经网络组成：生成网络(Generator)和判别网络(Discriminator)。生成网络的任务是生成逼真的样本，而判别网络的任务是判断一个样本是真实样本还是生成网络生成的假样本。在训练过程中，生成网络试图通过不断调整参数生成更加逼真的样本，以欺骗判别网络；判别网络则试图通过不断调整参数更准确地判断样本是真实样本还是假样本。这两个网络在训练过程中不断对抗，最终使得生成网络生成的样本更加逼真，判别网络更加准确。
GAN的优势在于可以生成逼真的样本，例如图像、音频、视频等，被应用于无监督学习、半监督学习、风格迁移、图像修复等任务。
- GPT，Generative Pre-trained Transformer，生成式预训练变换
GPT是一种自然语言处理中的模型，它基于Transformer架构，采用无监督学习的方法进行预训练，从而实现对自然语言的理解和生成。
GPT的训练过程分为两个阶段。在预训练阶段，GPT会在大规模的文本数据上进行训练，学习到单词之间的联系和语法规律；而在微调阶段，GPT会在特定任务的数据集上进行微调，从而适应特定任务的需求。
H
- Hidden Layer，隐藏层
在人工智能神经网络中，隐藏层是位于输入层和输出层中间的处理层，用于对输入数据进行特征提取和转换。隐藏层由多个神经元组成，每个神经元都有自己的权重和偏置项，可以通过激活函数将输入转换为输出。
隐藏层的作用在于学习输入数据的内在特征和规律，从而实现对输入数据的分类、回归、聚类等任务。隐藏层的数量和大小是人工神经网络中的重要超参数，它们会直接影响模型的表达能力和泛化能力。在深度学习中，它也被分为卷积层、池化层、全连接层等，它们分别用于不同的特征提取和转换任务。
L
- LLM, Large Language Model，大型语言模型
LLM是一类自然语言处理中的模型，它可以预测给定一段文本的下一个单词。LLM通过学习大量的文本数据，从而获得单词之间的联系和语法规律，实现对文本的理解和生成。
LLM的训练过程通常采用监督学习的方法，使用大量的文本数据作为训练集，训练模型预测给定一段文本的下一个单词。在训练过程中，LLM会不断调整参数，使得预测的下一个单词与真实的下一个单词越来越接近。LLM有许多应用场景，例如机器翻译、语音识别、文本生成、情感分析等。LLM还可以用于预训练模型，例如BERT、GPT等，这些模型已经被证明在NLP任务中取得了非常好的效果。
- Loss Function， 损失函数
在机器学习相关算法中，损失函数是用于评估模型预测与实际结果之间差距的函数。它是机器学习模型训练过程中最关键的组成部分之一，用于指导模型优化方向，使模型不断地逼近最优解。各种监督学习算法和优化方法中，可能根据情况选择使用不同的损失函数。
M
- ML Machine Learning, 机器学习
ML是AI的一项基础性的技术体系，它使计算机系统能够自动学习和改进，而无需显式编程。机器学习算法通过对数据的分析和模型的训练，学习数据中的模式和规律，并基于这些模式和规律做出预测或决策。在实践中，ML主要分为监督学习、非监督学习和强化学习三种类型。
监督学习中，损失函数用于比较模型预测值与真实值之间的差异，并将差异转化为一个数值，以便进行优化。例如，在回归问题中，常用的损失函数包括
- MSE，Mean Squared Error，均方差
均方差原来就是比较基础和重要的统计学概念，在ML中，也是重要的监督学习的一种损失函数算法。MSE是差值平方的平均数。
- MAE，Mean Absolute Error，绝对误差
定义和作用类似MAE，但MAE是差值绝对值的平均数。
N
- NLP Natural Language Processing 自然语言处理
AI的一个重要组成部分。主要研究使计算机理解、生成和处理人类语言的科学。具体应用主要包括搜索引擎、语音助手、机器翻译、情感分析、人机文本和语音会话等等。
- Neural Network，神经网络
神经网络算法是一种模拟人脑神经元工作原理的分类算法，它通过建立多层感知机模型，来进行分类。神经网络算法可以处理非线性数据，但是训练过程较为复杂，需要大量的数据和计算资源。
- NPU, Neural Process Unit, 神经网络处理器
基于神经网络理论设计的硬件芯片处理器。它的设计重点为神经网络的数据和算法进行优化。
P
- Python
Python是一种解释型、面向对象的编程语言，由荷兰程序员Guido van Rossum于1991年发明。Python在数据分析领域的应用长期而广泛，积累了大量而丰富的程序库和框架，并形成了强大的技术体系和开源社区，这使它在新的AI时代也成为重要的技术基础，并广泛的应用在数据科学、机器学习、人工智能等领域。
- Progressive GAN，Progressive Growing of GANs，渐进式生成对抗网络
PGAB是一种生成对抗网络的训练和优化方法，它可以逐步增加生成器和判别器的网络结构，从而实现生成高质量图像的目标。
R
- Reinforcement Learning， 强化学习
是机器学习中的一种学习方式，通过与环境的交互来学习最优策略。强化学习中，相关的机器学习算法通过与环境的交互来学习，例如通过试错、获得奖惩并进行评估来学习学习如何做出正确决策。常见的应用包括机器人控制、自主游戏和自动驾驶等。
- Regression 回归
回归是一种监督学习方法，用于预测连续值，模型通过学习输入和输出之间的关系，来预测新数据的输出值。回归问题可以分为线性回归和非线性回归两类。
- Register 寄存器
通常位于CPU内部的一种高速存储器，用于存储正在执行的指令和数据。与内存相比，寄存器虽然容量较小，但是访问速度较快。在CPU中，通常有多个不同用途的寄存器，如程序计数器、累加寄存器、通用寄存器(GPR)等等。
- ReLU（Rectified Linear Unit） 修正线性单元
ReLU是一种常用的激活函数，它可以将输入的值映射到非负数域上。ReLU函数的特点是计算简单，线性和稀疏激活，使得不会像Sigmoid函数和Tanh函数那样遭遇梯度消失的问题，有效地减少计算量和过拟合的风险。ReLU在某些深度学习算法中被广泛应用，例如卷积神经网络中。但要注意当输入值小于0时，ReLU函数的梯度为0，可能导致神经元"死亡"，这会使得模型训练过程收敛慢或陷入局部最优解。这些都是选择激活函数时需要注意的特点和问题。
S
- Supervised Learning， 监督学习
是机器学习中最常见的一种学习方式。在监督学习中，机器学习算法通过使用标记数据集进行训练，学习如何将输入映射到输出，并使用新数据进行预测。常见的监督学习应用包括图像分类、语音识别和垃圾邮件过滤等。
- SVM, Support Vector Machine，支持向量机
支持向量机算法是一种基于最大间隔超平面的分类算法，它通过寻找最优超平面，来分离不同类别的数据。
- Support Vector Machine Loss，支持向量机损失
使用SVM算法时使用的一种损失函数，最常用的是hinge loss算法。
- Softmax
Softmax是一种在机器学习中常用的激活函数，它可以将一个向量的元素转换为概率分布。具体来说，它将一个实数向量映射到一个所有元素都在0到1之间且和为1的向量，从而可以将这个向量解释为一个概率分布。
- Sigmoid
Sigmoid是一种在机器学习中常用的激活函数，它可以将任意实数映射到(0,1)之间的值，因此也被称为逻辑斯特函数。Sigmoid函数的形式和实现比较简单，常用于一些二元分类问题如逻辑回归、神经网络的输出层等。但Sigmoid函数存在饱和区和梯度消失等问题，因此在深度学习中已经逐渐被其他激活函数（如ReLU函数）所取代。
T
-
Transform 一种LLM模型，是当前LLM发展的主流技术框架
-
TPU，Tensor Processing Unit，张量处理单元
是一种专门为机器学习和深度学习应用设计的处理器系统。TPU由谷歌开发的，旨在为tensorflow框架中的深度学习模型提供高性能的计算能力。
U
- Unsupervised Learning, 无监督学习
是机器学习中的一种学习方式，它不需要标记数据集就可以进行学习。相关的机器学习算法通过对未标记数据集的探索和分析，自动发现数据中的模式和结构，从而对数据进行聚类或降维。常见的应用包括客户细分、异常检测、主题模型等。