图神经网络
图神经网络（Graph Neural Networks, GNNs）是一种特殊的神经网络架构，用于处理图结构数据。与传统的神经网络处理一维序列（如文本）或二维网格（如图像）不同，GNNs能够处理具有任意连接关系的数据，如社交网络、化学分子结构、网页链接等。
定义
图神经网络是一种深度学习模型，它在图结构数据上进行操作。在图中，节点（Vertices 或 Nodes）表示实体，边（Edges）表示实体之间的关系。GNNs通过迭代地更新节点的表示来捕捉图中的局部结构信息，从而进行图级别的任务，如节点分类、边预测、图分类等。
关键概念
- 节点特征：每个节点都可以有一个特征向量，这些特征向量可以用来表示节点的属性。
- 邻居聚合：GNNs通过聚合节点的邻居信息来更新节点的表示。这个过程通常涉及将邻居的特征向量进行加权求和或其他类型的聚合操作。
- 消息传递机制：在迭代过程中，节点通过与邻居交换信息来更新自身的状态，这个过程被称为消息传递。
基本工作原理
- 初始化：为每个节点分配一个初始特征向量。
- 消息传递：节点通过与其邻居交换信息来更新自己的状态。这个过程通常涉及聚合邻居的特征向量，并将聚合结果与当前节点的特征向量结合。
- 更新节点表示：基于聚合的信息更新节点的特征向量。
- 重复迭代：上述过程通常会重复多次，直到达到预定的迭代次数或满足某些终止条件。
- 读出层：最后，通过一个读出层（Readout Layer）将节点级别的表示整合为图级别的表示，以完成图级别的任务。
GAN(生成对抗网络)
生成对抗网络用于生成逼真的数据样本。GANs通过两个神经网络之间的博弈过程来学习数据的分布，并生成新的数据样本。这两个网络分别是生成器（Generator）和判别器（Discriminator）
定义
GANs的核心思想是通过两个相互竞争的神经网络来学习真实数据的分布：
- 生成器（Generator）：尝试生成逼真的数据样本，以欺骗判别器。
- 判别器（Discriminator）：负责区分真实数据和生成器生成的数据。
在训练过程中，生成器试图生成与真实数据难以区分的样本，而判别器则试图正确区分生成的数据和真实数据。通过这种对抗性的训练过程，生成器逐步学会生成越来越逼真的数据。
工作原理
- 初始化：生成器和判别器都初始化为随机权重。
- 生成样本：生成器接收随机噪声（Noise）作为输入，并生成数据样本。
- 判别训练：判别器接收真实数据和生成数据，并尝试区分它们。
- 生成训练：生成器根据判别器的反馈调整参数，以生成更真实的样本。
- 交替训练：生成器和判别器交替进行训练，直到达到某种平衡或收敛。
自编码器
自编码器（Autoencoder, AE）是一种无监督学习方法，最初用于特征学习和数据压缩。自编码器由两部分组成：编码器（Encoder）和解码器（Decoder）。其目的是学习数据的紧凑表示，同时能够重构原始输入数据。自编码器的基本思想是通过一个瓶颈层（中间层）来迫使模型学习输入数据的重要特征。
定义
自编码器是一种神经网络架构，它由以下几个主要部分构成：
- 编码器（Encoder）：将输入数据映射到一个较低维度的隐空间（latent space）中，生成一个紧凑的表示（编码）。
- 解码器（Decoder）：将隐空间中的表示映射回原始数据空间，试图重构输入数据。
- 损失函数（Loss Function）：通常使用重构误差（如均方误差或交叉熵）作为损失函数，衡量重构数据与原始输入之间的差异。
工作原理
- 编码阶段：输入数据 x 通过编码器生成一个隐空间表示h=f(x)
- 解码阶段：隐空间表示 h 通过解码器生成重构数据 X^ = g(h)
- 训练目标：最小化重构误差L(x, x^) ，即尽可能使重构数据 x ^接近原始输入数据x。
类型
- 标准自编码器（Standard Autoencoder）：最基本的自编码器形式，目标是最小化重构误差。
- 稀疏自编码器（Sparse Autoencoder）：通过正则化约束，使得隐层单元的激活值接近于零，从而学习到更稀疏的特征表示。
- 去噪自编码器（Denoising Autoencoder）：在编码器输入前加入噪声，目标是重构干净的原始输入数据。
- 变分自编码器（Variational Autoencoder, VAE）：在编码器中引入概率分布，使得隐空间表示符合某种先验分布（如高斯分布），从而具备生成新样本的能力。
- 卷积自编码器（Convolutional Autoencoder）：使用卷积层和反卷积层代替全连接层，适用于图像数据的特征学习和重构。
- 递归自编码器（Recursive Autoencoder）：用于处理树形结构数据，如句子的句法树。
循环神经网络
循环神经网络（Recurrent Neural Network, RNN）是一种专为处理序列数据设计的神经网络架构。与传统的前馈神经网络不同，RNN能够处理具有时间依赖性的数据，因为它们具有记忆功能，可以记住之前输入的信息，并在后续时刻使用这些信息。
结构
RNN的基本单元可以表示如下：
- 输入层（Input Layer）：接收当前时刻的输入数据。
- 隐藏层（Hidden Layer）：处理当前时刻的输入数据，并将隐藏状态传递给下一时刻。
- 输出层（Output Layer）：生成当前时刻的输出。
RNN的隐藏层具有递归连接，这意味着隐藏状态会在时间上向前传递。RNN的更新公式可以简单表示为：
变体
RNN有一些常见的变体，以解决长序列中的梯度消失或梯度爆炸问题：
- 长短期记忆网络（Long Short-Term Memory, LSTM）：引入了门控机制（如输入门、遗忘门、输出门），使得模型能够记住长期依赖信息。
- 门控循环单元（Gated Recurrent Unit, GRU）：是LSTM的一种简化版本，通过合并遗忘门和输入门为一个单一的更新门来减少参数量。
GPT
GPT（Generative Pre-trained Transformer）是一种基于Transformer架构的预训练语言模型，最初由OpenAI提出。GPT模型通过在大量未标注的文本数据上进行无监督预训练，学习到了丰富的语言表示，之后可以通过微调来适应各种下游任务。
定义
GPT模型的核心创新在于使用了Transformer架构，这是一种完全基于注意力机制（Attention Mechanism）的模型。与传统的RNN相比，Transformer在处理长序列数据时更为高效，并且可以并行化计算。GPT模型通过在大规模文本数据上进行预训练，学习到了语言的通用表示，然后可以被微调以适应特定的任务。
工作原理
- 预训练（Pre-training）：在大规模未标注的文本数据上进行无监督学习，通过语言建模任务（如预测下一个词）来学习语言表示。
- 微调（Fine-tuning）：将预训练得到的模型应用于特定的任务，通过少量标注数据进行微调，以适应特定任务的需求。
关键组件
- Transformer架构：包含多头注意力机制（Multi-head Attention）和位置编码（Positional Encoding），能够捕捉长距离依赖关系。
- 自回归训练（Autoregressive Training）：通过预测序列中的下一个词来训练模型。
- 大规模预训练：使用数十亿甚至万亿级别的文本数据进行预训练，以获得强大的语言理解能力。
BERT
BERT是一种基于Transformer架构的预训练语言模型。BERT的最大特点是其双向编码机制，它能够理解文本中词汇的上下文意义，并且在多种自然语言处理任务中取得了显著的成绩。BERT的推出标志着自然语言处理领域的一次重大飞跃，开启了预训练模型大规模应用的新时代。
定义
BERT是一种用于自然语言处理的深度学习模型，其核心特点是通过双向Transformer编码器来学习词的上下文表示。与其他语言模型（如GPT）不同，BERT在预训练阶段并不依赖于单向的自回归机制，而是通过掩码语言模型（Masked Language Model, MLM）和下一句预测（Next Sentence Prediction, NSP）任务来训练模型。
关键特点
- 双向编码：BERT通过双向Transformer编码器来学习词的上下文表示，这意味着它可以同时考虑一个词的前后文信息。
- 掩码语言模型（MLM）：在预训练阶段，BERT会对输入文本中的部分词进行随机掩码（即用特殊标记[MASK]替换），然后尝试根据上下文恢复这些掩码词。这种方法使BERT能够学习到词的上下文依赖性。
- 下一句预测（NSP）：BERT还通过预测两个句子是否连续来训练模型，这有助于模型理解句子之间的关系。
训练过程
- 预训练（Pre-training）：在大规模未标注文本数据上进行无监督学习，通过掩码语言模型（MLM）和下一句预测（NSP）任务来训练模型。
- 微调（Fine-tuning）：将预训练好的模型应用于特定的下游任务，通过少量标注数据进行微调，以适应特定任务的需求。
模型架构
BERT模型主要包括以下几部分：
- 嵌入层（Embedding Layer）：将输入的词汇映射到高维向量空间。
- 位置嵌入（Positional Embeddings）：为每个位置的词汇添加位置信息。
- 段落嵌入（Segment Embeddings）：标记句子A和句子B的不同。
- 多头注意力机制（Multi-head Attention）：通过多个注意力头来捕捉不同的上下文信息。
- 前馈神经网络（Feed-forward Neural Networks）：用于对注意力机制的输出进行进一步处理。
聚类
聚类（Clustering）是一种无监督学习方法，其目标是将数据集中的样本分成不同的组或簇（Clusters），使得同一簇内的样本彼此相似，而不同簇的样本之间差异较大。聚类技术广泛应用于数据挖掘、机器学习和统计分析中，用于探索数据的内在结构和模式。
定义
聚类是一种数据分析技术，它将数据集中的元素划分为若干个组或簇，使得每个簇内的数据点之间相似度较高，而簇间相似度较低。聚类属于无监督学习，因为聚类算法在执行时并不需要已知的标签信息。
聚类算法
常见的聚类算法包括但不限于：
- K-means：一种基于距离的聚类算法，将数据点划分到最近的簇中心所在的簇中。
- 层次聚类（Hierarchical Clustering）：构建一个树状结构来表示数据点之间的关系，可以是凝聚型（Agglomerative）或分裂型（Divisive）。
- DBSCAN（Density-Based Spatial Clustering of Applications with Noise）：基于密度的聚类算法，可以发现任意形状的簇，并能识别噪声点。
- 谱聚类（Spectral Clustering）：利用图论中的谱方法进行聚类，适用于复杂的数据集。
- Mean Shift：一种基于密度的聚类算法，通过寻找数据点密度的峰值来确定簇的中心。
- Gaussian Mixture Models (GMM)：基于概率分布的聚类方法，假设数据点服从高斯分布。
聚类的步骤
- 选择聚类算法：根据数据的特点和需求选择合适的聚类算法。
- 初始化：设置初始参数，如簇的数量（如果是K-means）。
- 迭代优化：不断地调整簇的边界或中心，直到达到某个停止条件（如收敛或达到最大迭代次数）。
- 评估聚类结果：使用适当的指标来评估聚类的质量，如轮廓系数（Silhouette Coefficient）、Calinski-Harabasz指数等。