大模型常用词汇总结

前言:

学习大模型之前首先我们需要熟悉各种常用词汇代表的含义，下面不断总结更新我们常见词汇，帮助我们理解记忆：

根据整体流程框架总览:

**一、模型 / 机构类

LLM --- Large Language Model --- 大语言模型
SLM --- Small Language Model --- 小语言模型
MoE --- Mixture of Experts --- 混合专家模型
AGI --- Artificial General Intelligence --- 通用人工智能
OpenAI --- OpenAI --- 开放人工智能（机构名）
GPT --- Generative Pre-trained Transformer --- 生成式预训练 Transformer
DeepSeek --- DeepSeek --- 深度求索（模型 / 机构）
Qwen --- Qwen --- 通义千问
Llama --- Llama --- Meta 开源大模型
GLM --- General Language Model --- 通用语言模型（智谱）**

二、架构 / 技术类

Transformer --- Transformer --- Transformer 架构（大模型基础）
Encoder --- Encoder --- 编码器
Decoder --- Decoder --- 解码器
RNN --- Recurrent Neural Network --- 循环神经网络
CNN --- Convolutional Neural Network --- 卷积神经网络
ANN --- Approximate Nearest Neighbor --- 近似最近邻搜索
NN --- Neural Network --- 神经网络
DNN --- Deep Neural Network --- 深度神经网络

**三、训练 / 微调类

Pre-training --- Pre-training --- 预训练
SFT --- Supervised Fine-Tuning --- 监督微调
RLHF --- Reinforcement Learning from Human Feedback --- 基于人类反馈的强化学习
DPO --- Direct Preference Optimization --- 直接偏好优化
LoRA --- Low-Rank Adaptation --- 低秩适配（轻量微调）
QLoRA --- Quantized LoRA --- 量化低秩适配
FT --- Fine-Tuning --- 全参数微调**

**四、推理 / 部署类

Inference --- Inference --- 推理
Context Window --- Context Window --- 上下文窗口
Token --- Token --- 词元（文本基本单位）
vLLM --- Virtual Large Language Model --- 高效大模型推理引擎
TPU --- Tensor Processing Unit --- 张量处理器
GPU --- Graphics Processing Unit --- 图形处理器（训练 / 推理常用）
API --- Application Programming Interface --- 应用程序编程接口
SDK --- Software Development Kit --- 软件开发工具包**

**五、NLP & 向量相关

NLP --- Natural Language Processing --- 自然语言处理
Embedding --- Embedding --- 词嵌入 / 向量表示
RAG --- Retrieval-Augmented Generation --- 检索增强生成
Vector DB --- Vector Database --- 向量数据库
Semantic Search --- Semantic Search --- 语义搜索**

**六、任务 / 能力类

NLG --- Natural Language Generation --- 自然语言生成
NLU --- Natural Language Understanding --- 自然语言理解
MT --- Machine Translation --- 机器翻译
QA --- Question Answering --- 问答
CoT --- Chain-of-Thought --- 思维链**

基本概念:

第一部分 机器学习与深度学习基础

一、基础概念

• 机器学习：Machine Learning (ML)
• 人工智能：Artificial Intelligence (AI)
• 深度学习：Deep Learning (DL)
• 模型：Model
• 训练：Training
• 推理 / 预测：Inference / Prediction
• 参数：Parameter
• 超参数：Hyperparameter

二、数据相关

• 数据集：Dataset
• 训练集：Training Set
• 验证集：Validation Set
• 测试集：Test Set
• 特征：Feature
• 标签 / 目标：Label / Target
• 样本：Sample / Instance
• 标注：Annotation
• 归一化：Normalization
• 标准化：Standardization

三、学习范式

• 监督学习：Supervised Learning
• 无监督学习：Unsupervised Learning
• 半监督学习：Semi-supervised Learning
• 强化学习：Reinforcement Learning (RL)
• 迁移学习：Transfer Learning

四、任务类型

• 分类：Classification
• 回归：Regression
• 聚类：Clustering
• 降维：Dimensionality Reduction
• 生成：Generation

五、经典算法

• 线性回归：Linear Regression
• 逻辑回归：Logistic Regression
• K 近邻：KNN
• 决策树：Decision Tree
• 随机森林：Random Forest
• 支持向量机：SVM
• 朴素贝叶斯：Naive Bayes
• K-Means：K-Means
• 主成分分析：PCA

六、深度学习

• 神经网络：Neural Network
• 卷积神经网络：CNN
• 循环神经网络：RNN
• Transformer：Transformer
• 激活函数：Activation Function
• 前向传播：Forward Propagation
• 反向传播：Backpropagation
• 梯度下降：Gradient Descent
• 学习率：Learning Rate
• 批次：Batch
• 迭代轮数：Epoch

七、损失与优化

• 损失函数：Loss Function
• 均方误差：MSE
• 交叉熵：Cross Entropy
• 梯度：Gradient
• 正则化：Regularization
• 早停：Early Stopping

八、评估指标

• 准确率：Accuracy
• 精确率：Precision
• 召回率：Recall
• F1 分数：F1 Score
• 混淆矩阵：Confusion Matrix
• 过拟合：Overfitting
• 欠拟合：Underfitting
• 泛化能力：Generalization

第二部分 大模型发展及关键技术

一、基础与范式

1. 大语言模型 -- Large Language Model (LLM)
2. 基础模型 -- Foundation Model
3. 预训练 -- Pre-training
4. 微调 -- Fine-tuning
5. 指令微调 -- Instruction Tuning
6. 对齐 -- Alignment

二、架构与核心模块

1. Transformer -- Transformer
2. 编码器 -- Encoder
3. 解码器 -- Decoder
4. 自注意力 -- Self-Attention
5. 多头注意力 -- Multi-Head Attention
6. 位置编码 -- Positional Encoding

三、训练与优化

1. 上下文窗口 -- Context Window
2. 参数量 -- Parameter Count
3. token -- 令牌 / 词元
4. 分词器 -- Tokenizer
5. 批量大小 -- Batch Size
6. 学习率 -- Learning Rate
7. 优化器 -- Optimizer
8. 分布式训练 -- Distributed Training

四、高效与工程

1. 稀疏注意力 -- Sparse Attention
2. 量化 -- Quantization
3. LoRA -- 低秩适配
4. 推理 -- Inference
5. 显存 -- GPU Memory / VRAM

五、能力与评估

1. 涌现能力 -- Emergent Abilities
2. 思维链 -- Chain-of-Thought (CoT)
3. 少样本学习 -- Few-shot Learning
4. 零样本学习 -- Zero-shot Learning
5. 幻觉 -- Hallucination

六、对齐与安全

1. RLHF -- 基于人类反馈的强化学习
2. DPO -- 直接偏好优化
3. 红队测试 -- Red Teaming
4. 安全对齐 -- Safety Alignment

七、多模态与扩展

1. 多模态大模型 -- Multimodal LLM
2. 图文对齐 -- Vision-Language Alignment
3. RAG -- 检索增强生成
4. Agent -- 智能体
5. 工具使用 -- Tool Use
6. 长文本理解 -- Long-Context Understanding

关键技术应用场景:

第一部分 提示工程(prompt)

一、核心基础

1、提示工程 -- Prompt Engineering

2、提示 / 提示词 -- Prompt

3、指令 -- Instruction

4、上下文 -- Context

5、输入提示 -- Input Prompt

6、输出响应 -- Output Response

7、提示模板 -- Prompt Template

二、提示设计与结构

1、少样本提示 -- Few-shot Prompting

2、零样本提示 -- Zero-shot Prompting

3、思维链提示 -- Chain-of-Thought (CoT) Prompting

4、逐步提示 -- Step-by-Step Prompting

5、角色提示 -- Role Prompting

6、约束提示 -- Constraint Prompting

7、示例演示 -- Demonstration (Few-shot 中的示例)

8、格式指定 -- Format Specification

9、任务描述 -- Task Description

三、进阶优化技巧

1、提示调优 -- Prompt Tuning

2、自动提示工程 -- Automatic Prompt Engineering (APE)

3、提示增强 -- Prompt Enhancement

4、提示精炼 -- Prompt Refinement

5、反提示 -- Anti-Prompt (避免模型生成特定内容)

6、元提示 -- Meta-Prompt (指导模型生成提示)

7、多阶段提示 -- Multi-Stage Prompting

8、提示链 -- Prompt Chaining

四、落地应用与评估

1、上下文窗口 -- Context Window

2、提示长度 -- Prompt Length

3、响应一致性 -- Response Consistency

4、提示鲁棒性 -- Prompt Robustness

5、提示压缩 -- Prompt Compression

6、领域适配提示 -- Domain-Adapted Prompt

7、提示模板库 -- Prompt Template Library

8、提示效果评估 -- Prompt Evaluation

第二部分 检索增强生成-RAG（Retrieval-Augmented Generation）

一、核心基础

1、检索增强生成 -- Retrieval-Augmented Generation (RAG)

2、大语言模型 -- Large Language Model (LLM)

3、知识库 -- Knowledge Base

4、向量数据库 -- Vector Database

5、嵌入 / 向量嵌入 -- Embedding / Vector Embedding

二、数据处理环节

1、文档加载 -- Document Loading

2、文档分割 / 分块 -- Document Splitting / Chunking

3、文本预处理 -- Text Preprocessing

4、元数据 -- Metadata

5、文档索引 -- Document Indexing

三、检索核心环节

1、检索 -- Retrieval

2、相似性搜索 -- Similarity Search

3、余弦相似度 -- Cosine Similarity

4、向量检索 -- Vector Search

5、混合检索 -- Hybrid Search（文本检索 + 向量检索）

6、召回率 -- Recall

7、精确率 -- Precision

8、Top-K 检索 -- Top-K Retrieval

四、生成与优化环节

1、提示模板 -- Prompt Template

2、上下文增强 -- Context Enhancement

3、答案生成 -- Answer Generation

4、引用溯源 -- Citation / Source Attribution

5、去重 -- Deduplication

6、过滤 -- Filtering

7、重排 -- Reranking

8、幻觉抑制 -- Hallucination Mitigation

9、检索增强提示 -- Retrieval-Augmented Prompting

五、工程落地

1、嵌入模型 -- Embedding Model

2、检索器 -- Retriever

3、生成器 -- Generator

4、管道 / 工作流 -- Pipeline / Workflow

5、批量处理 -- Batch Processing

6、增量更新 -- Incremental Update

7、缓存 -- Caching

第三部分 Agent

一、大模型应用基础

1. 大语言模型 -- Large Language Model (LLM)
2. 提示词 / 提示工程 -- Prompt / Prompt Engineering
3. 上下文窗口 -- Context Window
4. 上下文管理 -- Context Management
5. 检索增强生成 -- Retrieval-Augmented Generation (RAG)
6. 知识库 -- Knowledge Base
7. 向量数据库 -- Vector Database
8. 微调 / 指令微调 -- Fine-tuning / Instruction Tuning
9. 幻觉 -- Hallucination
10. 插件 / 工具调用 -- Plugin / Tool Calling

二、Agent 核心概念

1. 智能体 -- Agent
2. 自主智能体 -- Autonomous Agent
3. 多智能体系统 -- Multi-Agent System (MAS)
4. 规划 -- Planning
5. 推理 -- Reasoning
6. 记忆 -- Memory
7. 执行器 -- Executor
8. 观测 -- Observation
9. 行动 -- Action
10. 目标导向 -- Goal-Oriented

三、Agent 架构与流程

1. 思维链 -- Chain-of-Thought (CoT)
2. 反思 / 自我修正 -- Reflection / Self-Correction
3. 工具使用 -- Tool Use
4. 函数调用 -- Function Calling
5. 任务分解 -- Task Decomposition
6. 状态跟踪 -- State Tracking
7. 工作流 -- Workflow
8. 循环执行 -- Loop / Iteration

四、记忆与上下文

1. 短期记忆 -- Short-term Memory
2. 长期记忆 -- Long-term Memory
3. 情景记忆 -- Episodic Memory
4. 语义记忆 -- Semantic Memory
5. 记忆检索 -- Memory Retrieval
6. 记忆摘要 -- Memory Summarization

五、交互与协同

1. 人机交互 -- Human-Agent Interaction
2. 智能体协作 -- Agent Collaboration
3. 对话管理 -- Dialogue Management
4. 意图识别 -- Intent Recognition
5. 决策机制 -- Decision Making
6. 反馈闭环 -- Feedback Loop

六、部署与工程

1. 智能体框架 -- Agent Framework
2. 流水线 -- Pipeline
3. 中间件 -- Middleware
4. API 调用 -- API Call
5. 流式输出 -- Streaming Output
6. 并发控制 -- Concurrency Control
7. 可靠性 -- Reliability
8. 可解释性 -- Interpretability

七、安全与对齐

1. 对齐 -- Alignment
2. 红队测试 -- Red Teaming
3. 安全护栏 -- Safety Guardrails
4. 权限控制 -- Permission Control