AI

不排除累了，或者怕被时代淘汰的恐惧衍生出来的厌弃，或者是目前对AI的营销氛围，其实大部分只是对openApi的封装，目的仅是获得风投；导致自己不愿去主动学习AI，但这是时代发展的前进趋势，目前希望自己能够平静下来，去学习一些基础知识

---

tokens

在AI模型中，tokens（令牌/词元）是文本处理的基本单位，用于将输入的文本拆分为模型可理解的片段

1. tokens 是什么？

   • 定义：token是模型处理文本时的最小单位，可以是：
     • 单词（如hello作为一个token）
     • 子词（如"unhappy"拆分为"un"和"happy"两个tokens）
     • 标点/符号（如？或， 各占1token）
     • 非拉丁字符（如中文通常一个汉字 约等于 1-2个tokens，依赖编码方式）
   • 示例：
     • 英文句子"Hello, world!"拆分为["Hello", ",", "world", "!"] → 4个tokens
     • 中文句子 "你好，世界！" → 可能拆分为 ["你", "好", "，", "世", "界", "！"] → 6个tokens

2. tokens与资源消耗的关系

   • 计费依据：AI服务的费用通常按token量计算（输入+输出总和）。

     • 例如：100万tokens ≈ 可处理约70万英文单词或50万汉字（实际因文本复杂度而异）。

   • 上下文限制：模型单次交互的token数有上限（如GPT-4通常支持128k tokens），超出需截断或分段处理。

3. 如何优化token使用？

   • 精简输入
   • 限制输出长度
   • 监控用量

---

大模型推理，大模型部署，大模型训练

以上三个术语是AI大模型开发与应用的核心环节，具体含义如下

1. 大模型推理
   • 定义：使用训练好的大模型对输入数据生成预测结果的过程
   • 场景：
     • 用户提问时，模型实时生成答案（如chatGPT对话）
     • 自动补全代码，翻译文本，分析图像等任务
   • 技术要点：
     • 依赖高性能计算资源（GPU/TPU）加速响应
     • 需要优化推理速度与成本（如模型量化，缓存机制）
   • 例如：输入法国的首都是哪里？，模型输出"巴黎"
2. 大模型部署
   • 定义：将训练好的模型集成到生产环境，供实际使用的过程
   • 关键步骤：
     • 封装：将模型打包为API服务或嵌入式模块
     • 运维：监控性能、拓展服务器、保证稳定性
   • 部署方式
     • 云端
     • 边缘设备（如手机，loT设备端侧部署）
   • 示例：将AI客服模型部署到企业官网，实时处理客户咨询
3. 大模型训练
   • 定义：通过海量数据训练模型参数，使其学习规律的过程
   • 核心流程：
     • 数据准备：清洗文本/图像数据，标注标签
     • 模型设计：选择架构（如，Transformer）
     • 迭代优化：调整超参数，减少预测误差
   • 资源消耗
     • 需要大规模算力（如A100集群）耗时可能达数周
   • 示例：用千万级代码数据训练生成大模型
4. 三者的关系

   • 训练---部署---推理

   • 训练时基础，决定模型能力的上限

   • 部署时桥梁，连接模型与实际应用

   • 推理是终端体现，直接服务用户