AI

不排除累了,或者怕被时代淘汰的恐惧衍生出来的厌弃,或者是目前对AI的营销氛围,其实大部分只是对openApi的封装,目的仅是获得风投;导致自己不愿去主动学习AI,但这是时代发展的前进趋势,目前希望自己能够平静下来,去学习一些基础知识


tokens

在AI模型中,tokens(令牌/词元)是文本处理的基本单位,用于将输入的文本拆分为模型可理解的片段

  1. tokens 是什么?

    • 定义:token是模型处理文本时的最小单位,可以是:
      • 单词(如hello作为一个token)
      • 子词(如"unhappy"拆分为"un"和"happy"两个tokens)
      • 标点/符号(如?或, 各占1token)
      • 非拉丁字符(如中文通常一个汉字 约等于 1-2个tokens,依赖编码方式)
    • 示例:
      • 英文句子"Hello, world!"拆分为["Hello", ",", "world", "!"] → 4个tokens
      • 中文句子 "你好,世界!" → 可能拆分为 ["你", "好", ",", "世", "界", "!"] → 6个tokens
  2. tokens与资源消耗的关系

    • 计费依据:AI服务的费用通常按token量计算(输入+输出总和)。

      • 例如:100万tokens ≈ 可处理约70万英文单词或50万汉字(实际因文本复杂度而异)。
    • 上下文限制:模型单次交互的token数有上限(如GPT-4通常支持128k tokens),超出需截断或分段处理。

  3. 如何优化token使用?

    • 精简输入
    • 限制输出长度
    • 监控用量

大模型推理,大模型部署,大模型训练

以上三个术语是AI大模型开发与应用的核心环节,具体含义如下

  1. 大模型推理
    • 定义:使用训练好的大模型对输入数据生成预测结果的过程
    • 场景:
      • 用户提问时,模型实时生成答案(如chatGPT对话)
      • 自动补全代码,翻译文本,分析图像等任务
    • 技术要点:
      • 依赖高性能计算资源(GPU/TPU)加速响应
      • 需要优化推理速度与成本(如模型量化,缓存机制)
    • 例如:输入法国的首都是哪里?,模型输出"巴黎"
  2. 大模型部署
    • 定义:将训练好的模型集成到生产环境,供实际使用的过程
    • 关键步骤:
      • 封装:将模型打包为API服务或嵌入式模块
      • 运维:监控性能、拓展服务器、保证稳定性
    • 部署方式
      • 云端
      • 边缘设备(如手机,loT设备端侧部署)
    • 示例:将AI客服模型部署到企业官网,实时处理客户咨询
  3. 大模型训练
    • 定义:通过海量数据训练模型参数,使其学习规律的过程
    • 核心流程:
      • 数据准备:清洗文本/图像数据,标注标签
      • 模型设计:选择架构(如,Transformer)
      • 迭代优化:调整超参数,减少预测误差
    • 资源消耗
      • 需要大规模算力(如A100集群)耗时可能达数周
    • 示例:用千万级代码数据训练生成大模型
  4. 三者的关系
    • 训练---部署---推理

    • 训练时基础,决定模型能力的上限

    • 部署时桥梁,连接模型与实际应用

    • 推理是终端体现,直接服务用户

相关推荐
AI算力2 小时前
让安全驾驶有“AI”相伴|腾视科技DMS视频监控一体机,守护每一次出行
人工智能·科技·ai·车载终端·ai算力·车载智能终端·车载dvr
泯泷2 小时前
超越基准:Claude Opus 4.5 的 4 个惊人洞察
人工智能
果果软件3 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
Csvn3 小时前
刚开始用 WorkBuddy,第一步该做什么?
人工智能
一水鉴天3 小时前
同一与唯一:AppBus 外壳与 DevOps 内核 之1 20261121(元宝)
人工智能·机器学习
Wellijohn3 小时前
一个 Android 老兵的十年开源路:从 167 star 的滑动控件,到本地优先的 AI Agent
android·人工智能·开源
ZONGYUAN-ROOT3 小时前
【API配额】API 配额监控告警不生效?用 Python 监控读数变化量,抓住静态阈值漏掉的「假重置」
人工智能
Wellijohn4 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
伞伞悦读6 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习