第1章：打语音模型的基础认知

人工智能演进与大模型兴起

简介：理解 AI 从规则系统、 机器学习 、 深度学习 到 大模型 的发展脉络

• 什么是 AI

  • AI 是人工智能（Artificial Intelligence）的缩写

  • 它是一种模拟人类智能的技术

  • 目标是让机器能够像人一样：

    • 学习

    • 思考

    • 做出决策

    • 自主执行任务

  • 今天的人工智能已经是一门交叉学科

• AI1.0 到 AI2.0

  • AI1.0：感知智能时代

    • 以规则、专家系统、传统算法为主

    • 更强调识别、分类、规则匹配

  • AI2.0：认知智能时代

    • 以机器学习、深度学习、大模型为代表

    • 更强调语言理解、生成、推理和交互

• 机器学习

  • 机器学习研究计算机如何模拟或实现人类学习行为

  • 目标是让系统通过数据获得新知识或新技能

  • 模型会根据数据不断改善自身性能

• 深度学习

  • 深度学习源于人工神经网络研究

  • 它模仿人脑机制来解释数据

  • 常见处理对象：

    • 图像

    • 声音

    • 文本

• 大模型在 AI 体系中的位置

  • 大模型属于 AI2.0 时代的重要代表

  • 它建立在机器学习、深度学习、自然语言处理、海量数据和高性能算力基础上

什么是大模型

简介： 大模型 通常指大语言模型 LLM ，核心是用海量文本训练获得语言理解和生成能力

• 大模型定义

  • 大模型，全称是大语言模型

  • 英文是 Large Language Model，缩写为 LLM

  • 它是一种基于机器学习和自然语言处理技术的模型

  • 通过大量文本数据训练，学习服务于人类语言理解和生成的能力

• 大模型特点

  • 数据量大

  • 模型规模大

  • 算力需求大

  • 参数量大

  • 通常是具备强泛化能力的预训练模型

• 大模型兴起的技术原因

|-------|----------------------------------|
| 原因 | 说明 |
| 硬件进步 | GPU、TPU 等高性能计算设备普及，让训练大模型成为可能 |
| 算法优化 | Transformer 架构提升了长序列数据处理能力 |
| 数据爆炸 | 互联网文本、图像、视频等数据增长，为训练提供燃料 |
| 分布式训练 | PyTorch、TensorFlow 等框架成熟，支持大规模训练 |

• 大模型与 AGI

  • AGI 是通用人工智能（Artificial General Intelligence）

  • AGI 指能够理解、学习和应用广泛知识与技能的智能系统

  • AGI 需要具备：

    • 高适应性

    • 自主性

    • 创造性

    • 面向广泛问题和环境的处理能力

  • 目前 AGI 还没有真正实现

• AIGC

  • AIGC 是人工智能生成内容（Artificial Intelligence Generated Content）

  • 指利用 AI 自动生成：

    • 文本

    • 图像

    • 音频

    • 视频

  • AIGC 是当前 AI 技术落地的热门方向

  • AGI 是更长期的技术愿景

常见大模型

简介：了解国内外常见 大模型 ，以及模型版本名中常见标识的含义

• 常见模型厂商/模型

  • OpenAI GPT 系列

  • 百度文心

  • 阿里通义千问

  • DeepSeek

  • 科大讯飞星火

  • 华为盘古

• 开源大模型与闭源大模型

|-------|--------------------|----------------|
| 类型 | 特点 | 适合场景 |
| 开源大模型 | 权重或代码开放，可本地部署和二次微调 | 私有化部署、研究、企业定制 |
| 闭源大模型 | 通过 API 使用，模型细节不公开 | 快速接入、稳定商用、减少运维 |

• 大模型版本命名

|-----------------------|------------------------|
| 标识 | 含义 |
| 通义千问 2.5 | 第 2.5 代通用模型 |
| 0314 / 2025-03-05 | 通常代表发布或修订日期 |
| 72B | 参数量，1B = 10亿 参数 |
| 671B | 例如 DeepSeek 满血版参数量级 |
| 32K / 1M | 上下文窗口大小，可处理的最大 token 数 |
| Turbo | 优化版，通常更关注速度和效率 |
| Preview | 预览版或早期测试版 |
| 带 V | 通常表示支持视觉或多模态能力 |

• 注意点

  • 国外闭源模型访问可能需要额外网络或账号处理

  • 国内模型大多开始兼容 OpenAI API 调用方式，项目接入成本降低

大模型相关硬件

简介： 大模型 训练和推理依赖 GPU 、 TPU 、CPU 等计算硬件，常用 FLOPS 衡量 算力

• GPU

  • GPU 是图形处理器（Graphics Processing Unit）

  • 最初用于图像渲染，如游戏和 3D 建模

  • 现在广泛用于：

    • 科学计算

    • 人工智能训练

    • 大模型推理

  • GPU 擅长并行计算

• TPU

  • TPU 是张量处理器（Tensor Processing Unit）

  • 由 Google 为机器学习和张量运算设计

  • 主要用于神经网络训练和推理

  • 对 TensorFlow 等工作负载有较强优化

• CPU

  • CPU 是中央处理器（Central Processing Unit）

  • 负责执行程序指令、处理数据、协调其他组件

  • 通用性强，但并行矩阵计算能力通常不如 GPU/TPU

• FLOPS

  • FLOPS 是每秒浮点运算次数（Floating-Point Operations Per Second）

  • 用于衡量 CPU、GPU 等硬件计算性能

  • 1 TFLOPS = 1万亿次浮点运算/秒

  • 大模型训练和推理常关注：

    • FP16 算力

    • BF16 算力

    • Tensor Core 加速能力

• 硬件选型记忆点

  • 训练大模型更关注显存容量和低精度矩阵计算能力

  • 推理部署更关注吞吐、延迟、显存占用和成本

  • AI 研究场景通常优先关注 FP16/BF16 算力

大模型赋能行业分析

简介： 大模型 可以赋能办公、金融、政务、医疗、法律、游戏、电商、教育等多个行业

• 通用应用概述

  • 从课件图片页可提取到的通用方向：

    • 产品设计

    • 市场营销

    • 风险控制

    • 客户服务

    • 支持性运营

• 细分场景价值分析

|-------|------------------|
| 场景 | 说明 |
| 智能办公 | 文档生成、会议纪要、信息整理 |
| 代码助手 | 代码生成、代码解释、Bug 修复 |
| 智能问答 | 基于知识库或业务资料回答问题 |
| 数字管理 | 数据分析、流程自动化、业务监控 |
| 虚拟数字人 | 客服、直播、导览、品牌互动 |
| 产品研发 | 需求分析、方案生成、测试辅助 |
| 智能客服 | 自动问答、工单辅助、客户问题分流 |
| 智能风控 | 风险识别、异常检测、合规辅助 |

• 金融行业

  • 可用于：

    • 智能投顾

    • 智能客服

    • 研报生成。

    • 风控合规

    • 信息抽取与分析

  • 金融场景要特别关注：

    • 合规性

    • 可解释性

    • 数据安全

    • 风险控制

• 政务行业

  • 课件列出的政务方向：

    • 政府内部办公

    • 政务信息公开

    • 政务服务提供

    • 民生服务优化

    • 国防航天

  • 政务场景要关注：

    • 权威性

    • 可追溯

    • 数据安全

    • 公共服务体验

• 医疗行业

  • 课件图示涉及的对象：

    • 医疗机构

    • 医护群体

    • 病患群体

    • 制药企业

  • 可应用方向：

    • 电子病历整理

    • 医学知识问答

    • 辅助诊疗支持

    • 药物研发辅助

    • 医疗管理提效

  • 医疗场景要特别注意：

    • 不能替代医生最终诊断

    • 需要专业审核

    • 需要保护患者隐私

• 法律、游戏、电商、教育

  • 法律：

    • 法条检索

    • 合同审查

    • 法律问答

    • 案例分析

  • 游戏：

    • NPC 对话

    • 剧情生成

    • 玩家客服

    • 内容审核

  • 电商：

    • 商品文案

    • 智能导购

    • 客服问答

    • 评论分析

  • 教育：

    • 个性化辅导

    • 作业批改

    • 学习规划

    • 题目讲解

• 教育场景的"不可能三角"

  • 传统教育常面临三者难以同时满足：

    • 个性化

    • 规模化

    • 低成本

  • AI 大模型有机会缓解这个矛盾：

    • 用低成本方式为大量学生提供个性化反馈

    • 通过智能助教降低教师重复性工作

    • 通过学习路径推荐提升学习效率

大模型的趋势和挑战

简介： 大模型 未来会继续向更大、更高效、更智能、更垂直化和更普惠化发展，同时面临安全、治理、资源消耗等挑战

• 发展趋势

|---------------|-------------------|
| 趋势 | 说明 |
| 模型规模进一步扩大 | 更大参数、更强能力 |
| 模型效率提升 | 更低推理成本、更快响应 |
| 多模态能力增强 | 文本、图像、音频、视频统一处理 |
| 可解释性提升 | 更容易理解模型为什么这样回答 |
| 垂直化应用 | 行业大模型爆发 |
| 定制化和专用化 | 面向企业、领域、岗位定制 |
| 边缘端部署 | 在手机、PC、IoT 等设备上运行 |
| UGC + AIGC 融合 | 用户生成内容与 AI 生成内容结合 |

• 面临挑战

|---------|-------------------|
| 挑战 | 说明 |
| 伦理和安全问题 | 错误、有害、偏见、滥用风险 |
| 数据和模型治理 | 数据来源、版权、隐私、合规 |
| 人机协作优化 | 如何让 AI 成为可靠助手 |
| 资源消耗 | 训练和推理消耗大量算力和能源 |
| 环境影响 | 大规模计算带来能耗问题 |
| 技术普及不均衡 | 不同地区、企业、个人使用能力差异大 |

大模型应用开发：Hello World

简介：本节 讲 通过注册平台、开通模型服务、获取 API Key、配置 环境变量 ，并用代码调用 大模型 接口

• 基本步骤

  • 注册用户

  • 开通大模型功能

  • 获取 API Key，配置环境

  • 通过代码调用 API 实现功能

• API Key 注意事项

  • API Key 必须妥善保存

  • 不要泄露给别人

  • 不要明文写入代码

  • 建议保存到环境变量中

  • PyCharm 已经启动时，如果刚设置环境变量，需要重启 PyCharm 才能读取到新变量

• 安装 OpenAI Python SDK

pip install openai

• 如果 pip 不可用，可以尝试：

pip3 install openai

• 阿里云百炼 OpenAI 兼容调用示例

from openai import OpenAI import os DASHSCOPE_API_KEY = os.getenv("DASHSCOPE_API_KEY") client = OpenAI( api_key=DASHSCOPE_API_KEY, base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", ) completion = client.chat.completions.create( model="qwen-max-latest", messages=[ { "role": "system", "content": "你是由通义千问提供的人工智能助手，你是百科全书。", }, { "role": "user", "content": "你好，请问如何做红烧牛肉？", }, ], ) print(completion.choices[0].message.content)

返回结果

(python-study) rick3@rick3s-Mac-mini python-study % python "1.大模型基础认知/1.llm-test.py" 1. 人工智能是模拟人类智能的技术，让机器具备学习、推理、感知和决策能力。 2. 它涵盖机器学习、深度学习、自然语言处理等分支。 3. 广泛应用于医疗、交通、金融等领域，提升效率与创新。

• 调用流程

导入必要的库 → 设置 API 密钥 → 创建客户端 → 发送请求 → 打印响应

• 代码理解

|-----------------------------------------|---------------------|
| 代码/字段 | 说明 |
| OpenAI | 使用 OpenAI SDK 的客户端类 |
| os.getenv("DASHSCOPE_API_KEY") | 从环境变量读取 API Key |
| base_url | 阿里云百炼 OpenAI 兼容接口地址 |
| model | 指定调用的大模型 |
| messages | 对话消息列表 |
| system | 给模型设定角色和行为规则 |
| user | 用户输入内容 |
| completion.choices[0].message.content | 取出模型回复文本 |

总结

• 核心概念

  • AI 是模拟人类智能的技术

  • 机器学习让计算机从数据中学习规律

  • 深度学习通过神经网络处理复杂数据

  • 大语言模型（LLM）通过海量文本训练获得语言理解和生成能力

• 大模型兴起的关键条件

  • 更强硬件

  • Transformer 等算法突破

  • 互联网数据爆炸

  • 分布式训练框架成熟

• 大模型应用价值

  • 可以赋能金融、政务、医疗、法律、游戏、电商、教育等行业

  • 典型能力包括问答、生成、总结、分析、辅助决策、代码生成、多模态理解

• 面试/考试记忆点

  • LLM = Large Language Model，中文是大语言模型

  • AGI 是通用人工智能，是长期愿景，目前尚未真正实现

  • AIGC 是人工智能生成内容，是当前 AI 落地的热门方向

  • 1B = 10亿参数

  • 32K、1M 通常表示上下文窗口大小

  • GPU 擅长并行计算，是大模型训练和推理的重要硬件

  • FLOPS 是衡量硬件浮点计算能力的指标

  • 使用大模型 API 时，API Key 不要写死在代码里，推荐放环境变量