《经典机器学习实战》第 1 课:导论——是什么、简史、负责任 AI 与标准流程

本文收录于专栏 《经典机器学习实战》
摘要:从规则引擎的破产到机器学习的定义,一趟走完 AI 七十年简史、负责任 AI 六原则与七步标准流程。你将看到 13 维特征让手写规则彻底失效而逻辑回归拿到 98.1%,以及一个整体准确率 85% 的模型如何对少数组近乎抛硬币。

关键字:机器学习,scikit-learn,监督学习,过拟合,训练集测试集,公平性,数据清洗,模型评估
阶段 1 · 导论 | 来源:【原·01-04 合并】| 知识更新至 2026-10

本课实战:stage1/assets/stage1_demos.py,【已实测】

概念讲解

1.1 机器学习是什么

机器学习(Machine Learning, ML)是人工智能的一个子集:用专门的算法从数据中发现隐藏模式,并用这些模式辅助决策,而不是由人显式编写规则。三个关键词:从数据中(原料是数据不是规则)、发现模式(模型是模式的载体)、辅助决策(产出是预测)。

本课程只讲经典机器学习:回归、分类、聚类、NLP 传统方法、时间序列、强化学习 入门,主力工具是 Scikit-learn。深度学习和神经网络在本课程不覆盖。

四个常被混用的术语,一张表理清:

术语 范围 一句话
AI(人工智能) 最大 让机器表现出智能行为的总目标,包含规则系统
ML(机器学习) AI 的子集 用数据驱动的方式实现 AI,不显式写规则
深度学习 ML 的子集 用多层神经网络做 ML,本课程不覆盖
数据科学 交叉学科 用数据回答问题的整套实践,ML 是其中一件工具

对 ML 的能力边界保持清醒:它不是万能的(只在"有数据、有规律、规律可学"的问题上有效),也不是"调包跑个 fit"就完事(80% 的工作量在数据准备和评估)。

为什么不用规则引擎? 实测回答。iris 鸢尾花数据(150 样本、4 维特征、3 类),手写一条"花瓣宽度 <0.8 判 setosa、<1.7 判 versicolor、否则 virginica"的规则,准确率 0.960 已经不错------但那是人脑先看了一遍数据分布才写出来的。换 wine 数据集(178 瓶酒、13 个化学指标),规则直接写不出来:

复制代码
iris (4 维)   手写规则 0.960   逻辑回归 1.000
wine (13 维)  手写规则 不可行(组合爆炸)   逻辑回归 0.981

规则引擎的死穴不在"写得对不对",而在维度一高就根本写不出来。

1.2 简史:算力、数据、算法三要素

ML 的算法地基有两三百年历史:贝叶斯定理(1763)、最小二乘(1805)、马尔可夫链(1913)、感知机(1957)、最近邻(1967)、反向传播(1970)、RNN(1982)。没有一个算法是大数据时代发明的------数据从来是新的,算法常常是老的。

学科史七十年,起伏有清晰的规律:

  • 1950 图灵提出"机器能思考吗";1956 达特茅斯会议正式提出"人工智能";
  • 1956-1974 黄金年代:乐观主义高涨(明斯基放话"一代人内解决");
  • 1974-1980 第一次寒冬:算力不够、组合爆炸、数据匮乏、图灵测试被"中文房间"思想实验挑战;
  • 1980s 专家系统:第一批商业成功的 AI 软件(规则引擎+推理引擎);
  • 1987-1993 第二次低谷:专用硬件撞上 PC 崛起;
  • 1993 至今:数据和算力双爆炸,ML 渗透生活每个角落。

兴衰三要素浓缩成一条:算力、数据、算法,三齐则繁荣,缺一个就寒冬。1956 年有算法思想但缺算力和数据;2010s 后三要素齐备。

这些两百年前的算法今天还活在工具库里,各跑一行:

python 复制代码
from sklearn.naive_bayes import GaussianNB            # 1763 贝叶斯
from sklearn.linear_model import LinearRegression     # 1805 最小二乘
from sklearn.neighbors import KNeighborsClassifier    # 1967 最近邻
复制代码
1763 贝叶斯    → iris 分类 accuracy = 0.978
1967 最近邻    → iris 分类 accuracy = 1.000
1805 最小二乘  → diabetes 回归 R² = 0.477

iris 上接近满分不是算法神,是数据太简单(3 类 4 维 150 样本);diabetes 上 R²=0.477 说明真实问题里 10 个生理指标只能解释不到一半的变异------真实世界的数据从来不像教科书,这就是后续每课都要做数据清洗和可视化的原因。

1.3 负责任 AI:聚合指标掩盖的伤害

ML 系统已经在做影响人生的决定(医疗、贷款、欺诈识别),错误直接落在具体的人身上。不公平(unfairness)分五类:分配 (贷款/招聘对相似条件的人给不同推荐)、服务质量 (洗手液机感应不到深肤色的手)、贬损 (图像标注把深肤色人像标成大猩猩)、过度/不足代表 (图片搜索"程序员"几乎不返回女性)、刻板印象 (翻译系统给无性别职业名词自动带上"他/她")。共同点:伤害很少是故意写进代码的------偏见来自数据,数据的偏见来自社会。

负责任 AI 六原则:公平、可靠与安全、包容、隐私与安全、透明、问责。建模前先做影响评估:有没有已知局限、数据合规性(GDPR/HIPAA)、伤害清单、逐条对照六原则。

这套原则为什么要落地到工具?看实测。构造 3000 人二分类数据:多数组 A 占 90%(特征清晰易学),少数组 B 占 10%(模式难分)------模拟"训练数据没覆盖少数群体":

复制代码
整体 accuracy = 0.850
多数组 A = 0.891   少数组 B = 0.478   差距 = 0.414
测试集 90 个 B 组成员,47 个被错分(错误率 52%)

只看整体 85% 像"还行";拆开看 B 组接近抛硬币。如果这是贷款审批,等于 B 组超过一半的人被随机对待。聚合指标是遮羞布------报告性能时按关键群组拆分是底线动作。发现这类问题的工具(错误分析、群组对比、数据分析、可解释性)在第 21 课《用 RAI 仪表板调试模型》完整展开。

1.4 标准流程:七步闭环

搭建 ML 系统的工作流拆成七步,后续每一节项目课都按这个节拍走:

步骤 做什么 常见翻车点
① 问问题 把需求翻译成 ML 问题 拿规则引擎能解决的问题硬上 ML
② 收集与准备数据 收集、清洗、可视化、划分 占 80% 工作量,新人最常低估
③ 选择训练方法 根据问题和数据选算法 纠结"最强算法"而非"最合适算法"
④ 训练 model.fit(X, y) 数据泄漏(测试集混进训练)
⑤ 评估 用没见过的数据测性能 只看聚合指标(1.3 节的教训)
⑥ 调参 调超参数再跑一轮 在测试集上调参 = 变相作弊
⑦ 预测 新数据上做推断 训练/线上数据分布不一致

第①步的判据:能用规则干净利落地解决的问题,不要用 ML ;ML 的主场是高维、有数据、有规律的预测问题。数据阶段的铁律:测试集是封印的,只在第⑤步评估时打开。

用 iris 把七步完整跑一遍:问问题(判断品种)→ 备数据(150×4,三类均衡 50/50/50)→ 选方法训练评估(LR 和 KNN 都 1.000------iris 太简单,真实项目里这步才见真差距)→ 调参(网格搜索 KNN 的 K,最优 K=1,5 折交叉验证 0.952)→ 预测(新样本 [5.1, 3.5, 1.4, 0.2] → setosa)。七步每步都有产出物,后面每个项目课都是这七步的放大版。

小结

  1. ML = 用算法从数据中发现模式,替代手写规则;规则在 13 维特征前破产,逻辑回归 0.981。
  2. 算法地基两三百年(贝叶斯 1763、最小二乘 1805),学科史七十年;兴衰规律 = 算力+数据+算法三要素缺一即寒冬。
  3. 负责任 AI:聚合指标掩盖组间差距(整体 0.85 掩盖 B 组 0.478);五类伤害 + 六原则 + 建模前影响评估。
  4. 标准流程七步闭环:问问题→备数据→选方法→训练→评估→调参→预测;测试集封印是铁律。
  5. 下一站进入真实数据项目:参见第 2 课《回归入门------环境、工具与数据准备》。

扩展阅读


系列导航

  • 上一篇:本课程第一课
  • 下一篇:第 02 课《回归入门------环境、工具与数据准备》

更多专栏:

蛋白 / 抗体 / 多肽 / 核酸 分子模拟 / 动力学 / 对接 药物 / 设计 / 案例 AI / Agent / 大模型
开源蛋白结构预测 分子模拟基础 小分子药物设计案例 AI Agent系列
开源蛋白生成方法实践 分子动力学模拟-Amber 蛋白药物设计案例 化学大模型
开源多肽设计模型 分子动力学模拟-Gromacs 多肽药物设计案例 《AI Agent原理与实战》
开源多肽性质预测 分子动力学模拟-OpenMM 开源小分子生成设计 CADD中的机器学习模型
DNA/RNA药物设计 結合自由能 高效计算配置 《MCP 入门实战》
siRNA药物设计模型 UCSF DOCK系列 我胡师兄说药 《AI入门实战2026》
ASO药物设计模型 rDock系列 LeDock系列 gnina系列 《经典机器学习实战》
相关推荐
武天旭6 小时前
AI安全--AI大模型的关键技术组成
人工智能·深度学习·安全·机器学习
程序猿编码8 小时前
RK3588 NPU LLM 推理引擎:自研底层算子,性能碾压原厂 SDK
机器学习·llm·rk3588·大模型推理
Godspeed Zhao9 小时前
从零开始学AI21——决策树
算法·决策树·机器学习
Dovis(誓平步青云)10 小时前
启元 T1 Pro 视觉伺服实践:基于 HSV 阈值与针孔测距的启元机器人寻物实现
开发语言·人工智能·机器学习·二次开发
Frag0ut10 小时前
Notepad++ 正则表达式完全手册:文本处理的终极武器(2026实战版)
正则表达式·notepad++·数据清洗·日志分析·正则替换·提取ip·正则表达式实战
高洁0111 小时前
端侧大模型的应用场景与工程实践
人工智能·深度学习·机器学习·transformer·tornado
我要见SA姐11 天前
GitHub Actions 自动化:5 个真实运维提效案例
运维·数据库·机器学习·oracle·回归
Zzj_tju1 天前
智能体该向哪段经验学习?Routed CL 在混合任务中探索记忆分流
人工智能·深度学习·机器学习·语言模型
I Am a robert girl1 天前
推理时刻的精确性:当模型开始“证明“而不是“拟合“
神经网络·机器学习·ai论文·泛化能力·生成机制·分布外泛化·模型表示