大模型三大概念
- 人工智能（AI）
目标是让机器模拟、延伸甚至超越人类的感知、推理、学习、决策、语言、视觉等智能行为。 - 机器学习（ML）
不手动编写全部规则，让机器从海量数据里自动总结规律、优化模型。
输入数据 + 结果→机器自己生成规则。 - 深度学习（DL）
机器学习的子集，是机器学习的进阶分支。
模仿人脑多层神经结构，让它能看懂图片、听懂说话、读懂文字，自主理解复杂信息。
大模型发展三要素
- 数据
决定模型的上限
术语：样本、特征、标签、训练集、测试集 - 算法
主要有：回归、分类、聚类、... - 算力
CPU、GPU、TPU
机器学习算法分类
- 有监督学习
有特征和标签，标签连续就是回归任务；标签不连续就是分类任务 - 无监督学习
只有特征数据，完全没有标签，机器自主挖掘数据内在结构，聚类算法 - 半监督学习
数据集少量样本带标签，绝大多数样本无标签。
思路：先用少量标注数据训练基础模型，再利用大量无标注数据辅助优化模型，大幅降低人工标注成本，常用于文本分类、语音识别。 - 强化学习
没有固定数据集与标签，智能体（Agent）在环境中不断行动，根据奖励 / 惩罚信号迭代策略，不靠预先给好答案，靠试错学习。
建模流程
建模流程分为以下几个步骤：
1.数据获取与采集
从数据库、日志、爬虫、业务系统、公开数据集、第三方接口等渠道，收集项目所需原始数据。
目的：拿到建模的基础原材料，明确数据字段、样本量、数据来源，确认数据能否支撑业务问题。
2.数据基本处理
属于数据清洗与规整，是建模前置必备步骤：
去重：删除完全重复样本
缺失值处理：删除缺失过多行 / 列、均值 / 中位数 / 众数填充、模型填充
异常值处理：箱线图、3σ 原则识别并剔除或修正极端数据
格式统一：统一时间、文本、编码格式
数据集划分：一般按比例拆分为训练集、验证集、测试集
3.特征工程
对清洗后的数据加工生成模型可用特征，是决定模型上限的关键：
- 特征提取：
从杂乱无结构的原始数据里，拆解、提取出可用于建模的有效信息字段。
作用：把不能直接喂给模型的原始信息，变成结构化特征。 - 特征预处理：
对已提取好的特征做统一规范化处理，消除量纲、格式、异常问题，让模型更容易收敛。
数值缩放：
归一化 Min-Max：缩放到 0,1
标准化 Z-Score：均值 0，方差 1 - 特征降维：
将原始数据的维度降低 - 特征选择：
从一堆特征里筛选掉无用、冗余、干扰性特征，保留关键有效特征。 - 特征组合：
基于现有多个基础特征，人工或批量运算生成新特征，挖掘交叉信息。
特征选择和特征降维区别：
特征选择：保留原特征，删掉一部分
特征降维：不保留原有特征，生成全新复合特征
4.模型训练
根据任务类型（分类 / 回归 / 聚类）选择合适模型（逻辑回归、树模型、神经网络等）
5.模型评估
分类任务
回归任务
聚类任务
核心原则：只用未参与训练的测试集评估；区分过拟合（训练好测试差）、欠拟合（整体效果都差）、正好拟合（理想拟合）。
模型拟合问题
- 欠拟合
训练集效果差，测试集效果也差。
原因：模型结构太简单，没学到数据本质规律。
解决：增加特征、选用更复杂模型、减少正则化。 - 过拟合
训练集效果极好，测试集明显下滑。
原因：模型记住训练数据噪声与特例，泛化能力弱。
解决：扩充数据、正则化、早停、Dropout、简化模型、特征筛选。 - 理想拟合（刚好拟合）
训练集、验证集、测试集指标接近且表现良好，模型学到通用规律，泛化能力最好，是训练目标。