机器学习 —— 训练与测试

摘要:机器学习中,训练集-测试集划分是评估模型性能的关键技术。通过将数据分为训练集(用于模型训练)和测试集(用于性能评估),可以避免过拟合问题,确保模型具有良好的泛化能力。示例使用sklearn的train_test_split函数将鸢尾花数据集按8:2划分,训练逻辑回归模型后获得100%的测试准确率。该方法通过独立测试集验证模型对新数据的预测能力,random_state参数保证了实验可重复性。

目录

[机器学习 ------ 训练与测试](#机器学习 —— 训练与测试)

示例

输出结果

术语说明


机器学习 ------ 训练与测试

在机器学习中,训练集 - 测试集划分(train-test split)是一种常用的模型性能评估技术。其核心思想是将现有数据划分为两个数据集:训练集(training set)和测试集(testing set)。训练集用于模型的训练过程,测试集则用于评估模型的性能表现。

训练集 - 测试集划分至关重要,因为它能让我们在模型未见过的数据上进行测试。这一过程的必要性在于:若直接使用训练数据评估模型,可能会出现模型在训练集上表现优异,但对新数据的泛化能力较差的情况。

示例

在 Python 中,可以使用sklearn.model_selection模块中的train_test_split函数实现数据的划分。以下是具体实现示例:

python 复制代码
# 导入所需库和数据集
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression

# 加载鸢尾花数据集
data = load_iris()
X = data.data  # 特征数据
y = data.target  # 目标标签

# 将数据划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建逻辑回归模型并在训练集上训练
model = LogisticRegression()
model.fit(X_train, y_train)

# 在测试集上评估模型性能
accuracy = model.score(X_test, y_test)
print(f"准确率: {accuracy:.2f}")

在上述示例中,我们首先加载了鸢尾花(iris)数据集,然后通过train_test_split函数将数据划分为训练集和测试集。接着创建逻辑回归模型并使用训练集进行训练,最后通过模型的score方法在测试集上评估性能。

train_test_split函数中的test_size参数用于指定测试集所占的比例。本示例中该参数设为 0.2,即 20% 的数据用于测试,80% 的数据用于训练。random_state参数用于保证数据划分的可重复性,确保每次运行代码都能得到相同的划分结果。

输出结果

运行上述代码后,将得到以下输出:

plaintext

python 复制代码
准确率: 1.00

总而言之,训练集 - 测试集划分是评估机器学习模型性能的关键步骤。通过将数据分离为训练集和测试集,能够有效避免模型对训练数据的过拟合(overfitting),确保模型具备良好的新数据泛化能力。

术语说明

  1. 训练集(training set):用于模型训练的数据集合,模型通过学习该数据集的特征规律构建预测逻辑。
  2. 测试集(testing set):独立于训练集的评估数据集合,用于检验模型对未见过数据的预测能力。
  3. 泛化能力(generalization ability):模型从训练数据中学习到的规律,应用于新数据时的预测准确性。
  4. 过拟合(overfitting):模型过度贴合训练数据的细节(包括噪声),导致在新数据上表现下降的现象。
  5. random_state:控制随机数据划分的种子参数,设定固定值可确保实验结果的可重复验证。
相关推荐
硅农深芯2 分钟前
芯片设计中的版图依赖效应:被忽视的性能隐形约束
人工智能·layout·版图依赖效应·lde
闭包不眠3 分钟前
Word转HTML后体积不对,裁掉的截图原图还在
前端·图像处理·人工智能·计算机视觉·html·word
TMT星球3 分钟前
高精度还原指尖细节 觅蜂科技提出4D数据重建框架MEgoVista
人工智能·科技
启友玩AI4 分钟前
微安级唤醒、毫安级识别:基于 CI3422 的 AI 眼镜语音交互开发实战
c语言·人工智能·科技·嵌入式硬件·ai·ar·语音识别
xixixi777776 分钟前
大语言模型(LLM)核心能力及在政务领域的全域落地应用解析
人工智能·安全·ai·语言模型·大模型·数据处理·政务
开发笔记-阿牛7 分钟前
AM收音机蓝牙二合一设计复盘
人工智能·单片机·嵌入式硬件·音视频·音频
张继雁7 分钟前
30~50MPa数控高压清洗:前端分级过滤逻辑,抑制硬质磨粒对喷嘴冲蚀
大数据·数据库·人工智能·机器学习·创业创新
言乐69 分钟前
PythonLOLM自动生成复盘报告模型
开发语言·前端·数据库·人工智能·python
水水不水啊14 分钟前
告别切换N个窗口调试:我用 Python + WebView 做了款现代化串口助手(含 TCP/UDP、波形、协议解析)
python·tcp/ip·udp
u13013015 分钟前
GitHub 热榜项目:日榜(2026-10-11)
人工智能·github