机器学习之逻辑回归

一、二分类问题

逻辑回归的前一部分是线性回归:

一切是在思考假设,通过sigmoid函数把z从0到1:

因为阶跃函数不可导:

所以想方法用sigmoid:

对于g(z),如果e等于0的时候就是0.5,等于负无穷的时候趋于0,等于正无穷的时候趋于1。

现在做假设,现在认为这个值是一件事发生的概率右边就是一分类,左边就是零分类。

然后开始算损失,这里不用均方差算,使用对数损失,也就是二进制交叉熵损失:

cost损失的值越小,那么预测的类别准确度更高

线性回归之所以可以用于分类:

代码部分:

python 复制代码
"""
逻辑回归做二分类进行癌症预测(根据细胞的属性特征)
:return: NOne
"""
# 构造列标签名字
column = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
          'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli',
          'Mitoses', 'Class']

# 读取数据
# data = pd.read_csv(
#     "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
#     names=column)
data = pd.read_csv(
    "./data/breast-cancer-wisconsin.csv",
    names=column)
# print(data) #想看可以解除
#当你读取数据时,看上去是数值的列,读进来是字符串,说明里边
# 存在了非数值情况
print(data.info())
print('-'*50)
data.describe(include='all')
# data删除Bare Nuclei列,因为它是object类型,不能直接作为特征
data2 = data.drop(columns=['Bare Nuclei'])
python 复制代码
# 进行数据的分割,第零列是编号,不可以作为特征,把第1-9列作为特征,第10列作为标签
x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25,
                                                    random_state=1)

# 进行标准化处理
std = StandardScaler()

x_train = std.fit_transform(x_train) #训练集标准化
x_test = std.transform(x_test) #测试集标准化
x_train[0]
python 复制代码
#
# # 逻辑回归预测
# C正则化力度,跟学习率有关
# solver = 'liblinear'  solver是学习率优化算法,就是学习率会随着epoch的变化而变化
#epoch就代表第几次迭代
#max_iter 最大迭代次数
lg = LogisticRegression(C=0.5, solver='lbfgs')
#
lg.fit(x_train, y_train)
# 逻辑回归的权重参数,了解,没那么重要
print(lg.coef_)

y_predict = lg.predict(x_test)
# print(y_predict) #预测的标签
print("准确率:", lg.score(x_test, y_test))
print(y_test[0:5])
print('-'*50)
print(lg.predict_proba(x_test)[0:5])  #得出对应分类的概率
python 复制代码
# 为什么还要看下召回率,labels和target_names对应
# macro avg 平均值  weighted avg 加权平均值
print(classification_report(y_test, y_predict, labels=[2, 4], target_names=["良性", "恶性"]))
#AUC计算要求是二分类,不需要是0和1
print("AUC指标:", roc_auc_score(y_test, y_predict))

二、多分类问题

先把其中两个分类当成一个分类,相当于把原来两个标签值改了,多加一列在原数据里。这样可以训练出第一个逻辑回归模型,然后再训练出第二个逻辑回归模型

相关推荐
伞伞悦读8 分钟前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
7177771 小时前
互联网企业研发平台推荐:从工具堆叠到一体化协同的选型逻辑
人工智能·gitee
立青.1 小时前
AI大模型术语
人工智能
电科_银尘2 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
土豆12503 小时前
你只说要什么,它负责拆活交付:任务编排插件上手指南
人工智能·llm
GoldenSpider.AI5 小时前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我5 小时前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风5 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT5 小时前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能