机器学习之逻辑回归

一、二分类问题

逻辑回归的前一部分是线性回归：

一切是在思考假设，通过sigmoid函数把z从0到1：

因为阶跃函数不可导：

所以想方法用sigmoid:

对于g(z)，如果e等于0的时候就是0.5，等于负无穷的时候趋于0，等于正无穷的时候趋于1。

现在做假设，现在认为这个值是一件事发生的概率右边就是一分类，左边就是零分类。

然后开始算损失，这里不用均方差算，使用对数损失，也就是二进制交叉熵损失：

cost损失的值越小，那么预测的类别准确度更高

线性回归之所以可以用于分类：

代码部分：

python 复制代码

"""
逻辑回归做二分类进行癌症预测（根据细胞的属性特征）
:return: NOne
"""
# 构造列标签名字
column = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
          'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin', 'Normal Nucleoli',
          'Mitoses', 'Class']

# 读取数据
# data = pd.read_csv(
#     "https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
#     names=column)
data = pd.read_csv(
    "./data/breast-cancer-wisconsin.csv",
    names=column)
# print(data) #想看可以解除
#当你读取数据时，看上去是数值的列，读进来是字符串，说明里边
# 存在了非数值情况
print(data.info())
print('-'*50)
data.describe(include='all')
# data删除Bare Nuclei列，因为它是object类型，不能直接作为特征
data2 = data.drop(columns=['Bare Nuclei'])

python 复制代码

# 进行数据的分割,第零列是编号，不可以作为特征，把第1-9列作为特征，第10列作为标签
x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25,
                                                    random_state=1)

# 进行标准化处理
std = StandardScaler()

x_train = std.fit_transform(x_train) #训练集标准化
x_test = std.transform(x_test) #测试集标准化
x_train[0]

python 复制代码

#
# # 逻辑回归预测
# C正则化力度,跟学习率有关
# solver = 'liblinear'  solver是学习率优化算法，就是学习率会随着epoch的变化而变化
#epoch就代表第几次迭代
#max_iter 最大迭代次数
lg = LogisticRegression(C=0.5, solver='lbfgs')
#
lg.fit(x_train, y_train)
# 逻辑回归的权重参数，了解，没那么重要
print(lg.coef_)

y_predict = lg.predict(x_test)
# print(y_predict) #预测的标签
print("准确率：", lg.score(x_test, y_test))
print(y_test[0:5])
print('-'*50)
print(lg.predict_proba(x_test)[0:5])  #得出对应分类的概率

python 复制代码

# 为什么还要看下召回率，labels和target_names对应
# macro avg 平均值  weighted avg 加权平均值
print(classification_report(y_test, y_predict, labels=[2, 4], target_names=["良性", "恶性"]))
#AUC计算要求是二分类，不需要是0和1
print("AUC指标：", roc_auc_score(y_test, y_predict))

二、多分类问题

先把其中两个分类当成一个分类，相当于把原来两个标签值改了，多加一列在原数据里。这样可以训练出第一个逻辑回归模型，然后再训练出第二个逻辑回归模型