1. 逻辑回归API介绍
sklearn.linear_model.LogicRegression(solver='liblinear',penalty='l2',C=1.0)
- solver损失函数优化方法:
1️⃣ liblinear 对小数据集 场景训练速度更快，sag和saga对大数据集 更快一些。
2️⃣ 正则化：sag、saga支持L2 正则化或者没有正则化；liblinear和saga支持L1正则化； - penalty:正则化的种类，l1或者l2
- C:正则化力度
- 默认将类别数量少的当做正例
（即L1 L2正则化无需单独再创建对象，直接通过penalty属性（正则化的种类）直接指定，此中选择L2正则化防止过拟合；C正则化力度，即正则化力度越大，权重系数就会越小；默认将类别数量少的当做正例，也可自行指定正例）
2. 案例：使用 逻辑回归模型 实现癌症预测
逻辑回归模型介绍：
1.概述 ：属于有监督学习，即有特征、有标签、且标签是离散的。主要适用于二分类；
2.原理：把线性回归处理后的预测值-->通过Sigmoid激活函数，映射到[0, 1]概率-->基于自定义的阈值，结合概率来分类；
3.损失函数：极大似然估计函数的 负数形式；
python
"""
案例：演示逻辑回归模型实现癌症预测
逻辑回归模型介绍：
概述：属于有监督学习，即有特征、有标签、且标签是离散的。主要适用于二分类。
原理：把线性回归处理后的预测值-->通过Sigmoid激活函数，映射到[0, 1]概率-->基于自定义的阈值，结合概率来分类
损失函数：极大自然估计函数的 负数形式
机器学习开发流程：
1.加载数据
2.数据的预处理
3.特征工程（特征提取、特征与处理、特征降维、特征选择、特征组合）
4.模型训练
5.模型预测
6.模型评估
"""
# 导包
import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression #逻辑回归模型
from sklearn.metrics import accuracy_score
from sklearn.preprocessing import StandardScaler #标准化
from sklearn.model_selection import train_test_split #训练集和测试集分割
from day02.案例之波士顿房价预测_正规方程法 import transfer
# from sklearn.metrics import accuracy_score #模型评估
# 1.加载数据
data=pd.read_csv('data/breast-cancer-wisconsin.csv')
# data.info()
# 2.数据的预处理
# 2.1 把 ? 替换成np.nan，参1：要被替换的值，参2：用来替换的值，参3：是否替换源数据，默认为False
data=data.replace('?', np.nan,inplace= True)
# 2.2 确实值处理--》删除
data.dropna(axis=0,inplace=True)#axis=0表示行，删除包含缺省值的行（确定axis=0表示行还是列：一般源方法都是默认按行删除，点进原方法看axis等于几）
# 2.3 打印处理后的信息
# data.info()
# 3.特征工程（特征提取、特征与处理、特征降维、特征选择、特征组合）
# 3.1 特征提取之 提取特征和标签
x = data.iloc[:, 1:-1] #按照行号、列索引获取数据，: 表示所有行，1:-1表示从第1列到最后一列，包左不包右
# y=data.iloc[:, -1] #获取最后一列
# y=data['Class'] #获取最后一列，效果同上
y=data.Class.values #获取最后一列，效果同上
# 3.2 查看特征和标签
print(x[:5])
print(y[:5])
print(f'特征：{x.shape}, 标签：{y.shape}')#特征：(683, 9), 标签：(683,)
# 3.3切割训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=23)
# 3.4 特征工程：标准化
# 3.4.1 创建标准化对象
transfer = StandardScaler()
# 3.4.2 对训练集进行标准化处理
x_train=transfer.fit_transform(x_train)
# 3.4.3 对测试集进行标准化处理
x_test=transfer.transform(x_test)
# 4.模型训练
# 4.1 创建模型对象 --》逻辑回归对象
estimator=LogisticRegression()
# 4.2 模型训练
estimator.fit(x_train,y_train)
# 5.模型预测
y_predict=estimator.predict(x_test)
print(f'预测结果：{y_predict}')
# 6.模型评估
# 正确率（准确率），公式为：预测对的/ 样本总数
print(f'预测前评估，正确率：{estimator.score(x_test,y_test)}') #测试集的特征、标签
print(f'预测后评估，正确率：{accuracy_score(y_test,y_predict)}')#测试集的标签、预测值
# 思考：逻辑回归模型能用 准确率来评测吗？
# 答案:可以，但是结果不精准，因为逻辑回归模型主要用于 二分类，即:A类还是B类，不能说 97%的A类，3%的B类
# 所以要通过 混淆矩阵来评测，即:精确率，召回率，F1值(F1-Score)，ROC曲线，AUC值.