K近邻算法_分类鸢尾花数据集

python 复制代码
import numpy as np
import pandas as pd 
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

1.数据预处理

python 复制代码
iris = load_iris()
df = pd.DataFrame(data=iris.data, columns=iris.feature_names)
# 分类标签数据
df['class'] = iris.target
# 数值转为文字
df['class'] = df['class'].map({0: iris.target_names[0], 1: iris.target_names[1], 2: iris.target_names[2]})
df.head()

| | sepal length (cm) | sepal width (cm) | petal length (cm) | petal width (cm) | class |
| 0 | 5.1 | 3.5 | 1.4 | 0.2 | setosa |
| 1 | 4.9 | 3.0 | 1.4 | 0.2 | setosa |
| 2 | 4.7 | 3.2 | 1.3 | 0.2 | setosa |
| 3 | 4.6 | 3.1 | 1.5 | 0.2 | setosa |

4 5.0 3.6 1.4 0.2 setosa
python 复制代码
x = iris.data
y = iris.target.reshape(-1, 1)
print("x shape: " , x.shape)
print("y shape: ", y.shape)
复制代码
x shape:  (150, 4)
y shape:  (150, 1)
python 复制代码
# 划分训练集和测试集
x_train, x_test, y_train, y_test = train_test_split(x, 
        y,test_size=0.3, random_state=42, stratify=y)

2. 模型实现

python 复制代码
# L1 距离
def l1_distance(a, b):
    return np.sum(np.abs(a - b), axis = 1)

#L2 距离
def l2_distance(a, b):
    return np.sqrt(np.sum((a - b)**2, axis = 1))

# K近邻模型
class KnnModel(object):
    def __init__(self, k_neighbors = 1, distance_func = l1_distance):
        self.k_neighbors = k_neighbors;
        self.distance_func = distance_func
    
    #不需要训练,只是预测时用于计算预测点的距离
    def fit(self, x, y):
        self.x_train = x
        self.y_train = y
    
    def predict(self, test):
        y_predict = np.zeros((test.shape[0],1), dtype=self.y_train.dtype)
        for i, x_test in enumerate(test):
            # 计算 测试点和训练集的距离
            distances = self.distance_func(self.x_train, x_test)
            # 按照距离大小排序,取出索引
            sort_index = np.argsort(distances)
            # 取出前 k 个值
            neighbors_predict = self.y_train[sort_index[:self.k_neighbors]].ravel()
            # 取出前 k 个值里面出现最多的数
            y_predict[i] = np.argmax(np.bincount(neighbors_predict))
        return y_predict
            
        

3.测试

python 复制代码
knn = KnnModel(k_neighbors = 9)
knn.fit(x_train, y_train);

result_list = []
for df in [1, 2]:
    knn.distance_func = l1_distance if pd == 1 else l2_distance
    
    for k in range(1, 20 , 2):
        knn.k_neighbors = k
        y_predict = knn.predict(x_test)
        acc = accuracy_score(y_test, y_predict) * 100
        result_list.append([k, 'l1_dist' if df == 1 else 'l2_dist', acc])
        
result_df = pd.DataFrame(result_list, columns=['k', '距离函数', '准确率'])
print(result_df)
复制代码
     k     距离函数        准确率
0    1  l1_dist  93.333333
1    3  l1_dist  95.555556
2    5  l1_dist  97.777778
3    7  l1_dist  95.555556
4    9  l1_dist  95.555556
5   11  l1_dist  93.333333
6   13  l1_dist  93.333333
7   15  l1_dist  95.555556
8   17  l1_dist  95.555556
9   19  l1_dist  95.555556
10   1  l2_dist  93.333333
11   3  l2_dist  95.555556
12   5  l2_dist  97.777778
13   7  l2_dist  95.555556
14   9  l2_dist  95.555556
15  11  l2_dist  93.333333
16  13  l2_dist  93.333333
17  15  l2_dist  95.555556
18  17  l2_dist  95.555556
19  19  l2_dist  95.555556
相关推荐
伏小白白白11 分钟前
【论文精度-1】 组合优化中的机器学习:方法论之旅(Yoshua Bengio, 2021)
人工智能·机器学习·组合优化
春末的南方城市1 小时前
开放指令编辑创新突破!小米开源 Lego-Edit 登顶 SOTA:用强化学习为 MLLM 编辑开辟全新赛道!
人工智能·深度学习·机器学习·计算机视觉·aigc
Macre Aegir Thrym2 小时前
MINIST——SVM
算法·机器学习·支持向量机
PKNLP2 小时前
聚类之KMeans
机器学习·kmeans·聚类
C嘎嘎嵌入式开发3 小时前
(二) 机器学习之卷积神经网络
人工智能·机器学习·cnn
递归不收敛4 小时前
吴恩达机器学习课程(PyTorch 适配)学习笔记:3.4 强化学习
pytorch·学习·机器学习
StarPrayers.4 小时前
卷积层(Convolutional Layer)学习笔记
人工智能·笔记·深度学习·学习·机器学习
lisw055 小时前
AIoT(人工智能物联网):融合范式下的技术演进、系统架构与产业变革
大数据·人工智能·物联网·机器学习·软件工程
递归不收敛5 小时前
吴恩达机器学习课程(PyTorch适配)学习笔记:1.4 模型评估与问题解决
pytorch·学习·机器学习
小喵要摸鱼6 小时前
【机器学习】无监督学习 —— K-Means 聚类、DBSCAN 聚类
机器学习·kmeans·聚类·dbscan