机器学习（三）——K最临近方法构建分类模型（matlab）

K最临近（K-Nearest Neighbors，KNN） 方法是一种简单且直观的分类和回归算法，主要用于分类任务。其基本原理是用到表决的方法，找到距离其最近的K个样本，然后通过K个样本的标签进行表决，预测结果给出的标签是表决多的一方。

在使用K最临近方法的时候，有两个方面可调：
一是K值的大小 ，K一般选用单数，这样不会导致在进行表决时出现概率相等的情况。
二是样本之间的距离，由于样本特征的分布不同，因此在描述两样本之间的距离时有多种方式可以描述，例如：欧氏距离（Euclidean Distance）、曼哈顿距离（Manhattan Distance）和闵可夫斯基距离（Minkowski Distance）等。而且往往由于选择的距离不同，对应的K值也不一样，大家可以根据自己的数据特点尝试用不用的距离构建分类模型。本文提供了这些方法供大家选择。

在matlab中实现K最临近方法构建分类模型的代码如下：

labels = res(:, 1);  % 第一列是标签
features = res(:, 2:end);  % 后面的列是特征
features = zscore(features);   %归一化处理



% %% 欧式距离
%
% 
% % 设置 K 值
% K = 7;
% 
% % 初始化分类准确度
% accuracy = 0;
% 
% % 留一交叉验证
% for i = 1:size(features, 1)
%     % 从样本中选择一个作为验证样本，其余作为训练样本
%     validation_sample = features(i, :);
%     validation_label = labels(i);
%     
%     train_samples = features([1:i-1, i+1:end], :);
%     train_labels = labels([1:i-1, i+1:end]);
%     
%     % 计算验证样本与训练样本的距离
%     distances = sqrt(sum((train_samples - validation_sample).^2, 2));
%     
%     % 寻找最近的 K 个邻居
%     [~, idx] = mink(distances, K);
%     
%     % 投票确定验证样本的类别
%     predicted_label = mode(train_labels(idx));
%     
%     % 检查预测结果是否正确
%     if predicted_label == validation_label
%         accuracy = accuracy + 1;
%     end
% end
% 
% % 计算分类准确度
% accuracy = accuracy / size(features, 1);
% disp(['分类准确度：', num2str(accuracy)]);

% 
% 
% % 曼哈顿距离
% 
% 
% % 设置 K 值
% K = 9;
% 
% % 初始化分类准确度
% accuracy = 0;
% 
% % 留一交叉验证
% for i = 1:size(features, 1)
%     % 从样本中选择一个作为验证样本，其余作为训练样本
%     validation_sample = features(i, :);
%     validation_label = labels(i);
%     
%     train_samples = features([1:i-1, i+1:end], :);
%     train_labels = labels([1:i-1, i+1:end]);
%     
%     % 计算曼哈顿距离
%     distances = sum(abs(train_samples - validation_sample), 2);
%     
%     % 寻找最近的 K 个邻居
%     [~, idx] = mink(distances, K);
%     
%     % 投票确定验证样本的类别
%     predicted_label = mode(train_labels(idx));
%     
%     % 检查预测结果是否正确
%     if predicted_label == validation_label
%         accuracy = accuracy + 1;
%     end
% end
% 
% % 计算分类准确度
% accuracy = accuracy / size(features, 1);
% disp(['分类准确度：', num2str(accuracy)]);


% %% 闵可夫斯基距离
% 
% % 设置 K 值
% K = 5;
% 
% % 初始化分类准确度
% accuracy = 0;
% 
% % 留一交叉验证
% for i = 1:size(features, 1)
%     % 从样本中选择一个作为验证样本，其余作为训练样本
%     validation_sample = features(i, :);
%     validation_label = labels(i);
%     
%     train_samples = features([1:i-1, i+1:end], :);
%     train_labels = labels([1:i-1, i+1:end]);
%     
%     % 计算闵可夫斯基距离
%     distances = pdist2(train_samples, validation_sample, 'minkowski', 1); % p=1, 曼哈顿距离
%     
%     % 寻找最近的 K 个邻居
%     [~, idx] = mink(distances, K);
%     
%     % 投票确定验证样本的类别
%     predicted_label = mode(train_labels(idx));
%     
%     % 检查预测结果是否正确
%     if predicted_label == validation_label
%         accuracy = accuracy + 1;
%     end
% end
% 
% % 计算分类准确度
% accuracy = accuracy / size(features, 1);
% disp(['分类准确度：', num2str(accuracy)]);
% 





 %% KD树搜索方法


% 设置 K 值
K = 5;

% 初始化分类准确度
accuracy = 0;
predictedScores=zeros(56,2);

% 留一交叉验证
for i = 1:size(features, 1)
    % 从样本中选择一个作为验证样本，其余作为训练样本
    validation_sample = features(i, :);
    validation_label = labels(i);
    
    train_samples = features([1:i-1, i+1:end], :);
    train_labels = labels([1:i-1, i+1:end]);
    
    % 创建KD树
    mdl = fitcknn(train_samples, train_labels, 'NumNeighbors', K, 'Distance', 'euclidean', 'NSMethod', 'kdtree');
    
    % 预测验证样本的类别
    %predicted_label = predict(mdl, validation_sample);

    [predicted_label,predictedScore] = predict(mdl, validation_sample);
    predictedScores(i,:)=predictedScore;
    
    % 检查预测结果是否正确
    if predicted_label == validation_label
        accuracy = accuracy + 1;
    end
end

% 计算分类准确度
accuracy = accuracy / size(features, 1);
disp(['分类准确度：', num2str(accuracy)]);