ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器

North_D2025-03-02 19:43

文章目录

ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器

引言

在现代软件开发中，GitHub 是一个不可或缺的平台，用于代码托管和协作。每天都有大量新问题被创建，这些问题需要及时分类以便于管理和跟踪。然而，手动为每个问题分配正确的标签可能会耗费大量时间。为了解决这个问题，我们可以利用机器学习的力量来自动完成这个任务。

在这个示例项目中，我们将使用 Microsoft 的 ML.NET 框架来构建一个能够根据问题标题和描述自动分配正确标签的分类器。通过这种方式，可以显著提高效率并节省开发人员的时间。

项目概述

实现的主要功能

  • 训练模型：利用历史 GitHub 问题数据训练一个机器学习模型。
  • 预测新问题：使用训练好的模型对新问题进行分类。
  • 与 GitHub 集成：将模型集成到实际应用中，自动为新创建的 GitHub 问题分配标签。

使用的算法

在本项目中，我们选择了逻辑回归作为分类算法。虽然这不是最复杂的算法，但对于这种文本分类任务来说，逻辑回归已经能够提供良好的性能和效率。此外，我们还使用了交叉验证来评估模型的性能。

数据流

  1. 数据加载：从训练数据文件加载 GitHub 问题。
  2. 数据预处理：对文本进行清理和标准化。
  3. 特征提取：将文本转换为模型可以理解的数值形式。
  4. 模型训练：使用训练数据训练分类器。
  5. 保存模型：将训练好的模型保存到文件中，以便后续使用。

主要功能和步骤

1. 配置设置

在项目的开始阶段，我们需要配置应用程序的基本设置。这包括：

  • 设置程序的主目录路径。
  • 加载 appsettings.json 文件以获取 GitHub 的认证信息（如令牌、仓库所有者和仓库名称）。
csharp 复制代码 
private static void SetupAppConfiguration()
{
    var builder = new ConfigurationBuilder()
                    .SetBasePath(Directory.GetCurrentDirectory())
                    .AddJsonFile("appsettings.json");

    Configuration = builder.Build();
}

2. 数据加载与预处理

在训练模型之前，我们需要加载和准备数据。GitHub 问题的数据通常包含以下字段：

  • ID：问题的唯一标识符。
  • Title：问题标题。
  • Description：问题描述。
  • Area：问题所属的领域或标签。
csharp 复制代码 
var trainingDataView = DataGenerator.LoadIssues();

3. 算法选择与模型训练

在本项目中，我们选择了逻辑回归作为分类算法。这是因为逻辑回归是一个简单且高效的算法，适合用于二分类或多分类任务。

训练管道

训练管道是 ML.NET 中一个非常重要的概念。它定义了数据如何从输入转换到输出的过程。我们的训练管道包括以下几个步骤：

  • 文本清理与标准化：对问题标题和描述进行清理，去除无关字符，并将其转换为统一的格式。
  • 特征提取：将清理后的文本转换为数值形式（如 TF-IDF 或 Word Embeddings）。
  • 分类器：使用逻辑回归模型对特征进行分类。
交叉验证

为了评估模型的性能，我们使用了交叉验证。交叉验证是一种常用的机器学习技术，用于估计模型在未知数据上的表现。

csharp 复制代码 
var crossValidationResults = mlContext.MulticlassClassification.CrossValidate(data: trainingDataView, estimator: trainingPipeline, numberOfFolds: 6, labelColumnName: "Area");

4. 模型保存与加载

训练好的模型需要保存到文件中，以便后续使用。ML.NET 提供了 SaveModel 方法来实现这一点。

csharp 复制代码 
mlContext.Model.Save(trainedModel, trainingDataView.Schema, Path.Combine(modelPath, "model.zip"));

5. 预测集成到 GitHub

一旦模型训练完成并保存，我们可以将其集成到实际应用中。这包括：

  • 监听新的 GitHub 事件（如问题创建）。
  • 使用训练好的模型对新问题进行分类。
  • 自动分配标签。
csharp 复制代码 
var prediction = predictor.Predict(newPredictionEngineInput);

数据集

虽然本项目没有直接提供数据集，但我们可以假设使用的是一个包含以下字段的 CSV 文件：

  • ID：问题 ID。
  • Title：问题标题。
  • Description：问题描述。
  • Area：问题所属的领域或标签。

示例数据

csv 复制代码 
ID,Title,Description,Area
1,"Build Failing","The build is failing with an error in the .NET SDK.",Build
2,"Deployment Issue","Cannot deploy to production environment due to certificate issues.",Deployment
3,"UI Bug","The login page is not loading correctly.",UI
...

使用ML.NET实现GitHub问题自动分类目的和原理

本博客将介绍如何利用微软的ML.NET框架，结合机器学习模型，实现对GitHub问题（Issues）的自动分类和标签预测。通过本文，您将了解从数据准备、模型训练到实际应用的完整流程。

主要目的 ：

该项目旨在自动化管理GitHub仓库中的问题，通过机器学习模型自动为新问题分配合适的标签，减少人工操作的时间和精力，提高团队协作效率。

原理：

  • 使用监督学习方法训练一个分类模型，该模型能够根据问题的标题和描述预测相关标签。
  • 利用ML.NET框架加载已训练好的模型，并通过GitHub API获取新的问题数据。
  • 对未标注的问题进行预测并自动添加相应的标签。

本项目的核心功能包括：

  1. 加载预训练模型：使用ML.NET加载已训练的TensorFlow模型，用于对新问题进行分类。
  2. 从GitHub获取新问题：通过GitHub API获取指定仓库中的新问题数据。
  3. 预测和应用标签：对未标注的问题进行标签预测，并将结果自动应用于GitHub。

主要功能模块

  • 加载模型：初始化时加载TensorFlow模型文件，创建预测引擎。
  • 获取新问题：通过GitHub API获取指定仓库中过去10分钟内新增的问题。
  • 预测和分类：对每个问题进行标签预测，并根据预设阈值（30%）决定是否应用标签。

实现流程

  1. 初始化Labeler类，加载模型并配置GitHub客户端。
  2. 获取新问题列表。
  3. 对未标注的问题进行预测。
  4. 根据预测结果自动添加标签到GitHub。

详细功能解读与实现步骤

1. 加载预训练模型

在项目的初始化阶段，加载已训练好的TensorFlow模型文件，并使用ML.NET创建预测引擎。代码如下：

csharp 复制代码 
public class Labeler
{
    private readonly IModelLoader _modelLoader;
    private readonly HttpClient _httpClient;

    public Labeler(string modelPath, string githubToken)
    {
        var configuration = new ConfigurationBuilder().Build();
        _modelLoader = ModelLoader.CreateDefault(configuration);
        
        // 加载模型文件
        using (var stream = File.OpenRead(modelPath))
        {
            var model = _modelLoader.Load(stream);
            _predEngine = Predictors.CreatePredictionEngine<GitHubIssue, PredictionResult>(model);
        }
        
        _httpClient = new HttpClient();
        _httpClient.DefaultRequestHeaders.Authorization = 
            new AuthenticationHeaderValue("token", githubToken);
    }
}

实现步骤：

  • 使用ModelLoader加载TensorFlow模型文件。
  • 创建PredictionEngine用于后续预测。

2. 获取新问题

通过GitHub API获取指定仓库中的新问题。代码如下：

csharp 复制代码 
private async Task<IReadOnlyList<Issue>> GetNewIssues()
{
    var issueRequest = new RepositoryIssueRequest
    {
        State = ItemStateFilter.Open,
        Filter = IssueFilter.All,
        Since = DateTime.Now.AddMinutes(-10)
    };

    var allIssues = await _client.Issue.GetAllForRepository(_repoOwner, _repoName, issueRequest);

    // 过滤掉Pull Request和旧问题
    return allIssues.Where(i => !i.HtmlUrl.Contains("/pull/"))
                    .ToList();
}

实现步骤：

  • 创建RepositoryIssueRequest对象，设置过滤条件（如只获取过去10分钟内的新问题）。
  • 调用GitHub API的GetAllForRepository方法获取问题列表。
  • 过滤掉Pull Request和旧问题。

3. 预测和分类

对每个问题进行预测，并根据结果决定是否添加标签。代码如下：

csharp 复制代码 
private FullPrediction[] PredictLabels(Octokit.Issue issue)
{
    var corefxIssue = new GitHubIssue
    {
        ID = issue.Number.ToString(),
        Title = issue.Title,
        Description = issue.Body
    };

    _fullPredictions = Predict(corefxIssue);

    return _fullPredictions;
}

public FullPrediction[] Predict(GitHubIssue issue)
{
    var prediction = _predEngine.Predict(issue);

    var fullPredictions = GetBestThreePredictions(prediction);

    return fullPredictions;
}

实现步骤：

  • 将GitHub问题转换为自定义的GitHubIssue对象。
  • 使用预测引擎对问题进行分类，获取预测结果。
  • 提取预测结果中的前三项作为最终标签。

4. 应用标签

根据预测结果自动添加标签到GitHub。代码如下：

csharp 复制代码 
private void ApplyLabels(Issue issue, FullPrediction[] fullPredictions)
{
    var issueUpdate = new IssueUpdate();

    //仅当预测分数大于等于30%时才应用标签
    foreach (var fullPrediction in fullPredictions)
    {
        if (fullPrediction.Score >= 0.3)
        {
            issueUpdate.AddLabel(fullPrediction.PredictedLabel);
            _client.Issue.Update(_repoOwner, _repoName, issue.Number, issueUpdate);

            Console.WriteLine($"Issue {issue.Number} : \"{issue.Title}\" \t 被标记为: {fullPredictions[0].PredictedLabel}");
        }
    }
}

实现步骤：

  • 创建IssueUpdate对象，用于更新问题标签。
  • 遍历预测结果，当预测分数超过阈值时添加标签。
  • 调用GitHub API的Update方法应用标签。

总结

本项目通过使用ML.NET加载TensorFlow模型，并结合GitHub API实现了对新问题的自动分类和标签管理。核心功能包括：

  • 加载并初始化预测引擎。
  • 获取指定仓库中的新问题。
  • 对问题进行分类并根据结果更新标签。
    该方案可以有效地帮助开发者自动化处理GitHub上的问题，提高工作效率。展示了如何利用 ML.NET 创建一个能够自动为 GitHub 问题分配标签的分类器。虽然这是一个相对简单的实现，但它为我们提供了一个坚实的基础，以便在未来进一步扩展和优化。

可能的改进方向

  • 集成更多算法：如支持向量机 (SVM)、随机森林等。
  • 使用更复杂的模型：如深度学习模型（LSTM、BERT 等）。
  • 优化特征工程：探索不同的文本表示方法，如 Word2Vec、GloVe 等。
  • 处理更多数据：收集更多的 GitHub 问题数据以提高模型的泛化能力。

通过这些改进，我们可以进一步提升分类器的性能和准确性。

相关推荐
阿坡RPA5 小时前
手搓MCP客户端&服务端：从零到实战极速了解MCP是什么？
人工智能·aigc
用户27784491049935 小时前
借助DeepSeek智能生成测试用例：从提示词到Excel表格的全流程实践
人工智能·python
机器之心5 小时前
刚刚，DeepSeek公布推理时Scaling新论文，R2要来了？
人工智能
算AI7 小时前
人工智能+牙科：临床应用中的几个问题
人工智能·算法
凯子坚持 c8 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2058 小时前
哈尔滨工业大学DeepSeek公开课：探索大模型原理、技术与应用从GPT到DeepSeek｜附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清8 小时前
中国8K摄像机：科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh9 小时前
【算法岗面试题】深度学习中如何防止过拟合？
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员9 小时前
零基础玩转深度神经网络大模型：从Hello World到AI炼金术-详解版（含：Conda 全面使用指南）
人工智能·神经网络·dnn
币之互联万物9 小时前
2025 AI智能数字农业研讨会在苏州启幕，科技助农与数据兴业成焦点
人工智能·科技
热门推荐
01我决定放弃搞 Java 了02DeepSeek各版本说明与优缺点分析03如何在WPS和Word/Excel中直接使用DeepSeek功能04RAG 实践- Ollama+RagFlow 部署本地知识库05本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程06从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑07如何本地部署AI智能体平台，带你手搓一个AI Agent08苍穹外卖面试总结09DeepSeek RAGFlow构建本地知识库系统10【芯片封测学习专栏 -- D2D 和 C2C 之间的区别】