ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器

North_D2025-03-02 19:43

文章目录

ML.NET库学习019：使用 ML.NET 创建 GitHub 问题标签分类器

引言

在现代软件开发中，GitHub 是一个不可或缺的平台，用于代码托管和协作。每天都有大量新问题被创建，这些问题需要及时分类以便于管理和跟踪。然而，手动为每个问题分配正确的标签可能会耗费大量时间。为了解决这个问题，我们可以利用机器学习的力量来自动完成这个任务。

在这个示例项目中，我们将使用 Microsoft 的 ML.NET 框架来构建一个能够根据问题标题和描述自动分配正确标签的分类器。通过这种方式，可以显著提高效率并节省开发人员的时间。

项目概述

实现的主要功能

  • 训练模型：利用历史 GitHub 问题数据训练一个机器学习模型。
  • 预测新问题：使用训练好的模型对新问题进行分类。
  • 与 GitHub 集成：将模型集成到实际应用中，自动为新创建的 GitHub 问题分配标签。

使用的算法

在本项目中，我们选择了逻辑回归作为分类算法。虽然这不是最复杂的算法，但对于这种文本分类任务来说，逻辑回归已经能够提供良好的性能和效率。此外，我们还使用了交叉验证来评估模型的性能。

数据流

  1. 数据加载：从训练数据文件加载 GitHub 问题。
  2. 数据预处理：对文本进行清理和标准化。
  3. 特征提取：将文本转换为模型可以理解的数值形式。
  4. 模型训练：使用训练数据训练分类器。
  5. 保存模型：将训练好的模型保存到文件中，以便后续使用。

主要功能和步骤

1. 配置设置

在项目的开始阶段，我们需要配置应用程序的基本设置。这包括：

  • 设置程序的主目录路径。
  • 加载 appsettings.json 文件以获取 GitHub 的认证信息（如令牌、仓库所有者和仓库名称）。
csharp 复制代码 
private static void SetupAppConfiguration()
{
    var builder = new ConfigurationBuilder()
                    .SetBasePath(Directory.GetCurrentDirectory())
                    .AddJsonFile("appsettings.json");

    Configuration = builder.Build();
}

2. 数据加载与预处理

在训练模型之前，我们需要加载和准备数据。GitHub 问题的数据通常包含以下字段：

  • ID：问题的唯一标识符。
  • Title：问题标题。
  • Description：问题描述。
  • Area：问题所属的领域或标签。
csharp 复制代码 
var trainingDataView = DataGenerator.LoadIssues();

3. 算法选择与模型训练

在本项目中，我们选择了逻辑回归作为分类算法。这是因为逻辑回归是一个简单且高效的算法，适合用于二分类或多分类任务。

训练管道

训练管道是 ML.NET 中一个非常重要的概念。它定义了数据如何从输入转换到输出的过程。我们的训练管道包括以下几个步骤：

  • 文本清理与标准化：对问题标题和描述进行清理，去除无关字符，并将其转换为统一的格式。
  • 特征提取：将清理后的文本转换为数值形式（如 TF-IDF 或 Word Embeddings）。
  • 分类器：使用逻辑回归模型对特征进行分类。
交叉验证

为了评估模型的性能，我们使用了交叉验证。交叉验证是一种常用的机器学习技术，用于估计模型在未知数据上的表现。

csharp 复制代码 
var crossValidationResults = mlContext.MulticlassClassification.CrossValidate(data: trainingDataView, estimator: trainingPipeline, numberOfFolds: 6, labelColumnName: "Area");

4. 模型保存与加载

训练好的模型需要保存到文件中，以便后续使用。ML.NET 提供了 SaveModel 方法来实现这一点。

csharp 复制代码 
mlContext.Model.Save(trainedModel, trainingDataView.Schema, Path.Combine(modelPath, "model.zip"));

5. 预测集成到 GitHub

一旦模型训练完成并保存，我们可以将其集成到实际应用中。这包括：

  • 监听新的 GitHub 事件（如问题创建）。
  • 使用训练好的模型对新问题进行分类。
  • 自动分配标签。
csharp 复制代码 
var prediction = predictor.Predict(newPredictionEngineInput);

数据集

虽然本项目没有直接提供数据集，但我们可以假设使用的是一个包含以下字段的 CSV 文件：

  • ID：问题 ID。
  • Title：问题标题。
  • Description：问题描述。
  • Area：问题所属的领域或标签。

示例数据

csv 复制代码 
ID,Title,Description,Area
1,"Build Failing","The build is failing with an error in the .NET SDK.",Build
2,"Deployment Issue","Cannot deploy to production environment due to certificate issues.",Deployment
3,"UI Bug","The login page is not loading correctly.",UI
...

使用ML.NET实现GitHub问题自动分类目的和原理

本博客将介绍如何利用微软的ML.NET框架，结合机器学习模型，实现对GitHub问题（Issues）的自动分类和标签预测。通过本文，您将了解从数据准备、模型训练到实际应用的完整流程。

主要目的 ：

该项目旨在自动化管理GitHub仓库中的问题，通过机器学习模型自动为新问题分配合适的标签，减少人工操作的时间和精力，提高团队协作效率。

原理：

  • 使用监督学习方法训练一个分类模型，该模型能够根据问题的标题和描述预测相关标签。
  • 利用ML.NET框架加载已训练好的模型，并通过GitHub API获取新的问题数据。
  • 对未标注的问题进行预测并自动添加相应的标签。

本项目的核心功能包括：

  1. 加载预训练模型：使用ML.NET加载已训练的TensorFlow模型，用于对新问题进行分类。
  2. 从GitHub获取新问题：通过GitHub API获取指定仓库中的新问题数据。
  3. 预测和应用标签：对未标注的问题进行标签预测，并将结果自动应用于GitHub。

主要功能模块

  • 加载模型：初始化时加载TensorFlow模型文件，创建预测引擎。
  • 获取新问题：通过GitHub API获取指定仓库中过去10分钟内新增的问题。
  • 预测和分类：对每个问题进行标签预测，并根据预设阈值（30%）决定是否应用标签。

实现流程

  1. 初始化Labeler类，加载模型并配置GitHub客户端。
  2. 获取新问题列表。
  3. 对未标注的问题进行预测。
  4. 根据预测结果自动添加标签到GitHub。

详细功能解读与实现步骤

1. 加载预训练模型

在项目的初始化阶段，加载已训练好的TensorFlow模型文件，并使用ML.NET创建预测引擎。代码如下：

csharp 复制代码 
public class Labeler
{
    private readonly IModelLoader _modelLoader;
    private readonly HttpClient _httpClient;

    public Labeler(string modelPath, string githubToken)
    {
        var configuration = new ConfigurationBuilder().Build();
        _modelLoader = ModelLoader.CreateDefault(configuration);
        
        // 加载模型文件
        using (var stream = File.OpenRead(modelPath))
        {
            var model = _modelLoader.Load(stream);
            _predEngine = Predictors.CreatePredictionEngine<GitHubIssue, PredictionResult>(model);
        }
        
        _httpClient = new HttpClient();
        _httpClient.DefaultRequestHeaders.Authorization = 
            new AuthenticationHeaderValue("token", githubToken);
    }
}

实现步骤：

  • 使用ModelLoader加载TensorFlow模型文件。
  • 创建PredictionEngine用于后续预测。

2. 获取新问题

通过GitHub API获取指定仓库中的新问题。代码如下：

csharp 复制代码 
private async Task<IReadOnlyList<Issue>> GetNewIssues()
{
    var issueRequest = new RepositoryIssueRequest
    {
        State = ItemStateFilter.Open,
        Filter = IssueFilter.All,
        Since = DateTime.Now.AddMinutes(-10)
    };

    var allIssues = await _client.Issue.GetAllForRepository(_repoOwner, _repoName, issueRequest);

    // 过滤掉Pull Request和旧问题
    return allIssues.Where(i => !i.HtmlUrl.Contains("/pull/"))
                    .ToList();
}

实现步骤：

  • 创建RepositoryIssueRequest对象，设置过滤条件（如只获取过去10分钟内的新问题）。
  • 调用GitHub API的GetAllForRepository方法获取问题列表。
  • 过滤掉Pull Request和旧问题。

3. 预测和分类

对每个问题进行预测，并根据结果决定是否添加标签。代码如下：

csharp 复制代码 
private FullPrediction[] PredictLabels(Octokit.Issue issue)
{
    var corefxIssue = new GitHubIssue
    {
        ID = issue.Number.ToString(),
        Title = issue.Title,
        Description = issue.Body
    };

    _fullPredictions = Predict(corefxIssue);

    return _fullPredictions;
}

public FullPrediction[] Predict(GitHubIssue issue)
{
    var prediction = _predEngine.Predict(issue);

    var fullPredictions = GetBestThreePredictions(prediction);

    return fullPredictions;
}

实现步骤：

  • 将GitHub问题转换为自定义的GitHubIssue对象。
  • 使用预测引擎对问题进行分类，获取预测结果。
  • 提取预测结果中的前三项作为最终标签。

4. 应用标签

根据预测结果自动添加标签到GitHub。代码如下：

csharp 复制代码 
private void ApplyLabels(Issue issue, FullPrediction[] fullPredictions)
{
    var issueUpdate = new IssueUpdate();

    //仅当预测分数大于等于30%时才应用标签
    foreach (var fullPrediction in fullPredictions)
    {
        if (fullPrediction.Score >= 0.3)
        {
            issueUpdate.AddLabel(fullPrediction.PredictedLabel);
            _client.Issue.Update(_repoOwner, _repoName, issue.Number, issueUpdate);

            Console.WriteLine($"Issue {issue.Number} : \"{issue.Title}\" \t 被标记为: {fullPredictions[0].PredictedLabel}");
        }
    }
}

实现步骤：

  • 创建IssueUpdate对象，用于更新问题标签。
  • 遍历预测结果，当预测分数超过阈值时添加标签。
  • 调用GitHub API的Update方法应用标签。

总结

本项目通过使用ML.NET加载TensorFlow模型，并结合GitHub API实现了对新问题的自动分类和标签管理。核心功能包括：

  • 加载并初始化预测引擎。
  • 获取指定仓库中的新问题。
  • 对问题进行分类并根据结果更新标签。
    该方案可以有效地帮助开发者自动化处理GitHub上的问题，提高工作效率。展示了如何利用 ML.NET 创建一个能够自动为 GitHub 问题分配标签的分类器。虽然这是一个相对简单的实现，但它为我们提供了一个坚实的基础，以便在未来进一步扩展和优化。

可能的改进方向

  • 集成更多算法：如支持向量机 (SVM)、随机森林等。
  • 使用更复杂的模型：如深度学习模型（LSTM、BERT 等）。
  • 优化特征工程：探索不同的文本表示方法，如 Word2Vec、GloVe 等。
  • 处理更多数据：收集更多的 GitHub 问题数据以提高模型的泛化能力。

通过这些改进，我们可以进一步提升分类器的性能和准确性。

相关推荐
晓数37 分钟前
“平价”微智码初尝试
人工智能·jetbrains
新加坡内哥谈技术37 分钟前
MCP：人工智能时代的HTTP？探索AI通信新标准
人工智能·自然语言处理·chatgpt
0x2113 小时前
[论文阅读]REPLUG: Retrieval-Augmented Black-Box Language Models
论文阅读·人工智能·语言模型
JOYCE_Leo164 小时前
一文详解卷积神经网络中的卷积层和池化层原理 ！！
人工智能·深度学习·cnn·卷积神经网络
～央千澈～5 小时前
对鸿蒙 Next 系统“成熟论”的深度剖析-优雅草卓伊凡
人工智能
Donvink5 小时前
【视频生成模型】通义万相Wan2.1模型本地部署和LoRA微调
人工智能·深度学习·aigc·音视频
訾博ZiBo5 小时前
AI日报 - 2025年04月29日
人工智能
爱喝奶茶的企鹅5 小时前
Ethan独立开发产品日报 | 2025-04-27
人工智能·程序员·开源
极小狐5 小时前
如何对极狐GitLab 议题进行过滤和排序？
人工智能·git·机器学习·gitlab
热门推荐
01西电B测-计算机网络综合实验(含验收问题)02KGG转MP3工具|非KGM文件|解密音频03从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑04Coze扣子平台完整体验和实践（附国内和国际版对比）05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06DeepSeek各版本说明与优缺点分析07yolov10来了！用yolov10训练自己的数据集（原理、训练、部署、应用）08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09我决定放弃搞 Java 了10最新 Kubernetes 集群部署 + flannel 网络插件（保姆级教程，最新 K8S 版本）