c# 在10万条数据中判断是否存在很慢问题

在C#中,使用List<T>.Where查询10万条数据是否存在会很慢,因为这会导致线性搜索,时间复杂度为O(n)。如果数据集很大,你应该使用更高效的数据结构,如HashSet<T>,它提供了O(1)的插入和查找操作。

复制代码
using System;
using System.Collections.Generic;
using System.Diagnostics;
 
class Program
{
    static void Main()
    {
        var dataSet = new HashSet<int>();
        var largeList = new List<int>();
 
        // 填充数据集
        for (int i = 0; i < 10000000; i++)
        {
            dataSet.Add(i);
            largeList.Add(i);
        }
 
        var stopwatch = Stopwatch.StartNew(); // 开始计时
 
        // 测试数据是否存在
        bool exists = dataSet.Contains(5000000); // 假设我们查找的数据
 
        stopwatch.Stop(); // 停止计时
 
        Console.WriteLine($"Exists: {exists}, Time Elapsed: {stopwatch.ElapsedMilliseconds} ms");
 
        // 使用List.Where进行同样的查找
        stopwatch.Restart(); // 重新开始计时
 
        bool existsInList = largeList.Where(x => x == 5000000).Any();
 
        stopwatch.Stop(); // 停止计时
 
        Console.WriteLine($"Exists in List: {existsInList}, Time Elapsed: {stopwatch.ElapsedMilliseconds} ms");
    }
}

在C#中,使用List<T>.Where进行查询时,如果列表非常大(例如10万条数据),查询性能可能会变慢。这是因为Where方法会遍历整个列表来寻找匹配的元素。

为了提高性能,可以考虑以下方法:

  1. 使用HashSet<T>来存储需要查询的数据,这样可以将查询时间从O(n)降低到O(1)。

  2. 如果列表是有序的,可以使用二分查找,这样可以将查询时间从O(n)降低到O(log n)。

  3. 如果查询操作是频繁的,可以考虑使用更适合大数据量查询的数据结构,如Dictionary<TKey, TValue>或者专门的数据库索引等。

下面是一个使用HashSet<T>的示例代码:

复制代码
// 假设我们有一个Person类和一个List<Person>
public class Person
{
    public int Id { get; set; }
    // 其他属性...
}
 
// 创建并填充列表
List<Person> people = new List<Person>();
// 填充数据... (假设已经填充了10万条数据)
 
// 创建HashSet存储Id
HashSet<int> personIds = new HashSet<int>(people.Select(p => p.Id));
 
// 查询数据是否存在
int searchId = 12345;
bool exists = personIds.Contains(searchId);

在这个示例中,我们首先创建了一个HashSet<int>,它存储了people列表中所有Person对象的Id。然后,我们可以使用Contains方法来快速检查某个Id是否存在于集合中,时间复杂度为O(1)。这种方法在需要频繁检查数据是否存在时效率会很高。

相关推荐
利威尔xu1 小时前
Go channel 关闭 3 个 panic:向已关闭 channel 发送,服务当场崩溃
开发语言·后端·golang·并发编程·channel
山楂树の1 小时前
Java BigDecimal笔记
java·开发语言
Vex2une4 小时前
电脑装双系统怎么弄?Win+Win 与 Win+Linux 安装及启动菜单管理全攻略
linux·windows·电脑·uefi·双系统安装·bcdedit启动项
Java展博4 小时前
[Go 后端转场] 从 try-catch 到 if err != nil:写惯 Java 的人第一次上手最别扭的 4 件事
java·开发语言·golang
SEO_juper5 小时前
Node.js 全站 SEO 体检报告生成器:一次查完标题、描述、canonical、H1、图片
开发语言·前端·node.js·html·bash
无情的西瓜皮5 小时前
eMudhra 根证书自 11-16 起失去微软产品默认信任:4 步 PowerShell 自查你的 Windows 是否已收到变更(Win11 实测)
windows·powershell
风落青芜5 小时前
数据结构:堆的概念与实现
c语言·开发语言·数据结构·算法
H H.8 小时前
Java企业级开发:从框架到工程化实战
java·开发语言·经验分享·其他·课程设计
吃我一窝jio20 小时前
Python与Go线程模型深度对比
java·开发语言·python
eggwyw20 小时前
C++ union 的一种妙用法
开发语言·c++