.net core强大的列表对比取数

将一个list的中的所有数据在另一个list中找出,并将找到的数据生成一个新的list。

背景:

有一个大的字符串类型的list Alllist,中包含可营销的数据和不可营销的数据,共八千万条

另一个字符串list CanMarkelist中包含不可营销的数据,共三千万条

现在要将可营销的数据生成一个list,将不可营销的数据也生成一个list

这种情况下,使用for循环去Array.IndexOf(CanMarkelist, all)的话性能将大量消耗。所以可以使用:

IntersectBy:取两个字符串的交集

ExceptBy:取两个字符串的差集

这样能快速取出所有数据。

我的开发需求是:

读取两个文件,一个是所有数据文件(内容包含手机号),一个是可营销的数据文件(加过密的手机号md5串),对比两个文件,将可营销的数据和不可营销的手机号数据分别生成两个文件。

因为所有数据文件中包含了可营销的数据,所以可营销的数据是加过密的也没关系,所有数据文件中有解了密的手机号。

我的代码:

csharp 复制代码
//
var canMarke= File.ReadAllLines("D:\\数据文件\\AllData.txt").ToHashSet();//可营销的md5文件
var allData= File.ReadAllLines("D:\\数据文件\\canMarket.txt");//所有数据的手机号文件

//将所有数据去重,然后转成字典类型,将手机号转成md5作为key,将手机号作为value
var allDataToMD5= allData.Distinct().ToDictionary(x => EncryptExtension.ToMd532String(x, OutputMode.LowerHex));

//可营销的数据 
//取可营销的md5和所有数据的字典的key作比较取交集的value,则为可营销数据的手机号
var canMarketing = allDataToMD5.IntersectBy(canMarke, x => x.Key).Select(x => x.Value).ToList();
//取可营销的md5和所有数据的字典的key作比较取差集的value,则为不可营销数据的手机号
var nitCanMarketing = allDataToMD5.ExceptBy(canMarke, x => x.Key).Select(x => x.Value).ToList();

// 将匹配的行写入到新文件中
File.WriteAllLines("D:\\数据文件\\keYinXiao.txt", canMarketing);
File.WriteAllLines("D:\\数据文件\\buKeYinXiao.txt", nitCanMarketing);
相关推荐
驾驭人生1 小时前
Asp .Net Core 系列:Asp .Net Core 集成 Hangfire+MySQL
数据库·mysql·.netcore
时光追逐者1 小时前
C#/.NET/.NET Core技术前沿周刊 | 第 53 期(2025年9.1-9.7)
c#·.net·.netcore
冷冷的菜哥1 小时前
ASP.NET Core使用MailKit发送邮件
后端·c#·asp.net·发送邮件·mailkit
weixin_447103582 小时前
C#之LINQ
c#·linq
ysn111112 小时前
反编译分析C#闭包
c#
one9964 小时前
WPF应用程序中的异常处理
c#·.net·wpf
almighty275 小时前
C# ObjectListView实现树状文件夹浏览
c#·树状图·objectlistview·c#树状图·文件显示
ccut 第一混11 小时前
c# 调用basler 相机
c#·halcon·basler
TomCode先生12 小时前
c#动态树形表达式详解
开发语言·c#
上位机付工20 小时前
C#与倍福TwinCAT3进行ADS通信
开发语言·c#