.net core强大的列表对比取数

一坨仙女2025-01-04 16:04

将一个list的中的所有数据在另一个list中找出，并将找到的数据生成一个新的list。

背景：

有一个大的字符串类型的list Alllist，中包含可营销的数据和不可营销的数据，共八千万条

另一个字符串list CanMarkelist中包含不可营销的数据，共三千万条

现在要将可营销的数据生成一个list，将不可营销的数据也生成一个list

这种情况下，使用for循环去Array.IndexOf(CanMarkelist, all)的话性能将大量消耗。所以可以使用：

IntersectBy：取两个字符串的交集

ExceptBy：取两个字符串的差集

这样能快速取出所有数据。

我的开发需求是：

读取两个文件，一个是所有数据文件（内容包含手机号），一个是可营销的数据文件（加过密的手机号md5串），对比两个文件，将可营销的数据和不可营销的手机号数据分别生成两个文件。

因为所有数据文件中包含了可营销的数据，所以可营销的数据是加过密的也没关系，所有数据文件中有解了密的手机号。

我的代码：

csharp 复制代码

//
var canMarke= File.ReadAllLines("D:\\数据文件\\AllData.txt").ToHashSet();//可营销的md5文件
var allData= File.ReadAllLines("D:\\数据文件\\canMarket.txt");//所有数据的手机号文件

//将所有数据去重，然后转成字典类型，将手机号转成md5作为key，将手机号作为value
var allDataToMD5= allData.Distinct().ToDictionary(x => EncryptExtension.ToMd532String(x, OutputMode.LowerHex));

//可营销的数据 
//取可营销的md5和所有数据的字典的key作比较取交集的value，则为可营销数据的手机号
var canMarketing = allDataToMD5.IntersectBy(canMarke, x => x.Key).Select(x => x.Value).ToList();
//取可营销的md5和所有数据的字典的key作比较取差集的value，则为不可营销数据的手机号
var nitCanMarketing = allDataToMD5.ExceptBy(canMarke, x => x.Key).Select(x => x.Value).ToList();

// 将匹配的行写入到新文件中
File.WriteAllLines("D:\\数据文件\\keYinXiao.txt", canMarketing);
File.WriteAllLines("D:\\数据文件\\buKeYinXiao.txt", nitCanMarketing);