.net core强大的列表对比取数

将一个list的中的所有数据在另一个list中找出,并将找到的数据生成一个新的list。

背景:

有一个大的字符串类型的list Alllist,中包含可营销的数据和不可营销的数据,共八千万条

另一个字符串list CanMarkelist中包含不可营销的数据,共三千万条

现在要将可营销的数据生成一个list,将不可营销的数据也生成一个list

这种情况下,使用for循环去Array.IndexOf(CanMarkelist, all)的话性能将大量消耗。所以可以使用:

IntersectBy:取两个字符串的交集

ExceptBy:取两个字符串的差集

这样能快速取出所有数据。

我的开发需求是:

读取两个文件,一个是所有数据文件(内容包含手机号),一个是可营销的数据文件(加过密的手机号md5串),对比两个文件,将可营销的数据和不可营销的手机号数据分别生成两个文件。

因为所有数据文件中包含了可营销的数据,所以可营销的数据是加过密的也没关系,所有数据文件中有解了密的手机号。

我的代码:

csharp 复制代码
//
var canMarke= File.ReadAllLines("D:\\数据文件\\AllData.txt").ToHashSet();//可营销的md5文件
var allData= File.ReadAllLines("D:\\数据文件\\canMarket.txt");//所有数据的手机号文件

//将所有数据去重,然后转成字典类型,将手机号转成md5作为key,将手机号作为value
var allDataToMD5= allData.Distinct().ToDictionary(x => EncryptExtension.ToMd532String(x, OutputMode.LowerHex));

//可营销的数据 
//取可营销的md5和所有数据的字典的key作比较取交集的value,则为可营销数据的手机号
var canMarketing = allDataToMD5.IntersectBy(canMarke, x => x.Key).Select(x => x.Value).ToList();
//取可营销的md5和所有数据的字典的key作比较取差集的value,则为不可营销数据的手机号
var nitCanMarketing = allDataToMD5.ExceptBy(canMarke, x => x.Key).Select(x => x.Value).ToList();

// 将匹配的行写入到新文件中
File.WriteAllLines("D:\\数据文件\\keYinXiao.txt", canMarketing);
File.WriteAllLines("D:\\数据文件\\buKeYinXiao.txt", nitCanMarketing);
相关推荐
江沉晚呤时4 小时前
在 C# 中调用 Python 脚本:实现跨语言功能集成
python·microsoft·c#·.net·.netcore·.net core
Oberon4 小时前
Avalonia硬配.NET Framework 4.8
c#·.net·avalonia·.net framework
喵叔哟7 小时前
3. 【Blazor全栈开发实战指南】--Blazor是什么?为什么选择Blazor?
c#·.netcore
钢铁男儿9 小时前
C# 接口(接口可以继承接口)
java·算法·c#
小码编匠17 小时前
C# 的西门子数控系统 OPCUA 数据采集开发从零入门
后端·数据分析·c#
孜然卷k17 小时前
C#项目 在Vue/React前端项目中 使用使用wkeWebBrowser引用并且内部使用iframe网页外链 页面部分白屏
前端·vue.js·react.js·c#
专注VB编程开发20年18 小时前
C# VB.NET多进程-管道通信,命名管道(Named Pipes)
开发语言·c#·.net
唐青枫19 小时前
C#.NET 泛型详解
c#·.net
阿蒙Amon19 小时前
C#日期、时间和时区:全球化应用的时间处理艺术
java·服务器·c#
学不动CV了20 小时前
深入理解C语言内存空间、函数指针(三)(重点是函数指针)
c语言·arm开发·数据库·stm32·单片机·嵌入式硬件·c#