.net core强大的列表对比取数

将一个list的中的所有数据在另一个list中找出,并将找到的数据生成一个新的list。

背景:

有一个大的字符串类型的list Alllist,中包含可营销的数据和不可营销的数据,共八千万条

另一个字符串list CanMarkelist中包含不可营销的数据,共三千万条

现在要将可营销的数据生成一个list,将不可营销的数据也生成一个list

这种情况下,使用for循环去Array.IndexOf(CanMarkelist, all)的话性能将大量消耗。所以可以使用:

IntersectBy:取两个字符串的交集

ExceptBy:取两个字符串的差集

这样能快速取出所有数据。

我的开发需求是:

读取两个文件,一个是所有数据文件(内容包含手机号),一个是可营销的数据文件(加过密的手机号md5串),对比两个文件,将可营销的数据和不可营销的手机号数据分别生成两个文件。

因为所有数据文件中包含了可营销的数据,所以可营销的数据是加过密的也没关系,所有数据文件中有解了密的手机号。

我的代码:

csharp 复制代码
//
var canMarke= File.ReadAllLines("D:\\数据文件\\AllData.txt").ToHashSet();//可营销的md5文件
var allData= File.ReadAllLines("D:\\数据文件\\canMarket.txt");//所有数据的手机号文件

//将所有数据去重,然后转成字典类型,将手机号转成md5作为key,将手机号作为value
var allDataToMD5= allData.Distinct().ToDictionary(x => EncryptExtension.ToMd532String(x, OutputMode.LowerHex));

//可营销的数据 
//取可营销的md5和所有数据的字典的key作比较取交集的value,则为可营销数据的手机号
var canMarketing = allDataToMD5.IntersectBy(canMarke, x => x.Key).Select(x => x.Value).ToList();
//取可营销的md5和所有数据的字典的key作比较取差集的value,则为不可营销数据的手机号
var nitCanMarketing = allDataToMD5.ExceptBy(canMarke, x => x.Key).Select(x => x.Value).ToList();

// 将匹配的行写入到新文件中
File.WriteAllLines("D:\\数据文件\\keYinXiao.txt", canMarketing);
File.WriteAllLines("D:\\数据文件\\buKeYinXiao.txt", nitCanMarketing);
相关推荐
mudtools1 天前
.NET驾驭Word之力:理解Word对象模型核心 (Application, Document, Range)
c#·.net
大飞pkz1 天前
【设计模式】C#反射实现抽象工厂模式
设计模式·c#·抽象工厂模式·c#反射·c#反射实现抽象工厂模式
唐青枫1 天前
从入门到进阶:C#.NET Stopwatch 计时与性能测量全攻略
c#·.net
未来之窗软件服务2 天前
幽冥大陆(二)RDIFSDK 接口文档:布草洗涤厂高效运营的技术桥梁C#—东方仙盟
开发语言·c#·rdif·仙盟创梦ide·东方仙盟
1uther2 天前
Unity核心概念⑨:Screen
开发语言·游戏·unity·c#·游戏引擎
阿幸软件杂货间2 天前
Office转PDF转换器v1.0.py
开发语言·pdf·c#
sali-tec2 天前
C# 基于halcon的视觉工作流-章34-环状测量
开发语言·图像处理·算法·计算机视觉·c#
Tiger_shl2 天前
【层面一】C#语言基础和核心语法-02(反射/委托/事件)
开发语言·c#
mudtools2 天前
.NET驾驭Word之力:COM组件二次开发全攻略之连接Word与创建你的第一个自动化文档
后端·c#
王维志2 天前
LiteDB详解
数据库·后端·mongodb·sqlite·c#·json·database