Linux join命令快速从大文件中匹配内容

目录

• [一. 作业背景](#一. 作业背景)
• [二. 数据准备](#二. 数据准备)
• [三. 数据匹配](#三. 数据匹配)
• • [3.1 文件排序](#3.1 文件排序)
  • [3.2 join命令匹配数据](#3.2 join命令匹配数据)
  • • [3.2.1 正常数据匹配](#3.2.1 正常数据匹配)
    • [3.2.2 `!!!注意事项!!!`](#3.2.2 !!!注意事项!!!)
• [四. 数据整理](#四. 数据整理)
• [五. 其他方式](#五. 其他方式)

---

一. 作业背景

⏹项目中，每个月都会收集当月的用户支付相关的信息，然后汇总到一个大csv文件中。

作业内容需求：

• 当月的csv文件共有4000万行数据
• 客户提供了一个有2万行的文本文件，每一行对应着一个用户的id
• 现在需要根据2万个用户id去大csv文件中进行检索，将匹配到的数据传给客户。

作业环境需求：

• 大csv文件中存放在服务器上，因为含有客户敏感信息，只能连接到linux环境上作业
• 只能使用linux命令来完成

😢遇到的问题

• 普通匹配需要的话，直接使用grep命令进行匹配即可
• 如果需要多次匹配的话，可以写若干个grep命令，然后放到一个bash脚本中批量执行
• 但是本次目标文件数据量庞大，匹配源文件和待匹配的目标文件数量庞大，通过grep命令的话，会消耗很多时间

🧐解决方式

• 通过join的方式进行文件匹配可以极大提升匹配效率
• 需要提前对文件进行排序

---

二. 数据准备

⏹准备40万条数据

(
  echo "No,姓名,auid,地址"
  seq 1 400000 | awk 'BEGIN{OFS=","} {
      printf "%d,user_name_%09d,auid_%09d,地球%d\n", $1, $1, $1, $1
  }'
) > bigfile.csv

⏹对生成的文件进行二次处理，得到乱序的数据

• shuf：对文件按照行进行乱序处理，模拟真实的商用数据
• sed -i '1i 要插入的内容'：向第一行插入数据

# 对文件进行乱序处理
grep -v 姓名 bigfile.csv | shuf > shuffled.csv
# 为csv文件添加表头
sed -i '1i No,姓名,auid,地址' shuffled.csv

⏹获取后1千条数据，然后将auid数据输出到一个文件中，模拟客户提供的数据。

tail -n 1000 shuffled.csv | awk -F',' '{print $3}' > auid_list.txt

⏹使用shuf命令随机从auid_list.txt文件中获取1行数据，然后给除了第三个字段的所有字段的前后后添加一个@符号之后，追加到shuffled.csv中，目的是为了模拟有多个auid存在的情况。

• shuf -n 1 auid_list.txt：从文件中随机获取一条数据
• tee -a shuffled.csv：
  • -a表示追加
  • 将数据打印到控制台上的同时，将数据追加到shuffled.csv中

grep $(shuf -n 1 auid_list.txt) shuffled.csv | awk -F',' '{
    OFS = ","
    $1 = "@" $1 "@"
    $2 = "@" $2 "@"
    $4 = "@" $4 "@"
    print
}' | tee -a shuffled.csv
⇩⇩⇩　⇩⇩⇩
@295178@,@user_name_000295178@,auid_000295178,@地球295178@

• 可以看到一个auid对应着2条数据

apluser@FengYeHong-HP:0724$ grep -a auid_000295178 shuffled.csv
295178,user_name_000295178,auid_000295178,地球295178
@295178@,@user_name_000295178@,auid_000295178,@地球295178@

---

三. 数据匹配

3.1 文件排序

⏹sort -k<开始列>[,<结束列>] file：指定排序的字段范围，也就是告诉 sort 从第几列到第几列作为排序依据。

• sort -t, -k3,3
  • -t,：按照逗号进行分隔
  • -k3,3：指定第3列作为排序依据

apluser@FengYeHong-HP:0724$ sort -t, -k3,3 shuffled.csv > all_info_sort.csv
apluser@FengYeHong-HP:0724$ tail all_info_sort.csv
399991,user_name_000399991,auid_000399991,地球399991
399992,user_name_000399992,auid_000399992,地球399992
399993,user_name_000399993,auid_000399993,地球399993
399994,user_name_000399994,auid_000399994,地球399994
399995,user_name_000399995,auid_000399995,地球399995
399996,user_name_000399996,auid_000399996,地球399996
399997,user_name_000399997,auid_000399997,地球399997
399998,user_name_000399998,auid_000399998,地球399998
399999,user_name_000399999,auid_000399999,地球399999
400000,user_name_000400000,auid_000400000,地球400000

apluser@FengYeHong-HP:0724$ sort auid_list.txt > auid_list_sort.csv
apluser@FengYeHong-HP:0724$ tail auid_list_sort.csv
auid_000395846
auid_000395932
auid_000395948
auid_000396121
auid_000396465
auid_000396566
auid_000397508
auid_000398221
auid_000398744
auid_000398933

3.2 join命令匹配数据

3.2.1 正常数据匹配

• -t,：指定通过逗号分割文件
• -1 1：指定第1个文件的第1个字段作为join条件
• -2 3：指定第2个文件的第3个字段作为join条件

apluser@FengYeHong-HP:0724$ wc -l auid_list_sort.csv
1000 auid_list_sort.csv
apluser@FengYeHong-HP:0724$ join -t, -1 1 -2 3 auid_list_sort.csv all_info_sort.csv > result.csv
apluser@FengYeHong-HP:0724$ wc -l result.csv
1001 result.csv
apluser@FengYeHong-HP:0724$ grep -a auid_000295178 result.csv
auid_000295178,295178,user_name_000295178,地球295178
auid_000295178,@295178@,@user_name_000295178@,@地球295178@

3.2.2 !!!注意事项!!!

💥两个文件进行join匹配数据的时候，第一个文件的换行符一定要是LF，不能是CRLF，否则无法join💥

• 可以看到，我们将第一个文件的换行符转换为CRLF之后，进行join时，无任何匹配
• 在实际工作中，我们可能在windows环境 中使用文本编辑器对第一个文件进行编辑，手动粘贴内容，保存之后就直接带到linux环境中使用了，大多数windows环境中的文本编辑器的换行符都是CRLF，因此会造成join命令无法匹配的情况。

apluser@FengYeHong-HP:0724$ nkf --guess auid_list_sort.csv
ASCII (LF)
apluser@FengYeHong-HP:0724$ awk '{printf "%s\r\n", $0}' auid_list_sort.csv > auid_list_CRLF_sort.csv
apluser@FengYeHong-HP:0724$
apluser@FengYeHong-HP:0724$ nkf --guess auid_list_CRLF_sort.csv
ASCII (CRLF)
apluser@FengYeHong-HP:0724$ nkf --guess all_info_sort.csv
UTF-8 (LF)
apluser@FengYeHong-HP:0724$ # 👇👇👇join之后, 无任何输出👇👇👇
apluser@FengYeHong-HP:0724$ join -t, -1 1 -2 3 auid_list_CRLF_sort.csv all_info_sort.csv
apluser@FengYeHong-HP:0724$ # 👆👆👆join之后, 无任何输出👆👆👆

---

四. 数据整理

⏹通过join命令处理过之后的数据，其指定用来join的字段会跑到第1列，破坏了原有的数据结构

apluser@FengYeHong-HP:0724$ head result.csv
auid_000000333,333,user_name_000000333,地球333
auid_000000835,835,user_name_000000835,地球835
auid_000000922,922,user_name_000000922,地球922
auid_000001206,1206,user_name_000001206,地球1206
auid_000001436,1436,user_name_000001436,地球1436
auid_000001853,1853,user_name_000001853,地球1853
auid_000001925,1925,user_name_000001925,地球1925
auid_000002146,2146,user_name_000002146,地球2146
auid_000002195,2195,user_name_000002195,地球2195
auid_000002798,2798,user_name_000002798,地球2798

⏹可通过awk命令将指定字段的顺序进行调换

awk -F',' '{
	col1 = $1;
	for(i=2; i<=3; i++) {
		printf "%s,", $i
	}
	printf "%s", col1
	for(i=4; i<=NF; i++) {
		printf ",%s", $i
	}
	printf "\n"
}' result.csv > result_handle.csv

• 处理之后的效果

apluser@FengYeHong-HP:0724$ head result_handle.csv
333,user_name_000000333,auid_000000333,地球333
835,user_name_000000835,auid_000000835,地球835
922,user_name_000000922,auid_000000922,地球922
1206,user_name_000001206,auid_000001206,地球1206
1436,user_name_000001436,auid_000001436,地球1436
1853,user_name_000001853,auid_000001853,地球1853
1925,user_name_000001925,auid_000001925,地球1925
2146,user_name_000002146,auid_000002146,地球2146
2195,user_name_000002195,auid_000002195,地球2195
2798,user_name_000002798,auid_000002798,地球2798

---

五. 其他方式

⏹除了join之外，awk命令也可以实现快速匹配的需求，只是效率没有join那么高，不过一般也足够用了。

• 核心思想就是读取源文件和待匹配的目标文件
• 将源文件中的数据放到数组中，然后指定待匹配的目标文件的第3个字段是否在数组中

awk -F, 'NR==FNR{auid_list[$1]; next} $3 in auid_list' auid_list.txt shuffled.csv > result_handle_awk.csv

• 通过diff命令可以看到生成的文件一致

apluser@FengYeHong-HP:0724$ diff <(sort result_handle_awk.csv) <(sort result_handle.csv)
apluser@FengYeHong-HP:0724$