Linux 中用grep命令 辅助excle筛查数据

问题:因为要对多个年度的多个工作的相关于人员进行匹配,以形成人员信息详细表,要从总表中根据项目人员名单进行筛出。最常用是excle 中的VULOOUP 函数,但是由于人员信息详表中有格式、内容方面的问题,无法实现,所以想到了用linux的grep命令,进行批量筛选。

一、总表、数据来源的创建

将人员详情excle表中的内容复制到文本文件中。这里推荐用vim的粘贴功能。vim b 后,需要输入命令:

复制代码
:set mouse-=a

然后就可以粘贴了。

1.注意检查新建文本中的行数和excle复制的行数是否相同,如果行数变多,说明excle中的部分单元格内有换行或者空行等, 要用字符填充或者进行修改。然后重新复制。

2.不建议用windows自带的记事本来操作,因为字符编码,标点、空格、换行等问题。所以直接用vim + 复制粘贴。

  1. 如果不想每次都手动输入 :set mouse-=a 来实现vim的粘贴功能,可以在当前用户的根目录下创建配置文件 .vimrc 。 下面用cat 命令显示一下该配置文件的内容

    cat .vimrc

    if has('mouse')
    set mouse-=a
    endif

二、单个项目人员表的准备

同样用vim新建文本 a,将相关项目人员的内容粘贴进去,注意不要有空行,直接 dd 删除最后的空行即可保存。

三、使用 grep -f 命令进行数据筛出

复制代码
grep -f a b >/home/Public/c.txt

该命令的作用是,按照文件a内的每一行的名字,去查b中是否有相同名字的内容,如果有,则将b中的该行内容,输出到 c.txt 文件中。

换句话说,就是以a文本的内容作为筛出条件,查看b文本中对应人名行的数据,并保存到c.txt中。

打开c.txt,复制内容到 单个项目人员的详情表内即可。这里假设为 项目人员详情.xlsx

四、反向筛出

如果某个项目有15个人参与,但只筛出了12个人的信息,则说明人员详情总表中缺少了3个人的详细信息的记录,要找出这3个人是谁,则在 项目人员详情.xlsx中复制人员名称,用vim c 粘贴,创建新的比对文件。

复制代码
grep -vf c a >/home/Public/c.txt

上述命令的含义是,找出a中和c不一样的内容。 第三步是找出相同的内容,参数 -f ;找不同 -vf

相关推荐
Helix25016 小时前
Python数据分析实战:Pandas清洗豆瓣短评与情感分析完整指南
python·pandas·数据清洗·情感分析··snownlp·文本数据处理
星夜离尘5619 小时前
MATLAB 清洗 CSV 采样日志:重复时间戳、无效行、分组统计与自动出图
开发语言·matlab·数据分析·数据清洗·csv
东莞市云毅网络有限公司1 天前
用 Python 给官网做字段级变更监控:快照、比对与变更清单
python·数据清洗·rag·企业知识库·文档解析
梅雅达编程笔记1 天前
15_综合实战全流程
pandas·数据清洗·seaborn·可视化分析·python数据实战·数据分析全流程·系列收尾
Patrick在香港4 天前
pandas 读 CSV 不报错 ≠ 读对了:四个默认参数翻车实测
pandas·数据清洗·数据类型·实测·read_csv
MoRanzhi12034 天前
第 3 篇 · 数据清洗与特征工程:从问题判定到特征构建
python·pandas·数据清洗·特征工程·缺失值处理·异常值检测·特征编码
东莞市云毅网络有限公司6 天前
AI 引用句逐条回指原文:让回答可回溯的校验实现
python·数据清洗·rag·企业知识库·文档解析
mattleeee9 天前
回测数据清洗:如何处理缺失K线和异常数据
数据清洗·k线·异常数据
for_ever_love__11 天前
电商订单数据清洗实战——Pandas 处理缺失值、重复单与异常金额
python·数据分析·pandas·数据清洗
东莞市云毅网络有限公司1 个月前
用 SQLite FTS5 给企业文档建本地全文索引:中文分词与权重调优
python·数据清洗·rag·企业知识库·文档解析