linux命令 根据某一字段去掉txt中重复的数据

前提:

文档为格式化好的数据。比如一行是一个json。

判断总共有多少行数据:

grep No f.txt | wc -l

查询重复数据有多少行:

grep No f.txt | sort -u | wc -l

找到重复的那行数据:(如果每行的json数据大,可忽略此操作)

grep No f.txt |sort|uniq -d

去除重复数据:

awk -v No=2 '!seen[$No]++' f.txt > output.txt

去重命令的工作原理是:

  • awk:文本处理工具。

  • -v No=2:设置awk变量No为2,这是我们要去重的列号。

  • !seen[$No]++:前缀运算符!用来判断数组seen中是否存在当前行的第No列的值。如果不存在,则执行后面的操作,即打印当前行。

  • input.txt:输入文件名。

  • > output.txt:将结果输出到output.txt文件中。

请确保你的输入文件是以空格或者制表符分隔的,并且列号是从1开始计数的。如果列与列之间的分隔符是其他字符,可以通过-F选项来指定分隔符。

相关推荐
AI科技星30 分钟前
垂直原理:宇宙的沉默法则与万物运动的终极源头
android·服务器·数据结构·数据库·人工智能
黑金IT33 分钟前
3D虚拟人模型转换的完整指南
服务器·数据库·3d
java_logo42 分钟前
Docker 部署微服务项目保姆级教程
java·运维·docker·微服务·容器·eureka·架构
Wang's Blog1 小时前
Linux小课堂: 定时与延时执行机制之date、at、sleep 与 crontab 的深度解析
linux·运维·服务器
被漂一组2 小时前
在线解决window和linux对linux远程问题
linux·运维·服务器
森G2 小时前
2六Ubuntu文件系统移植
linux·ubuntu
dot to one3 小时前
Centos 7 环境下mysql的安装及配置
linux·mysql·centos
「QT(C++)开发工程师」3 小时前
C++语言编程规范-风格
linux·开发语言·c++·qt
-指短琴长-3 小时前
CGroups资源控制实战【Linux】
linux·运维·服务器
昵称什么的不存在3 小时前
WPeChatGPT 插件使用教程(转载)
linux·逆向