shell jq教程

1. jq 简介

jq 是一款命令行下处理JSON数据的工具。其可以接受标准输入,命令管道或者文件中的JSON数据,经过一系列的过滤器(filters)和表达式的转后形成我们需要的数据结构并将结果输出到标准输出中。jq的这种特性使我们可以很容易地在Shell脚本中调用它。

常用选项

-c 紧凑输出json数据
-e 根据输出结果设置命令退出状态码
-s 读取所有输入到一个数组
-r 输出原始字符串,而不是一个JSON格式
-C 高亮显示
-M 单色显示
-S 排序对象
--tab 使用tab缩进

2. 常用基础命令

2.1. 对整个输入进行输出

语法:jq '.' : 符号,单独的一个'.'符号用来表示对作为表达式输入的整个 JSON 对象的引用。

]# echo '{"name": "tom"}'|jq '.'
{
  "name": "tom"
}
]# jq '.' test.json  #这种方式可以

2.2. 输出某个字段或者某个索引的值

语法:jq '.<key>' ,这里key是字段名称

]# echo '{"name": "tom"}'|jq '.name'
"tom"
#当引用一个不存在的key时,会在原先的key后面加上此key
]# echo '{"name": "tom"}'|jq '.age=10'  -c
{"name":"tom","age":10}

2.3. 数组操作

索引也可以是负数,表示从后边倒着数,从-1开始数,负数索引不能出现0及整数

 jq '.[]':   取全部数组
]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[]'  -c
{"msg":{"name":"tom"}}
{"msg":{"name":"jack"}}
------------------------------------------------------------------------------------------
 jq '.[index]':   取数组中的第几个元素
 ]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[0]'  -c
{"msg":{"name":"tom"}}
]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[-2]'  -c
{"msg":{"name":"tom"}}
--------------------------------------------------------------------------------------------
 jq '.[index1:index2]':  取数组中index1到index2的元素(不包括index2)
 ]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[0:2]'  -c
[{"msg":{"name":"tom"}},{"msg":{"name":"jack"}}]
]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[-2:-1]'  -c
[{"msg":{"name":"tom"}}]
---------------------------------------------------------------------------------------
jq '.[index1:]':  取数组中index1到最后
]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[0:]'  -c
[{"msg":{"name":"tom"}},{"msg":{"name":"jack"}}]
[root@docker01 ~]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[-2:]'  -c
[{"msg":{"name":"tom"}},{"msg":{"name":"jack"}}]

2.4. 字典取值

]# echo '{"msg":{"name":"tom"}}'|jq '.msg.name'
"tom"
[root@docker01 ~]# echo '{"msg":{"name":"tom"}}'|jq '.msg["name"]'
"tom"

2.5. 循环输出所有的值,如数组嵌套

语法:jq '.[]'

]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[]' -c
{"msg":{"name":"tom"}}
{"msg":{"name":"jack"}}

2.6. 输出多个索引的值,可以用逗号分割

语法: jq '.key1,.key2'

]# echo '[{"msg":{"name": "tom"}}, {"msg": {"name": "jack"}}]'|jq '.[0].msg.name,.[1].msg.name' -c
"tom"
"jack"

2.7. 用管道符号|可以对其进行再次处理

语法:jq '命令|命令'

]# echo '{"msg":{"name":"tom","age":10}}'|jq '.msg.name,.msg.age'
"tom"
10
#.msg|.name,.age 的意思是,.msg.name,.msg.age
]# echo '{"msg":{"name":"tom","age":10}}'|jq '.msg|.name,.age'
"tom"
10

2.8. 括号的作用

]# echo '{"msg":{"name":"tom","age":10}}'|jq '.msg.age+2*5'
20
]# echo '{"msg":{"name":"tom","age":10}}'|jq '(.msg.age+2)*5'
60

2.9. length求长度

计算数组,字符串的长度

语法:jq '|length'

-------------------------------------------------------------------------------------
#计算数组长度
]# echo '{"msg":[{"name":"tom"},{"name":"jack"}]}'|jq '.msg'
[
  {
    "name": "tom"
  },
  {
    "name": "jack"
  }
]
]# echo '{"msg":[{"name":"tom"},{"name":"jack"}]}'|jq '.msg|length'
2
-------------------------------------------------------------------------------------
#计算字符的长度
]# echo '{"msg":[{"name":"tom"},{"name":"jack"}]}'|jq '.msg[].name'
"tom"
"jack"
]# echo '{"msg":[{"name":"tom"},{"name":"jack"}]}'|jq '.msg[].name|length'
3
4

2.10. 输出所有的keys

语法: jq 'keys'

]# echo '{"name": "tom","age":10}'|jq 'keys' -c
["age","name"]

2.11. 判断存不存在某个键

语法: jq 'has("key")' 可以多个key一起判断 jq 'has("key1","key2")'

]# echo '{"name": "tom","age":10}'|jq 'has("name","age")'
true
true

2.12. 向josn输入中追加数据

-----------------------------------------------------------------------------
#管道输入追加数据
echo '{"msg":[{"name":"tom"},{"name":"jack"}]}'|jq '.msg[2]={"name":"jerry"}' -c
{"msg":[{"name":"tom"},{"name":"jack"},{"name":"jerry"}]}
-----------------------------------------------------------------------------
#json文件追加数据
]# cat test.json 
[{"msg":{"name": "tom"}},{"msg": [{"book": 16}]}]
]# cat test.json|jq '.[2]={"msg":{"age":10}}' -c
[{"msg":{"name":"tom"}},{"msg":[{"book":16}]},{"msg":{"age":10}}]
[root@docker01 ~]# cat test.json|jq '.[2]={"msg":{"age":10}}' -c > test-tmp.json && mv -f test-tmp.json test.json
[root@docker01 ~]# cat test.json 
[{"msg":{"name":"tom"}},{"msg":[{"book":16}]},{"msg":{"age":10}}]

2.13. 内置运算(+,-,*,/,%, +=,-=,*=,/=,%=)

----------------------------------------------------------------------------------------------------------------
#当取出的元素是字符串时,算数符中只有+,+=,*,*=,/(用指定的字符分割字符串,形成数组),/=能用
]# echo '{"name":"*"}'|jq '.name+"a"'  -c
"*a"
]# echo '{"name":"*"}'|jq '.name+="a"'  -c
{"name":"*a"}
]# echo '{"name":"*"}'|jq '.name*3'  -c
"***"
]# echo '{"name":"*"}'|jq '.name*=3'  -c
{"name":"***"}
]# echo '{"name": "1212345"}'|jq '.name/"1"' -c
["","2","2345"]
[root@docker01 ~]# echo '{"name": "1212345"}'|jq '.name/"2"' -c
["1","1","345"]
]# echo '{"name": "1212345"}'|jq '.name/="2"' -c
{"name":["1","1","345"]}
----------------------------------------------------------------------------------------------------------------
#当取出的元素是数字时,(+,-,*,/,%, +=,-=,*=,/=,%=)都可以用
]# echo '{"number":2}'|jq '.number+3'  -c
5
]# echo '{"number":2}'|jq '.number+=3'  -c
{"number":5}
]# echo '{"number":2}'|jq '.number*3' -c
6
]# echo '{"number":2}'|jq '.number*=3' -c
{"number":6}
]# echo '{"number":2}'|jq '.number/3' -c
0.6666666666666666
]# echo '{"number":2}'|jq '.number/=3'  -c
{"number":0.6666666666666666}
]# echo '{"number":2}'|jq '.number%3'  -c
2
]# echo '{"number":2}'|jq '.number%=3' -c
{"number":2}
]# echo '{"number":2}'|jq '.number+2-4*4/4%2' -c
4
]# echo '{"number":2}'|jq '.number+=2-4*4/4%2' -c
{"number":4}
-----------------------------------------------------------------------------------------------------------------
#直接进行数据运算
]# echo 2|jq '.+2'
4
]# echo 2|jq '.-2'
0
]# echo 2|jq '.*2'
4
]# echo 2|jq './2'
1
]# echo 2|jq '.%2'
0
]# echo 3.1|jq '.+2-2*2/2%2'
5.1
]# echo 3.1|jq '(.+2-2)*2/2%2'
1
相关推荐
禾达达32 分钟前
bash shell 重定向输入和输出
服务器·bash
yueyingshaqiu0140 分钟前
指定版本ceph-common安装
运维·ceph
fen_fen1 小时前
Shell Expect自动化交互(示例)
运维·ssh
没耳朵的Rabbit1 小时前
RedHat运维-Ansible自动化运维基础7-管理变量与模块结果
linux·运维·自动化·ansible
啊取名真困难1 小时前
Meta自动化脚本机器人:构建高效社交平台工具
运维·机器人·自动化
明明跟你说过1 小时前
【云原生】服务网格(Istio)如何简化微服务通信
运维·微服务·云原生·容器·kubernetes·k8s·istio
深鱼~2 小时前
Linux系统部署MongoDB开源文档型数据库并实现无公网IP远程访问
linux·数据库·mongodb
玄武 剑2 小时前
开源自动化热键映射工具autohotkey十大用法及精选脚本
运维·自动化
登云时刻2 小时前
【问题记录】Jenkins Pipeline读取变量的各种方法
运维·jenkins
weishenjieneng2 小时前
微深节能 煤码头自动化翻堆及取料集控系统 格雷母线
运维·自动化