在现代开发和运维的世界中，处理和转换不同格式的数据文件如 YAML、JSON、XML、CSV 等是日常任务。文件格式的多样性和复杂性常常给开发者带来不小的挑战。在这种情况下，强大的命令行工具能够极大地简化工作流程，本文主要介绍一款基于Go实现处理 YAML、JSON、XML、CSV、TOML 的命令行工具yq。
1 安装 go yq
1）安装 go 编译器
yq 依赖的 go 版本是 1.21,需要安装 1.21 版本以上的 go 版本。
$ go version
go version go1.21.11 darwin/amd64
2）安装 go yq
$ go install github.com/mikefarah/yq/v4@latest
go install github.com/mikefarah/yq/v4@latest
go: downloading github.com/mikefarah/yq/v4 v4.44.2
go: downloading github.com/mikefarah/yq v2.4.0+incompatible
go: downloading github.com/spf13/cobra v1.8.0
go: downloading gopkg.in/op/go-logging.v1 v1.0.0-20160211212156-b2cb9fa56473
go: downloading github.com/a8m/envsubst v1.4.2
go: downloading github.com/dimchansky/utfbom v1.1.1
go: downloading github.com/elliotchance/orderedmap v1.6.0
go: downloading github.com/alecthomas/participle/v2 v2.1.1
go: downloading github.com/goccy/go-json v0.10.3
go: downloading github.com/goccy/go-yaml v1.11.3
go: downloading github.com/jinzhu/copier v0.4.0
go: downloading github.com/yuin/gopher-lua v1.1.1
go: downloading golang.org/x/net v0.26.0
go: downloading github.com/magiconair/properties v1.8.7
go: downloading golang.org/x/text v0.16.0
go: downloading golang.org/x/xerrors v0.0.0-20220907171357-04be3eba64a2
go: downloading golang.org/x/sys v0.21.0
安装完成后，可以通过以下命令验证：
yq --version
应该会看到类似以下的输出：
yq (https://github.com/mikefarah/yq/) version v4.44.2
2 基本用法
go yq 可以处理多种文件格式，以下是一些常见的用法示例：
读取 YAML 文件
假设有一个名为 example.yaml 的 YAML 文件，内容如下：
name: John Doe
age: 30
address:
city: ExampleCity
zip: 12345
可以使用 yq 读取这个文件的内容：
yq e . example.yaml
输出将是：
name: John Doe
age: 30
address:
city: ExampleCity
zip: 12345
读取 JSON 文件
假设有一个名为 example.json 的 JSON 文件，内容如下：
{
"name": "John Doe",
"age": 30,
"address": {
"city": "ExampleCity",
"zip": 12345
}
}
可以使用 yq 读取这个文件的内容：
yq e -o=json . example.json
输出将是：
{
"name": "John Doe",
"age": 30,
"address": {
"city": "ExampleCity",
"zip": 12345
}
}
转换格式
go yq 强大的一点在于它可以在多种格式之间转换。比如，你可以将 YAML 文件转换为 JSON 文件：
yq e -o=json . example.yaml
类似地，可以将 JSON 文件转换为 YAML 文件：
yq e -o=yaml . example.json
编辑文件
可以使用 yq 编辑文件内容。以下演示如何修改 example.yaml 文件中的值：
yq e '.age = 31' -i example.yaml
修改后的 example.yaml 文件内容将是：
name: John Doe
age: 31
address:
city: ExampleCity
zip: 12345
查询数据
有时我们只需要获取文件中的某一部分数据，yq 提供了一种简单的查询方式。比如，可以查询 example.yaml 文件中的 address 字段：
yq e '.address' example.yaml
输出将是：
city: ExampleCity
zip: 12345
多文件处理
yq 还支持同时处理多个文件，比如合并两个 YAML 文件：
假设有两个文件 file1.yaml 和 file2.yaml，内容如下：
file1.yaml:
name: John Doe
age: 30
file2.yaml:
address:
city: ExampleCity
zip: 12345
可以使用以下命令将这两个文件合并：
yq eval-all 'select(fileIndex == 0) * select(fileIndex == 1)' file1.yaml file2.yaml
输出将是：
name: John Doe
age: 30
address:
city: ExampleCity
zip: 12345
使用嵌套命令
有时我们需要进行一些更复杂的操作，比如修改嵌套的值。假设我们需要修改 example.yaml 文件中 address.city 的值，可以使用嵌套命令：
yq e '.address.city = "NewCity"' -i example.yaml
修改后的文件内容将是：
name: John Doe
age: 30
address:
city: NewCity
zip: 12345
使用管道传输与其他命令组合
go yq 还可以与其他命令组合使用，充分利用管道传输数据。比如，可以结合 jq 命令处理 JSON 文件：
cat example.json | yq e -o=json '.' | jq '.name'
输出将是：
"John Doe"
进阶用法和扩展
自定义函数
go yq 支持自定义函数，我们可以在处理文件时执行自定义逻辑。以下是一个简单的例子，创建一个自定义函数将所有字符串转换为大写：
yq e 'def uppercase: map_values(if type == "!!str" then (. | upcase) else . end); . ' example.yaml
使用正则表达式
go yq 支持使用正则表达式进行复杂的过滤和替换操作。假设我们需要替换所有以 J 开头的名字，可以使用以下命令：
yq e '(.name | select(. == "John Doe") | sub("John", "Jane"))' example.yaml
结合自动化工具
将 go yq 结合到自动化工具如 Makefile 或 CI/CD 管道中，可以极大地提升自动化程度和效率。例如，可以在 Makefile 中定义一个任务处理 YAML 文件：
process_yaml:
yq e '.version += 1' -i example.yaml
在 CI/CD 管道中，可以使用如下步骤：
jobs:
process_yaml:
runs-on: ubuntu-latest
steps:
- name: Checkout code
uses: actions/checkout@v2
- name: Install yq
run: go install github.com/mikefarah/yq/v4@latest
- name: Process YAML
run: yq e '.version += 1' -i example.yaml
总结
go yq 是一个强大而灵活的命令行工具，适用于处理多种文件格式如 YAML、JSON、XML、CSV、TOML 和属性文件。