流编辑器sed（stream editor）

一.sed简介

sed是一种流编辑器，处理时，把当前处理的行存储在临时缓冲区中，称为模式空间，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变

二.sed的语法

2.1.基本语法

复制代码

sed OPTIONS... [SCRIPT] [INPUTFILE...]

2.2.常用参数详解

-n，--quiet，--silent：不输出模式空间中的内容，使用安静模式，在一般sed的用法中，所有来自STDIN 的数据一般都会被列出到屏幕上，但如果加上-n参数后，则只有经过sed特殊处理的那一行才会被列出来；

-i：直接编辑原文件，而不是由屏幕输出，默认不对原文件进行操作；

-e：直接在命令行模式上进行sed的动作编辑，多个子命令之间也可以用分号隔开；

复制代码

'command1;command2... filename 或者 sed -e sed -e 'command1' -e 'command2' ......filename

-r：使用扩展正则表达式；

-f：直接将sed的动作写在一个文件内，-f filename则可以执行filename内的sed动作

三.模式空间中的编辑操作

3.1.地址定界

示例：生成测试文件

复制代码

[root@qingdeng shell]#  head -n 5 /etc/passwd > testfile

a) 替换文件中所有：为 @@@

复制代码

[root@qingdeng shell]# sed 's/:/@@@/g' testfile 
root@@@x@@@0@@@0@@@root@@@/root@@@/bin/bash
bin@@@x@@@1@@@1@@@bin@@@/bin@@@/sbin/nologin
daemon@@@x@@@2@@@2@@@daemon@@@/sbin@@@/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp@@@x@@@4@@@7@@@lp@@@/var/spool/lpd@@@/sbin/nologin

b ）替换 1-3 行的：

复制代码

[root@qingdeng shell]# sed '1,3s/:/@@@/g' testfile 
root@@@x@@@0@@@0@@@root@@@/root@@@/bin/bash
bin@@@x@@@1@@@1@@@bin@@@/bin@@@/sbin/nologin
daemon@@@x@@@2@@@2@@@daemon@@@/sbin@@@/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

c ）替换 1 行和 3 行的：

复制代码

[root@qingdeng shell]# sed -e '1s/:/@@@/g' -e '3s/:/@@@/g' testfile 
root@@@x@@@0@@@0@@@root@@@/root@@@/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon@@@x@@@2@@@2@@@daemon@@@/sbin@@@/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

d ）替换 2 行及其后两行：

复制代码

[root@qingdeng shell]# sed '2,+2s/:/@@@/g' testfile 
root:x:0:0:root:/root:/bin/bash
bin@@@x@@@1@@@1@@@bin@@@/bin@@@/sbin/nologin
daemon@@@x@@@2@@@2@@@daemon@@@/sbin@@@/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

e ）每隔 1 行替换：

复制代码

[root@qingdeng shell]# sed '2~2s/:/@@@/g' testfile 
root:x:0:0:root:/root:/bin/bash
bin@@@x@@@1@@@1@@@bin@@@/bin@@@/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

g) daemon 和 lp 字符之间的行替换：

复制代码

[root@qingdeng shell]# sed '/daemon/,/lp/s/:/@@@/g' testfile
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon@@@x@@@2@@@2@@@daemon@@@/sbin@@@/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp@@@x@@@4@@@7@@@lp@@@/var/spool/lpd@@@/sbin/nologin

h ）第一行到 adm 之间的

复制代码

[root@qingdeng shell]# sed '1,/daemon/s/:/@@@/g' testfile
root@@@x@@@0@@@0@@@root@@@/root@@@/bin/bash
bin@@@x@@@1@@@1@@@bin@@@/bin@@@/sbin/nologin
daemon@@@x@@@2@@@2@@@daemon@@@/sbin@@@/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

i ） adm 到最后一行的

复制代码

[root@qingdeng shell]# sed '/adm/,$s/:/@@@/g' testfile
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp@@@x@@@4@@@7@@@lp@@@/var/spool/lpd@@@/sbin/nologin

j ）其他 sed 分隔符的指定

复制代码

[root@qingdeng shell]# sed '\%adm%,$s%:%@@@%g' testfile
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp@@@x@@@4@@@7@@@lp@@@/var/spool/lpd@@@/sbin/nologin
[root@qingdeng shell]# sed '\#adm#,$s#:#@@@#g' testfile
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm@@@x@@@3@@@4@@@adm@@@/var/adm@@@/sbin/nologin
lp@@@x@@@4@@@7@@@lp@@@/var/spool/lpd@@@/sbin/nologin

3.2 常用编辑命令

示例：

生成测试文件

复制代码

[root@qingdeng shell]# sed -e '\#adm#,$s#:#@@@#g' testfile

a）删除行

复制代码

[root@qingdeng shell]# sed '1d' testfile 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '$d' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
[root@qingdeng shell]# sed '/root/d' testfile 
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shells]# sed '/root/!d' testfile 
root:x:0:0:root:/root:/bin/bash

b ）显示行

复制代码

[root@qingdeng shell]# sed '1p' testfile 
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '$p' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '/root/p' testfile 
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '/root/!p' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

c）添加行

复制代码

[root@qingdeng shell]# sed '1ahelloword' testfile 
root:x:0:0:root:/root:/bin/bash
helloword
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shells]# sed '￥ahelloword' testfile 
sed: -e expression #1, char 1: unknown command: `
[root@qingdeng shell]# sed '$ahelloword' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
helloword
[root@qingdeng shell]# sed '/root/,/adm/ahelloword' testfile 
root:x:0:0:root:/root:/bin/bash
helloword
bin:x:1:1:bin:/bin:/sbin/nologin
helloword
daemon:x:2:2:daemon:/sbin:/sbin/nologin
helloword
adm:x:3:4:adm:/var/adm:/sbin/nologin
helloword
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

d ）插入行

复制代码

[root@qingdeng shell]# sed '1ihelloword' testfile 
helloword
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '$ihelloword' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
helloword
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '/adm/ihelloword' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
helloword
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

e ）替换行

复制代码

[root@qingdeng shell]# sed '/adm/chelloword' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
helloword
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '1chelloword' testfile 
helloword
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '$chelloword' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
helloword

f ）整合文件

复制代码

[root@qingdeng shell]# vim numfile1
1
5
6
[root@qingdeng shell]# vim numfile2
2
3
4
[root@qingdeng shell]# sed '1rnumfile2' numfile1
[root@qingdeng shell]# sed '1Rnumfile2' numfile1

g ）保存处理结果

复制代码

[root@qingdeng shell]# sed '/root/w file' testfile
[root@qingdeng shell]# cat file
root:x:0:0:root:/root:/bin/bash

3.3.特殊符号的使用

示例！

复制代码

[root@qingdeng shell]# sed '/root/!p' testfile 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

示例 =

复制代码

[root@qingdeng shell]# sed '=' testfile 
1
root:x:0:0:root:/root:/bin/bash
2
bin:x:1:1:bin:/bin:/sbin/nologin
3
daemon:x:2:2:daemon:/sbin:/sbin/nologin
4
adm:x:3:4:adm:/var/adm:/sbin/nologin
5
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

示例 &

复制代码

[root@qingdeng shell]# sed 's/:/^&^/g' testfile 
root^:^x^:^0^:^0^:^root^:^/root^:^/bin/bash
bin^:^x^:^1^:^1^:^bin^:^/bin^:^/sbin/nologin
daemon^:^x^:^2^:^2^:^daemon^:^/sbin^:^/sbin/nologin
adm^:^x^:^3^:^4^:^adm^:^/var/adm^:^/sbin/nologin
lp^:^x^:^4^:^7^:^lp^:^/var/spool/lpd^:^/sbin/nologin

示例；

复制代码

[root@qingdeng shell]# sed '1p;2p' testfile 
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

示例 {}

复制代码

[root@qingdeng shell]# sed '1,3p;1,3=' testfile 
root:x:0:0:root:/root:/bin/bash
1
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
2
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
3
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@qingdeng shell]# sed '1,3{p;=}' testfile 
root:x:0:0:root:/root:/bin/bash
1
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
2
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
3
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

示例 +

复制代码

[root@qingdeng shell]# sed '1,+1p' testfile 
root:x:0:0:root:/root:/bin/bash
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

四.综合训练

4.1. 给定一个文件 , 要求在文件每一行前加入行号并用空格隔开内容

复制代码

[root@qingdeng shell]# sed '=' testfile |sed 'N;s/\n/ /g'
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin
5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

4.2. 给定文件按要求完成文件内容

复制代码

[root@qingdeng shell]# sed -r 's/([0-9]{3})(.*)([0-9]{3})/\3\2\1/' b.txt |tr -s '[a-z]' '[A-Z]'
456ABC123
123DEF456
789ABC567
567DEF789