Linux Shell編程四劍客-sed

功能說明

Sed是Strem Editor(流編輯器)縮寫，是操作、過濾和轉換文本內容的強大工具。常用功能有增刪改查，過濾，取行。

[root@oldboy ~]# sed --version  #→ sed軟件版本GNU sed version 4.2.1

語法格式

1. sed [options] [sed-commands] [input-file]

2. sed [選項]     [sed命令]      [輸入文件]

3. sed命令還可以包括：地址範圍+命令，命令可以用{}括起來，整個sed命令用單引號或者雙引號括起來
   

4. 說明：

5. 1. 注意sed和後面的選項之間至少有一個空格。

6. 2. 爲了避免混淆，本文稱呼sed爲sed軟件。sed-commands(sed命令)是sed軟件內置的一些命令選項，爲了和前面的options(選項)區分，故稱爲sed命令。

7. 3. sed-commands既可以是單個sed命令，也可以是多個sed命令組合,用分號分隔命令。

8. 4. input-file(輸入文件)是可選項，sed還能夠從標準輸入如管道獲取輸入。

命令執行流程

概括流程：Sed軟件從文件或管道中讀取一行，處理一行，輸出一行；再讀取一行，再處理一行，再輸出一行……

模式空間:sed軟件內部的一個臨時緩存，用於存放讀取到的內容。

使用範例

1. 統一實驗文本

1. # 創建包含下面內容的文件，後面的操作都會使用這個文件。

2. 
   

3. [root@oldboy ~]# cat person.txt

4. 101,oldboy,CEO

5. 102,zhangyao,CTO

6. 103,Alex,COO

7. 104,yy,CFO

8. 105,feixue,CIO

2. 增刪改查

• a 追加文本到指定行後

• i 插入文本到指定行前

2.1 增

2.1.1 單行增加

1. [root@oldboy ~]# sed '2a 106,dandan,CSO' person.txt

2. 101,oldboy,CEO

3. 102,zhangyao,CTO

4. 106,dandan,CSO

5. 103,Alex,COO

6. 104,yy,CFO

7. 105,feixue,CIO

8. 
   

9. [root@oldboy ~]# sed '2i 106,dandan,CSO' person.txt

10. 101,oldboy,CEO

11. 106,dandan,CSO

12. 102,zhangyao,CTO

13. 103,Alex,COO

14. 104,yy,CFO

15. 105,feixue,CIO

2.1.2 多行增加

1. [root@oldboy ~]# sed '2a 106,dandan,CSO\n107,bingbing,CCO' person.txt

2. 101,oldboy,CEO

3. 102,zhangyao,CTO

4. 106,dandan,CSO #→第1種寫法

5. 107,bingbing,CCO

6. 103,Alex,COO

7. 104,yy,CFO

8. 105,feixue,CIO

9. 
   

10. [root@oldboy ~]# sed '2a 106,dandan,CSO \

11. > 107,bingbing,CCO' person.txt

12. 101,oldboy,CEO

13. 102,zhangyao,CTO

14. 106,dandan,CSO #→第2種寫法

15. 107,bingbing,CCO

16. 103,Alex,COO

17. 104,yy,CFO

18. 105,feixue,CIO

19. 
    

20. #→sed命令i的使用方法是一樣的，因此不再列出。

企業案例1：優化SSH配置（一鍵完成增加若干參數）

在我們學習系統優化時，有一個優化點：更改ssh服務遠程登錄的配置。主要的操作是在ssh的配置文件加入下面5行文本。(下面參數的具體含義見其他課程。)

Port 52113PermitRootLogin noPermitEmptyPasswords noUseDNS noGSSAPIAuthentication no

我們可以使用vi命令編輯這個文本，但這樣就比較麻煩，現在想一條命令增加5行文本到第13行前？

指定執行的地址範圍

1. sed軟件可以對單行或多行進行處理。如果在sed命令前面不指定地址範圍，那麼默認會匹配所有行。

2. 
   

3. 用法：n1[,n2]{sed-commands}

4. 
   

5. 地址用逗號分隔的，n1,n2可以用數字、正則表達式、或二者的組合表示。

6. 
   

7. 例子：

8. 　　　10{sed-commands}        對第10行操作

9. 　　　10,20{sed-commands}     對10到20行操作,包括第10,20行

10. 　　　10，+20{sed-commands}   對10到30(10+20)行操作,包括第10,30行

11. 　　　1~2{sed-commands}       對1,3,5,7,……行操作

12. 　　　10，${sed-commands}     對10到最後一行($代表最後一行)操作,包括第10行

13.    /oldboy/{sed-commands}         對匹配oldboy的行操作

14.    /oldboy/,/Alex/{sed-commands}  對匹配oldboy的行到匹配Alex的行操作

15.    /oldboy/,${sed-commands}       對匹配oldboy的行到最後一行操作

16.    /oldboy/,10{sed-commands}      對匹配oldboy的行到第10行操作，注意：如果前10行沒有匹配到oldboy，sed軟件會顯示10行以後的匹配oldboy的行，如果有。

17.    1,/Alex/{sed-commands}         對第1行到匹配Alex的行操作

18.    /oldboy/,+2{sed-commands}      對匹配oldboy的行到其後的2行操作

2.2 刪

d 刪除指定的行

1. [root@oldboy ~]# sed 'd' person.txt

2. [root@oldboy ~]#

3. 
   

4. [root@oldboy ~]# sed '2d' person.txt

5. 101,oldboy,CEO

6. 103,Alex,COO

7. 104,yy,CFO

8. 105,feixue,CIO

9. 
   

10. [root@oldboy ~]# sed '2,5d' person.txt

11. 101,oldboy,CEO

12. 
    

13. [root@oldboy ~]# sed '3,$d' person.txt

14. 101,oldboy,CEO

15. 102,zhangyao,CTO

16. 
    

17. [root@oldboy ~]# sed '1~2d' person.txt

18. 102,zhangyao,CTO

19. 104,yy,CFO

20. 
    

21. [root@oldboy ~]# sed  '1,+2d' person.txt

22. 104,yy,CFO

23. 105,feixue,CIO

24. 
    

25. [root@oldboy ~]# sed '/zhangyao/d' person.txt

26. 101,oldboy,CEO

27. 103,Alex,COO

28. 104,yy,CFO

29. 105,feixue,CIO

30. 
    

31. [root@oldboy ~]# sed '/oldboy/,/Alex/d' person.txt

32. 104,yy,CFO

33. 105,feixue,CIO

34. 
    

35. [root@oldboy ~]# sed '/oldboy/,3d' person.txt

36. 104,yy,CFO

37. 105,feixue,CIO

企業案例2：打印文件內容但不包含oldboy

[root@oldboy ~]# sed '/oldboy/d' person.txt #→刪除包含"oldboy"的行
102,zhangyao,CTO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

2.3 改

2.3.1 按行替換

c 用新行取代舊行

[root@oldboy ~]# sed '2c 106,dandan,CSO' person.txt
101,oldboy,CEO
106,dandan,CSO
103,Alex,COO
104,yy,CFO
105,feixue,CIO

2.3.2 文本替換

s：單獨使用→將每一行中第一處匹配的字符串進行替換 ==>sed命令
 g：每一行進行全部替換  ==>sed命令s的替換標誌之一，非sed命令
 -i：修改文件內容 ==>sed軟件的選項

sed軟件替換模型(方框▇被替換成三角▲)

sed -i 's/▇/▲/g' oldboy.log
sed -i 's#▇#▲#g' oldboy.log

觀察特點

1. 兩邊是引號，引號裏面的兩邊分別爲s和g，中間是三個一樣的字符/或#作爲定界符。#能在替換內容包含/有助於區別。定界符可以是任意符號如:或|等，但當替換內容包含定界符時，需轉義即: |。經過長期實踐，建議大家使用#作爲定界符。

2. 定界符/或#，第一個和第二個之間的就是被替換的內容，第二個和第三個之間的就是替換後的內容。

3. s#▇#▲#g，▇能用正則表達式，但▲不能用，必須是具體的。

4. 默認sed軟件是對模式空間(內存中的數據)操作，而-i選項會更改磁盤上的文件內容。

1. [root@oldboy ~]# sed 's#zhangyao#oldboyedu#g' person.txt

2. 101,oldboy,CEO

3. 102,oldboyedu,CTO

4. 103,Alex,COO

5. 104,yy,CFO

6. 105,feixue,CIO

7. [root@oldboy ~]# cat person.txt

8. 101,oldboy,CEO

9. 102,zhangyao,CTO

10. 103,Alex,COO

11. 104,yy,CFO

12. 105,feixue,CIO

13. 
    

14. [root@oldboy ~]# sed -i 's#zhangyao#BBB#g' person.txt

15. [root@oldboy ~]# cat person.txt

16. 101,oldboy,CEO

17. 102,BBB,CTO

18. 103,Alex,COO

19. 104,yy,CFO

20. 105,feixue,CIO

21. 
    

22. [root@oldboy ~]# sed -i 's#oldboyedu#zhangyao#g' person.txt #→還原測試文件

企業案例3：指定行修改配置文件

指定行精確修改配置文件，這樣可以防止修改多了地方。

[root@oldboy ~]# sed '3s#0#9#' person.txt
101,oldboy,CEO
102,zhangyao,CTO
193,Alex,COO
104,yy,CFO
105,feixue,CIO

2.3.3 變量替換

[root@oldboy ~]# cat test.txt #→再新建一個文本aba
[root@oldboy ~]# x=a
[root@oldboy ~]# y=b
[root@oldboy ~]# echo $x $y
a
b
[root@oldboy ~]# sed s#$x#$y#g test.txt
b
b
b
[root@oldboy ~]# sed 's#$x#$y#g' test.txt
a
b
a
[root@oldboy ~]# sed 's#'$x'#'$y'#g' test.txt
b
b
b
[root@oldboy ~]# sed "s#$x#$y#g" test.txt
b
b
b
[root@oldboy ~]# eval sed 's#$x#$y#g' test.txt
b
b
b

2.3.4 分組替換\( \)和\1的使用說明

sed軟件的\( \)的功能可以記住正則表達式的一部分，其中，\1爲第一個記住的模式即第一個小括號中的匹配內容，\2第二記住的模式，即第二個小括號中的匹配內容，sed最多可以記住9個。

例：echo I am oldboy teacher.如果想保留這一行的單詞oldboy，刪除剩下的部分，使用圓括號標記想保留的部分。

[root@oldboy ~]# echo I am oldboy teacher. |
sed 's#^.*am \([a-z].*\) tea.*$#\1#g'
oldboy
[root@oldboy ~]# echo I am oldboy teacher. |
sed -r 's#^.*am ([a-z].*) tea.*$#\1#g'
oldboy
[root@oldboy ~]# echo I am oldboy teacher. |
sed -r 's#I (.*) (.*) teacher.#\1\2#g'
amoldboy

命令說明

思路：用oldboy字符替換I am oldboy teacher.

下面解釋用□代替空格

1. ^.*am□ –>這句的意思是以任意字符開頭到am□爲止，匹配文件中的I am□字符串;

2. \([a-z].*\)□–>這句的外殼就是括號\(\），裏面的[a-z]表示匹配26個字母的任何一個，[a-z].*合起來就是匹配任意多個字符，本題來說就是匹配oldboy字符串，由於oldboy字符串是需要保留的,因此用括號括起來匹配，後面通過\1來取oldboy字符串。

3. □tea.*$–>表示以空格tea起始,任意字符結尾，實際就是匹配oldboy字符串後，緊接着的字符串□teacher.;

4. 後面被替換的內容中的\1就是取前面的括號裏的內容了，也就是我們要的oldboy字符串。

5. ()是擴展正則表達式的元字符，sed軟件默認識別基本正則表達式，想要使用擴展正則需要使用\轉義，即\(\）。sed使用-r選項則可以識別擴展正則表達式，此時使用\(\）反而會出錯。

企業案例4：系統開機啓動項優化

[root@oldboy ~]# chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk '{print $1}'|sed -r  's#^(.*)#chkconfig \1 off#g'|bash[root@oldboy ~]# chkconfig --list|grep "3:on"crond           0:off   1:off   2:on    3:on    4:on    5:on    6:offnetwork         0:off   1:off   2:on    3:on    4:on    5:on    6:offrsyslog         0:off   1:off   2:on    3:on    4:on    5:on    6:offsshd            0:off   1:off   2:on    3:on    4:on    5:on    6:offsysstat         0:off   1:on    2:on    3:on    4:on    5:on    6:off

2.3.5 特殊符號&代表被替換的內容

[root@oldboy ~]# sed '1,3s#C#--&--#g' person.txt #→此處&等於C101,oldboy,--C--EO      #→將1到3行的C替換爲--C--102,zhangyao,--C--TO103,yy,--C--OO104,feixue,CFO105,dandan,CIO

企業案例5：批量重命名文件

當前目錄下有文件如下所示：

[root@oldboy test]# lsstu_102999_1_finished.jpg stu_102999_2_finished.jpg stu_102999_3_finished.jpg stu_102999_4_finished.jpg stu_102999_5_finished.jpg

要求用sed命令重命名，效果爲stu_102999_1_finished.jpg==>stu_102999_1.jpg,即刪除文件名的_finished

2.4 查

p 輸出指定內容，但默認會輸出2次匹配的結果，因此使用n取消默認輸出

2.4.1 按行查詢

1. [root@oldboy ~]# sed '2p' person.txt

2. 101,oldboy,CEO

3. 102,zhangyao,CTO

4. 102,zhangyao,CTO

5. 103,Alex,COO

6. 104,yy,CFO

7. 105,feixue,CIO

8. 
   

9. [root@oldboy ~]# sed -n '2p' person.txt

10. 102,zhangyao,CTO

11. 
    

12. [root@oldboy ~]# sed -n '2,3p' person.txt

13. 102,zhangyao,CTO

14. 103,Alex,COO

15. 說明：取行就用sed，最簡單

16. 
    

17. [root@oldboy ~]# sed -n '1~2p' person.txt

18. 101,oldboy,CEO

19. 103,Alex,COO

20. 105,feixue,CIO

21. 
    

22. [root@oldboy ~]# sed -n 'p' person.txt

23. 101,oldboy,CEO

24. 102,zhangyao,CTO

25. 103,yy,COO

26. 104,feixue,CFO

27. 105,dandan,CIO

2.4.2 按字符串查詢

1. [root@oldboy ~]# sed -n '/CTO/p' person.txt

2. 102,zhangyao,CTO

3. 
   

4. [root@oldboy ~]# sed -n '/CTO/,/CFO/p' person.txt

5. 102,zhangyao,CTO

6. 103,Alex,COO

7. 104,yy,CFO

2.4.3 混合查詢

1. [root@oldboy ~]# sed -n '2,/CFO/p' person.txt

2. 102,zhangyao,CTO

3. 103,Alex,COO

4. 104,yy,CFO

5. 
   

6. [root@oldboy ~]# sed -n '/feixue/,2p' person.txt

7. 105,feixue,CIO

8. #→特殊情況，前兩行沒有匹配到feixue，就向後匹配，如果匹配到feixue就打印此行。

以上轉載請註明來源：http://www.zyops.com/commands-sed  ，三劍客之sed行天下

練習：實戰案例

1、打印2-4行並顯示行號

sed -n '2,4{p;=}' person.txt

2、顯示不可見字符，小寫字母L

sed -n 'l' person.txt

3、小寫字母替換爲大寫字母

sed 'y#abc#ABC#' person.txt

4、退出sed q

sed '3q' person.txt

5、從文件讀取數據，合併兩個文件

sed '$r num.txt' person.txt

6、&引用前邊匹配到的所有內容
7、刪除行前的（1個或多個）空格

sed -r 's/^[ ]+//g' file1

8、刪除文件中所以以#開頭，後面至少跟一個空白字符的行的行首的#和空白字符

sed -r 's/^#[ ]+//g' file1

9、echo一個絕對路徑給sed命令，取出其基名，取出其目錄名

dirname /etc/sysconfig/hostname
basename  /etc/sysconfig/hostname

10、讀取偶數行（使用n，sed的高級語法）

sed -n 'n;p' FILE

11、將文件中的行反過來，比如
1
2
3
換成
3
2
1
答案：

sed '1!G;h;$!d'

12、取出文件最後一行

sed '$!d' file

13、取出文件後兩行

sed '$!N,$!D' file

14、每一行後邊加一個空白行

sed 'G' file

15、空白行不變，有數據的行下一行添加一個空白行

sed '/^$/d;G' file

16、讀取基數行

sed 'n;d' file

17、ifconfig篩出IP地址
sed後向引用
awk

1）ifconfig eth0| sed -nr '/inet/s#^.*addr:(.*)  B.*#\1#gp'
2）ifconfig eth0  | awk '/inet/{print $2}' |awk -F: '{print $2}'
3）ifconfig eth0  | awk -F "[ :]+" '/inet/{print $4}'