大數據中常用腳本--sort（一）

1.簡介

1.1國際慣例

按照國際慣例先來理論的介紹。

sort是在Linux裏非常常用的一個命令，管排序的。工作原理：sort將文件的每一行作爲一個單位，相互比較，比較原則是從首字符向後，依次按ASCII碼值進行比較，最後將他們按升序輸出。在其中我們會遇到需要數值排序的，別急，慢慢來，都是乾貨。

2.常用選項

2.1 sort的-u選項

它的作用很簡單，就是在輸出行中去除重複行。

[rocrocket@rocrocket programming]$ cat seq.txt
banana
apple
pear
orange
pear
[rocrocket@rocrocket programming]$ sort seq.txt
apple
banana
orange
pear
pear
[rocrocket@rocrocket programming]$ sort -u seq.txt
apple
banana
orange
pear

pear由於重複被-u選項無情的刪除了。

2.2 sort的-r選項

sort默認的排序方式是升序，如果想改成降序，就加個-r就搞定了。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort number.txt
1
2
3
4
5
[rocrocket@rocrocket programming]$ sort -r number.txt
5
4
3
2
1

2.3 sort的-o選項

由於sort默認是把結果輸出到標準輸出，所以需要用重定向才能將結果寫入文件，形如sort filename > newfile。但是，如果你想把排序結果輸出到原文件中，用重定向可就不行了。就在這個時候，-o選項出現了，它成功的解決了這個問題，讓你放心的將結果寫入原文件。這或許也是-o比重定向的唯一優勢所在。

[rocrocket@rocrocket programming]$ cat number.txt
1
3
5
2
4
[rocrocket@rocrocket programming]$ sort -r number.txt -o number.txt
[rocrocket@rocrocket programming]$ cat number.txt
5
4
3
2
1

2.4 sort的-n選項

遇到過10比2小的情況。我反正遇到過。出現這種情況是由於排序程序將這些數字按字符來排序了，排序程序會先比較1和2，顯然1小，所以就將10放在2前面嘍。這也是sort的一貫作風。這就是之前文開頭說的。就要使用-n選項，來告訴sort，“要以數值來排序”！

[rocrocket@rocrocket programming]$ cat number.txt
1
10
19
11
2
5
[rocrocket@rocrocket programming]$ sort number.txt
1
10
11
19
2
5
[rocrocket@rocrocket programming]$ sort -n number.txt
1
2
5
10
11
19

2.5 sort的-t選項和-k

-f會將小寫字母都轉換爲大寫字母來進行比較，亦即忽略大小寫

-c會檢查文件是否已排好序，如果亂序，則輸出第一個亂序的行的相關信息，最後返回1

-C會檢查文件是否已排好序，如果亂序，不輸出內容，僅返回1

-M會以月份來排序，比如JAN小於FEB等等

-b會忽略每一行前面的所有空白部分，從第一個可見字符開始比較。

這個文件有三列，列與列之間用冒號隔開了，第一列表示水果類型，第二列表示水果數量，第三列表示水果價格。

那麼我想以水果數量來排序，也就是以第二列來排序，如何利用sort實現？

幸好，sort提供了-t選項，後面可以設定間隔符。（是不是想起了cut和paste的-d選項，共鳴～～）

指定了間隔符之後，就可以用-k來指定列數了。

例如：我們使用冒號作爲間隔符，並針對第二列來進行數值升序排序。

[rocrocket@rocrocket programming]$ cat facebook.txt
banana:30:5.5
apple:10:2.5
pear:90:2.3
orange:20:3.4
[rocrocket@rocrocket programming]$ sort -n -k 2 -t : facebook.txt
apple:10:2.5
orange:20:3.4
banana:30:5.5
pear:90:2.3

2.6 sort的其他選項

-f會將小寫字母都轉換爲大寫字母來進行比較，亦即忽略大小寫

-c會檢查文件是否已排好序，如果亂序，則輸出第一個亂序的行的相關信息，最後返回1

-C會檢查文件是否已排好序，如果亂序，不輸出內容，僅返回1

-M會以月份來排序，比如JAN小於FEB等等

-b會忽略每一行前面的所有空白部分，從第一個可見字符開始比較。