數據分析文件操作的命令行

wc -- 統計

sort -- 排序

uniq -- 去重

$ sort file.txt | uniq -c | sort -nr | head -5


select word, count(1) cnt from file group by word order by cnt desc limit 5;


gzip/tar -- 壓縮工具

cat/zcat -- 文件查看

less/more -- 文件查看,支持gz壓縮格式直接查看

head/tail -- 查看文件頭和尾

du -h -c -s -- 查看空間佔用


awk -- 數據庫操作工具

join/cut/paste -- 關聯文件/切分字段/合併文件

fgrep/grep/egrep -- 全局正則表達式查找

find -- 查找文件,並且對查找結果批量化執行任務

sed -- 流編輯器,批量修改、替換文件

split -- 對大文件進行切分處理,按多少行一個文件,或者多少字節一個文件

rename -- 批量重命名


zcat -- 直接查看壓縮文件中的文件內容

zgrep/zfgrep/zegrep -- 在壓縮文件中直接查找


date -- 時間日期操作

sort/uniq -- 排序、去重統計

comm -- 對兩個排序文件進行比較(共同行、只出現在左邊文件、只出現在右邊文件)

diff -- 逐字符比較文件的異同,配合cdiff,類似於github的顯示效果

curl/w3m/httpie -- 命令行下進行網絡請求

iconv -- 文件編碼轉換

seq -- 生成連續的序列,用於for循環


shell判斷和循環

if [ ]; then
    pass
fi


while
do
    pass
done


for i in xxxxx
do
    pass
done


執行長時間的任務,使用nohup




命令組合的使用

1  刪除0字節文件    find . -type f -size 0 -exec rm -rf {} \;   

            find . type f -size 0 -delete

2  查看進程,按內存從大到小排列  ps -e -o “%C : %p : %z : %a”|sort -k5 -nr

3  按cpu利用率從大到小排列  ps -e -o “%C : %p : %z : %a”|sort -nr

4  打印說cache裏的URL  grep -r -a jpg /data/cache/* | strings | grep “http:” | awk -F’http:’ ‘{print “http:”$2;}’

5  查看http的併發請求數及其TCP連接狀態  netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

6  sed在這個文裏Root的一行,匹配Root一行,將no替換成yes。  sed -i ‘/Root/s/no/yes/’ /etc/ssh/sshd_config

7  如何殺掉mysql進程  ps aux |grep mysql |grep -v grep  |awk ‘{print $2}’ |xargs kill -9

               killall -TERM mysqld

               kill -9 `cat /usr/local/apache2/logs/httpd.pid`

8  顯示運行3級別開啓的服務(從中瞭解到cut的用途,截取數據)  ls /etc/rc3.d/S* |cut -c 15-

9  如何在編寫SHELL顯示多個信息,用EOFcat << EOF

+————————————————————–+

|   === Welcome to Tunoff services ===                         |

+————————————————————–+

EOF

10  for的用法(如給mysql建軟鏈接)cd /usr/local/mysql/bin

for i in *

do ln /usr/local/mysql/bin/$i /usr/bin/$i

done

11  取IP地址  ifconfig eth0 |grep “inet addr:” |awk ‘{print $2}’|cut -c 6-

        ifconfig | grep ‘inet addr:’| grep -v ’127.0.0.1′ |cut -d: -f2 | awk ‘{ print $1}’

12  內存的大小  free -m |grep “Mem” | awk ‘{print $2}’

13  查看80端口的連接,並排序  netstat -an -t | grep “:80″ | grep ESTABLISHED | awk ‘{printf “%s %s\n”,$5,$6}’ | sort

14  查看Apache的併發請求數及其TCP連接狀態  netstat -n | awk ‘/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}’

15  統計一下服務器下面所有的jpg的文件的大小  find / -name *.jpg -exec wc -c {} \;|awk ‘{print $1}’|awk ‘{a+=$1}END{print a}’

16  CPU的數量  cat /proc/cpuinfo |grep -c processor

17  CPU負載  cat /proc/loadavg

18  CPU負載  mpstat 1 1

19  內存空間  free

20  磁盤空間  df -h

21  如發現某個分區空間接近用盡,可以進入該分區的掛載點,用以下命令找出佔用空間最多的文件或目錄  du -cks * | sort -rn | head -n 10

22  磁盤I/O負載  iostat -x 1 2

23  網絡負載  sar -n DEV

24  網絡錯誤  netstat -i

        cat /proc/net/dev

25  網絡連接數目  netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n

26  進程總數  ps aux | wc -l

27  查看進程樹  ps aufx

28  可運行進程數目  vmwtat 1 5

29  檢查DNS Server工作是否正常,這裏以61.139.2.69爲例  dig www.baidu.com @61.139.2.69

30  檢查當前登錄的用戶個數  who | wc -l

31  日誌查看、搜索   cat /var/log/rflogview/*errors

            grep -i error /var/log/messages

            grep -i fail /var/log/messages

            tail -f -n 2000 /var/log/messages

32  內核日誌  dmesg

33  時間  date

34  已經打開的句柄數  lsof | wc -l

35  網絡抓包,直接輸出摘要信息到文件。  tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts

36  然後檢查IP的重複數 並從小到大排序 注意 “-t\  +0″ 中間是兩個空格,less命令的用法。less pkts | awk {‘printf $3″\n”‘} | cut -d. -f 1-4 | sort | uniq -c | awk {‘printf $1″ “$2″\n”‘} | sort -n -t\  +0

37  kudzu查看網卡型號  kudzu –probe –class=network
























發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章