python調用系統本地程序

1. os.system(cmdtext)

os.system() 函數可以將字符串轉化成命令在服務器上運行；返回執行程序的退出狀態碼。其原理是每一條 system 函數執行時，其會創建一個子進程在系統上執行命令行，子進程的執行結果無法影響主進程。

import os

os.system('cd /usr/local && mkdir aaa.txt')
# or
os.system('cd /usr/local ; mkdir aaa.txt')

os.system()默認阻塞當前程序執行，在 Windows 命令前加入 start可不阻塞當前程序執行。如下：

import os

os.system('start ping www.baidu.com -t')

Linux系統shell後加入&

import os

os.system('ping www.baidu.com -t &')

2. os.popen(cmd)

如果想獲取控制檯輸出的內容，那就用os.popen()方法了，popen返回的是一個file對象，跟open打開文件一樣操作了，r是以讀的方式打開。

import os

p = os.popen('ping www.baidu.com')
x = p.read()
print(x)
p.close()

3. subprocess模塊（重點）

subprocess模塊是在2.4版本中新增的，它允許你生成新的進程，連接到它們的 input/output/error 管道，並獲取它們的返回（狀態）碼。官方文檔中描述爲可以用來替換以下函數：
os.system、os.spawn、os.popen、popen2

3.1 subprocess模塊中的常用函數

函數	描述
subprocess.run()	Python 3.5中新增的函數。執行指定的命令，等待命令執行完成後返回一個包含執行結果的CompletedProcess類的實例。
subprocess.call()	執行指定的命令，返回命令執行狀態，其功能類似於os.system(cmd)。
subprocess.check_call()	Python 2.5中新增的函數。執行指定的命令，如果執行成功則返回狀態碼，否則拋出異常。其功能等價於subprocess.run(…, check=True)。
subprocess.check_output()	Python 2.7中新增的的函數。執行指定的命令，如果執行狀態碼爲0則返回命令執行結果，否則拋出異常。
subprocess.getoutput(cmd)	接收字符串格式的命令，執行命令並返回執行結果，其功能類似於os.popen(cmd).read()和commands.getoutput(cmd)。
subprocess.getstatusoutput(cmd)	執行cmd命令，返回一個元組(命令執行狀態, 命令執行結果輸出)，其功能類似於commands.getstatusoutput()。

說明：

在Python 3.5之後的版本中，官方文檔中提倡通過subprocess.run()函數替代其他函數來使用subproccess模塊的功能；

在Python 3.5之前的版本中，我們可以通過subprocess.call()，subprocess.getoutput()等上面列出的其他函數來使用subprocess模塊的功能；

subprocess.run()、subprocess.call()、subprocess.check_call()和subprocess.check_output()都是通過對subprocess.Popen的封裝來實現的高級函數，因此如果我們需要更復雜功能時，可以通過subprocess.Popen來完成。

subprocess.getoutput()和subprocess.getstatusoutput()函數是來自Python 2.x的commands模塊的兩個遺留函數。它們隱式的調用系統shell，並且不保證其他函數所具有的安全性和異常處理的一致性。另外，它們從Python 3.3.4開始才支持Windows平臺。

函數參數列表：

subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, shell=False, timeout=None, check=False, universal_newlines=False)

subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)

subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False, timeout=None)

subprocess.getstatusoutput(cmd)

subprocess.getoutput(cmd)

參數說明：

args：要執行的shell命令，默認應該是一個字符串序列，如[‘df’, ‘-Th’]或(‘df’, ‘-Th’)，也可以是一個字符串，如’df -Th’，但是此時需要把shell參數的值置爲True。
shell：如果shellTrue，那麼指定的命令將通過shell執行。如果我們需要訪問某些shell的特性，如管道、文件名通配符、環境變量擴展功能，這將是非常有用的。當然，python本身也提供了許多類似shell的特性的實現，如glob、fnmatch、os.walk()、os.path.expandvars()、os.expanduser()和shutil等。
check：如果check=True，且執行命令的進程以非0狀態碼退出，則會拋出一個CalledProcessError的異常，且該異常對象會包含參數、退出狀態碼、以及stdout和stderr(如果它們有被捕獲的話)。
stdout, stderr：input：該參數是傳遞給Popen.communicate()，通常該參數的值必須是一個字節序列，如果universal_newlines=True，則其值應該是一個字符串。
- run()函數默認不會捕獲命令執行結果的正常輸出和錯誤輸出，如果我們向獲取這些內容需要傳遞subprocess.PIPE，然後可以通過返回的CompletedProcess類實例的stdout和stderr屬性或捕獲相應的內容；
- call()和check_call()函數返回的是命令執行的狀態碼，而不是CompletedProcess類實例，所以對於它們而言，stdout和stderr不適合賦值爲subprocess.PIPE；
- check_output()函數默認就會返回命令執行結果，所以不用設置stdout的值，如果我們希望在結果中捕獲錯誤信息，可以執行stderr=subprocess.STDOUT。
universal_newlines：該參數影響的是輸入與輸出的數據格式，比如它的值默認爲False，此時stdout和stderr的輸出是字節序列；當該參數的值設置爲True時，stdout和stderr的輸出是字符串。

subprocess.CompletedProcess類介紹

subprocess.run()函數是Python3.5中新增的一個高級函數，其返回值是一個subprocess.CompletedPorcess類的實例，因此，subprocess.completedPorcess類也是Python 3.5中才存在的。它表示的是一個已結束進程的狀態信息。

屬性列表：

args：用於加載該進程的參數，這可能是一個列表或一個字符串
returncode：子進程的退出狀態碼。通常情況下，退出狀態碼爲0則表示進程成功運行了；一個負值-N表示這個子進程被信號N終止了
stdout，stderr：從子進程捕獲的stdout。這通常是一個字節序列，如果run()函數被調用時指定universal_newlines=True，則該屬性值是一個字符串。如果run()函數被調用時指定stderr=subprocess.STDOUT，那麼stdout和stderr將會被整合到這一個屬性中，且stderr將會爲None
check_returncode()：如果returncode是一個非0值，則該方法會拋出一個CalledProcessError異常。

實例
subprocess.run()

>>> subprocess.run(["ls", "-l"])  # doesn't capture output
CompletedProcess(args=['ls', '-l'], returncode=0)

>>> subprocess.run("exit 1", shell=True, check=True)
Traceback (most recent call last):
  ...
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

>>> subprocess.run(["ls", "-l", "/dev/null"], stdout=subprocess.PIPE)
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n')

subprocess.call()

>>> subprocess.call(['ls',  '-l'])
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> subprocess.call('ls -l', shell=True)
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> subprocess.call(['ls',  '-l'], stdout=subprocess.DEVNULL)
>>> subprocess.call(['ls',  '-l', '/test'])
ls: 無法訪問/test: 沒有那個文件或目錄

suprocess.check_call()

>>> subprocess.check_call(['ls',  '-l'])
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> subprocess.check_call('ls -l', shell=True)
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> subprocess.check_call('ls -l /test', shell=True)
ls: 無法訪問/test: 沒有那個文件或目錄
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.4/subprocess.py", line 557, in check_call
    raise CalledProcessError(retcode, cmd)
subprocess.CalledProcessError: Command 'ls -l /test' returned non-zero exit status 2

sbuprocess.check_output()

>>> ret = subprocess.check_output(['ls',  '-l'])
>>> print(ret)
b' \xe5\x85\xac\xe5\x85\xb1\xe7\x9a\x84\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe6\xa8\xa1\xe6\x9d\xbf\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe8\xa7\x86\xe9\xa2\x91\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe5\x9b\xbe\xe7\x89\x87\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe6\x96\x87\xe6\xa1\xa3\ndrwxr-xr-x  2 wader wader   4096  4\xe6\x9c\x88 13  2016 \xe4\xb8\x8b\xe8\xbd\xbd\ndrwxr-xr-x  2 wader wader   4096 12\xe6\x9c\x88  7  2015 \xe9\x9f\xb3\xe4\xb9\x90\ndrwxr-xr-x  7 wader wader   4096  5\xe6\x9c\x88 26  2016 \xe6\xa1\x8c\xe9\x9d\xa2\n'

>>> ret = subprocess.check_output(['ls',  '-l'], universal_newlines=True)
>>> print(ret)
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面

subprocess.getoutput()與subprocess.getstatusoutput()

>>> ret = subprocess.getoutput('ls -l')
>>> print(ret)
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> retcode, output = subprocess.getstatusoutput('ls -l')
>>> print(retcode)
>>> print(output)
總用量 160
drwxr-xr-x  2 wader wader   4096 12月  7  2015 公共的
drwxr-xr-x  2 wader wader   4096 12月  7  2015 模板
drwxr-xr-x  2 wader wader   4096 12月  7  2015 視頻
drwxr-xr-x  2 wader wader   4096 12月  7  2015 圖片
drwxr-xr-x  2 wader wader   4096 12月  7  2015 文檔
drwxr-xr-x  2 wader wader   4096  4月 13  2016 下載
drwxr-xr-x  2 wader wader   4096 12月  7  2015 音樂
drwxr-xr-x  7 wader wader   4096  5月 26  2016 桌面
>>> retcode, output = subprocess.getstatusoutput('ls -l /test')
>>> print(retcode)
>>> print(output)
ls: 無法訪問/test: 沒有那個文件或目錄

3.2 subprocess.Popen

說明

該類用於在一個新的進程中執行一個子程序。前面我們提到過，前面介紹的這些函數都是基於subprocess.Popen類實現的，通過使用這些被封裝後的高級函數可以很方面的完成一些常見的需求。由於subprocess模塊底層的進程創建和管理是由Popen類來處理的，因此，當我們無法通過上面那些高級函數來實現一些不太常見的功能時就可以通過subprocess.Popen類提供的靈活的api來完成。

subprocess.Popen的構造函數

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, 
    preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,
    startup_info=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=())

參數說明：

args：要執行的shell命令，可以是字符串，也可以是命令各個參數組成的序列。當該參數的值是一個字符串時，該命令的解釋過程是與平臺相關的，因此通常建議將args參數作爲一個序列傳遞。
bufsize：指定緩存策略，0表示不緩衝，1表示行緩衝，其他大於1的數字表示緩衝區大小，負數表示使用系統默認緩衝策略。
stdin, stdout, stderr：分別表示程序標準輸入、輸出、錯誤句柄。
preexec_fn：用於指定一個將在子進程運行之前被調用的可執行對象，只在Unix平臺下有效。
close_fds：如果該參數的值爲True，則除了0,1和2之外的所有文件描述符都將會在子進程執行之前被關閉。
shell：該參數用於標識是否使用shell作爲要執行的程序，如果shell值爲True，則建議將args參數作爲一個字符串傳遞而不要作爲一個序列傳遞。
cwd：如果該參數值不是None，則該函數將會在執行這個子進程之前改變當前工作目錄。
env：用於指定子進程的環境變量，如果env=None，那麼子進程的環境變量將從父進程中繼承。
universal_newlines：如果該參數值爲True，則該文件對象的stdin，stdout和stderr將會作爲文本流被打開，否則他們將會被作爲二進制流被打開。
startupinfo和creationflags：這兩個參數只在Windows下有效，它們將被傳遞給底層的CreateProcess()函數，用於設置子進程的一些屬性，如主窗口的外觀，進程優先級等。

subprocess.Popen類的實例可調用的方法

方法	描述
Popen.poll()	用於檢查子進程（命令）是否已經執行結束，沒結束返回None，結束後返回狀態碼。
Popen.wait(timeout=None)	等待子進程結束，並返回狀態碼；如果在timeout指定的秒數之後進程還沒有結束，將會拋出一個TimeoutExpired異常。
Popen.communicate(input=None, timeout=None)	該方法可用來與進程進行交互，比如發送數據到stdin，從stdout和stderr讀取數據，直到到達文件末尾。
Popen.send_signal(signal)	發送指定的信號給這個子進程。
Popen.terminate()	停止該子進程。
Popen.kill()	殺死該子進程。

關於communicate()方法的說明：

該方法中的可選參數 input 應該是將被髮送給子進程的數據，或者如沒有數據發送給子進程，該參數應該是None。input參數的數據類型必須是字節串，如果universal_newlines參數值爲True，則input參數的數據類型必須是字符串。

該方法返回一個元組(stdout_data, stderr_data)，這些數據將會是字節穿或字符串（如果universal_newlines的值爲True）。

如果在timeout指定的秒數後該進程還沒有結束，將會拋出一個TimeoutExpired異常。捕獲這個異常，然後重新嘗試通信不會丟失任何輸出的數據。但是超時之後子進程並沒有被殺死，爲了合理的清除相應的內容，一個好的應用應該手動殺死這個子進程來結束通信。

需要注意的是，這裏讀取的數據是緩衝在內存中的，所以，如果數據大小非常大或者是無限的，就不應該使用這個方法。

subprocess.Popen使用實例
實例1

>>> import subprocess
>>>
>>> p = subprocess.Popen('df -Th', stdout=subprocess.PIPE, shell=True)
>>> print(p.stdout.read())
Filesystem     Type      Size  Used Avail Use% Mounted on
/dev/vda1      ext4       40G   12G   26G  31% /
devtmpfs       devtmpfs  3.9G     0  3.9G   0% /dev
tmpfs          tmpfs     3.9G     0  3.9G   0% /dev/shm
tmpfs          tmpfs     3.9G  386M  3.5G  10% /run
tmpfs          tmpfs     3.9G     0  3.9G   0% /sys/fs/cgroup
tmpfs          tmpfs     783M     0  783M   0% /run/user/0
tmpfs          tmpfs     783M     0  783M   0% /run/user/1000

實例2：

>>> obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
>>> obj.stdin.write('print(1) \n')
>>> obj.stdin.write('print(2) \n')
>>> obj.stdin.write('print(3) \n')
>>> out,err = obj.communicate()
>>> print(out)
2

>>> print(err)

實例3：

>>> obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
>>> out,err = obj.communicate(input='print(1) \n')
>>> print(out)

>>> print(err)

實例4：
實現類似df -Th | grep data命令的功能，實際上就是實現shell中管道的共功能。

>>> 
>>> p1 = subprocess.Popen(['df', '-Th'], stdout=subprocess.PIPE)
>>> p2 = subprocess.Popen(['grep', 'data'], stdin=p1.stdout, stdout=subprocess.PIPE)
>>> out,err = p2.communicate()
>>> print(out)
/dev/vdb1      ext4      493G  4.8G  463G   2% /data
/dev/vdd1      ext4     1008G  420G  537G  44% /data1
/dev/vde1      ext4      985G  503G  432G  54% /data2

>>> print(err)
None

4. 總結

那麼我們到底該用哪個模塊、哪個函數來執行命令與系統及系統進行交互呢？下面我們來做個總結：

首先應該知道的是，Python2.4版本引入了subprocess模塊用來替換os.system()、os.popen()、os.spawn*()等函數以及commands模塊；也就是說如果你使用的是Python 2.4及以上的版本就應該使用subprocess模塊了。
如果你的應用使用的Python 2.4以上，但是是Python 3.5以下的版本，Python官方給出的建議是使用subprocess.call()函數。Python 2.5中新增了一個subprocess.check_call()函數，Python 2.7中新增了一個subprocess.check_output()函數，這兩個函數也可以按照需求進行使用。
如果你的應用使用的是Python 3.5及以上的版本，Python官方給出的建議是儘量使用subprocess.run()函數。
當subprocess.call()、subprocess.check_call()、subprocess.check_output()和subprocess.run()這些高級函數無法滿足需求時，我們可以使用subprocess.Popen類來實現我們需要的複雜功能。

python調用系統本地程序

1. os.system(cmdtext)

2. os.popen(cmd)

3. subprocess模塊（重點）

3.1 subprocess模塊中的常用函數

3.2 subprocess.Popen

4. 總結

CentOS 安裝 Hadoop

Python使用presto

Centos 安裝R語言環境 3.6

JAVA 6 ~ 13 新特性總結

NetCDF簡介

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結