抽了點時間體驗了一把python 分佈式進程,有點像分佈式計算的意思,不過我現在還沒有這個需求,先把簡單體驗的腳本發出來,供路過的各位高手指教
注:需要先下載multiprocessing 的python包支持才行。
管理端:
cat task_manager.py
#!/usr/bin/env python
#coding:utf8
import random,time,Queue,json
from multiprocessing.managers import BaseManager
#發送任務的隊列:
task_queue = Queue.Queue()
#接收結果的隊列:
result_queue = Queue.Queue()
#從BaseManager 繼承的QueueManager:
class QueueManager(BaseManager):
pass
#把兩個Queue 都注岫到網絡上,callable 參數關聯了Queue對象:
QueueManager.register('get_task_queue',callable=lambda:task_queue)
QueueManager.register('get_result_queue',callable=lambda:result_queue)
#綁定端口5000 設置驗證碼'123456'
manager = QueueManager(address=('',5000),authkey='123456')
#啓動Queue:
manager.start()
#獲得通過網絡訪問的Queue對象:
task = manager.get_task_queue()
result = manager.get_result_queue()
#放任務進去:
print 'put tasks ........'
shell_cmd = ['date','hostname','uptime']
print 'Put task \033[1;31;2m [%s] \033[0m..' %shell_cmd
while True:
print 'get result.....'
task.put(shell_cmd)
r = result.get()
print 'Result:\033[1;32;40m %s \033[0m...' %r
manager.shutdown()
客戶端:
#!/usr/bin/env python
#coding:utf8
import time,sys,Queue,os,commands
from multiprocessing.managers import BaseManager
#創建類似的QueueManager:
class QueueManager(BaseManager):
pass
#由於這個queuemanager 只從網絡上獲取queue,所以註冊時只提供名字:
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
#連接到服務器 也就是迍務器
server_addr = '10.1.10.15'
print 'Connect to server %s...' %server_addr
#端口和驗證碼注意保持與taskmanager.py的一致
m = QueueManager(address=(server_addr,5000),authkey='123456')
#從網絡連接
m.connect()
#獲取Queue的對象
task = m.get_task_queue()
result = m.get_result_queue()
#從task隊列取作務,並把結果寫處result隊列
n = task.get(timeout=1)
print n,type(n)
s,v =commands.getstatusoutput("ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'")
r_dic = {v:[]}
for i in n:
print 'run task \033[1;36;40m %s \033[0m' %i
r = os.popen(i).read().split('\n')[:-1]
r_dic[v].append(r)
time.sleep(1)
result.put(r_dic)
print r_dic
#處理結束:
print 'worker exit.'