python 分佈式進程體驗

  抽了點時間體驗了一把python 分佈式進程,有點像分佈式計算的意思,不過我現在還沒有這個需求,先把簡單體驗的腳本發出來,供路過的各位高手指教

注:需要先下載multiprocessing 的python包支持才行。

管理端:

cat  task_manager.py  

#!/usr/bin/env python

#coding:utf8




import random,time,Queue,json

from multiprocessing.managers import BaseManager




#發送任務的隊列:


task_queue = Queue.Queue()


#接收結果的隊列:


result_queue = Queue.Queue()


#從BaseManager 繼承的QueueManager:

class QueueManager(BaseManager):

pass



#把兩個Queue 都注岫到網絡上,callable 參數關聯了Queue對象:

QueueManager.register('get_task_queue',callable=lambda:task_queue)

QueueManager.register('get_result_queue',callable=lambda:result_queue)


#綁定端口5000 設置驗證碼'123456'


manager = QueueManager(address=('',5000),authkey='123456')


#啓動Queue:

manager.start()


#獲得通過網絡訪問的Queue對象:

task = manager.get_task_queue()

result = manager.get_result_queue()


#放任務進去:

print 'put tasks ........'

shell_cmd = ['date','hostname','uptime']

print 'Put task \033[1;31;2m [%s] \033[0m..' %shell_cmd


while True:

print 'get result.....'

task.put(shell_cmd)

r = result.get()

print 'Result:\033[1;32;40m %s \033[0m...' %r


manager.shutdown()


客戶端:


#!/usr/bin/env python

#coding:utf8


import time,sys,Queue,os,commands

from multiprocessing.managers import BaseManager


#創建類似的QueueManager:

class QueueManager(BaseManager):

pass



#由於這個queuemanager 只從網絡上獲取queue,所以註冊時只提供名字:

QueueManager.register('get_task_queue')

QueueManager.register('get_result_queue')


#連接到服務器 也就是迍務器

server_addr = '10.1.10.15'

print 'Connect to server %s...' %server_addr


#端口和驗證碼注意保持與taskmanager.py的一致

m = QueueManager(address=(server_addr,5000),authkey='123456')

#從網絡連接

m.connect()

#獲取Queue的對象

task = m.get_task_queue()

result = m.get_result_queue()


#從task隊列取作務,並把結果寫處result隊列


n = task.get(timeout=1)

print n,type(n)


s,v =commands.getstatusoutput("ifconfig  | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'")

r_dic = {v:[]}

for i in n:


print 'run task \033[1;36;40m %s \033[0m' %i

r = os.popen(i).read().split('\n')[:-1]

r_dic[v].append(r)

time.sleep(1)

result.put(r_dic)

print r_dic

#處理結束:

print 'worker exit.'


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章