django使用celery做異步執行過程

執行過程持續返回

簡要

1. 挑用插件：
    django-celery  jenkins
2. 基於Python版本：
    Python2.7
3. 基於django版本：
    django1.8.18

主要問題：

需要把jenkins代碼發佈的執行過程持續輸出，後臺執行完成後消息數據返回到前臺。

解決方案：

使用django-celery的異步執行操作，把異步執行的數據返回到rabbitmq，從rabbitmq讀取數據寫入數據庫，頁面中返回數據庫的信息，頁面使用定時器，當返回結果不爲失敗或者成功時，5秒刷新頁面，讀取最新的操作內容。

具體代碼如下：

1. django setting.py配置：

    djcelery.setup_loader()
    BROKER_URL = 'amqp://guest:guest@localhost:5672//'
    BROKER_POOL_LIMIT = 0
    #CELERY_TASK_SERIALIZER = 'json'                    （由於設置Json以後輸入也必須要使用Json格式，暫時未啓用）
    #CELERY_RESULT_SERIALIZER = 'json'
    CELERY_ENABLE_UTC = True
    CELERY_RESULT_BACKEND= 'amqp'

    INSTALLED_APPS = (
    'djcelery',
    'app',
    ）

2. django celery.py配置：

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-

    from __future__ import absolute_import
    import os
    from celery import Celery
    from django.conf import settings
    from app.backend.tasks import *
    os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'CMDB.settings')

    app = Celery('CMDB')

    app.config_from_object('django.conf:settings')
    app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

3. app view配置：

    def job_release(request):
        if request.method == 'GET':
            try:
                global job_enable                                 （執行開關，防止多次執行）
                id = request.GET.get('id')                        （獲取指定的ID）
                name =  request.GET.get('name')                    (執行會帶name,返回到執行頁面不會帶name,防止返回被執行)
                all_result = jenkins_return.objects.filter(id=id) （獲取當前執行的項目信息）
                job_name = all_result[0]                          （執行的項目名稱）
                full_name = all_result.values()[0]['full_name']   （執行的項目全稱，jenkins需要指定到子目錄才能build）
            except:
                all_result = job_release_return.objects.filter(id=id)    （返回，或者刷新，還是獲取到當前的內容）
                return render_to_response("job_release.html",locals())
            else:
                if job_enable == 1:                                     （執行開關，爲1的時候開啓執行功能）
                    res = goto_html.delay(full_name,job_name)           （異步執行第一步，準備執行）
                    import_goto_html.delay(res.get())                   （導入到數據庫）
                    ret_in = get_job_runinng_in.delay(full_name,res.get()) （異步執行第二步，獲取執行中狀態內容）
                    ret_end =get_job_runinng_end.delay(full_name,res.get()) （異步執行第三部，取得執行結果）
                    job_enable = 0                                          （執行完成後功能取消，當返回到執行頁面時復位）
                time.sleep(0.5)                                             （返回內容）
                all_result = job_release_return.objects.all()
                return render_to_response("job_release.html",locals())    

4. js配置（很簡單，不是執行成功或者執行失敗時刷新頁面）：

    <script language="JavaScript">
    function myrefresh(){
        window.location.reload();
        }
    function show(){
        var mytable = document.getElementById("dataTables-example").rows[1].cells[7].innerHTML;
        if(mytable == "執行成功" || mytable == "執行失敗"){
        return true;}
        else{
        myrefresh();}
    }
    setTimeout('show()',5000);
    </script>       

5. app task.py配置：
    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    from __future__ import absolute_import
    from celery import task
    from app.backend.fb_jenkins import *
    import urllib
    import jenkins
    import time
    from datetime import datetime
    import sys

    jenkins_server_url=""                         （jenkins地址）
    host=""                                       （主機IP）
    user_id = ""                                  （jenkins用戶）
    api_token = ""                                （jenkins token）
    #server=jenkins.Jenkins(jenkins_server_url, username=user_id, password=api_token)   （這裏兩種方式，一直使用oken,另一種使用passwd）
    server=jenkins.Jenkins(jenkins_server_url, username=user_id, password="*****")    
    joblist=[]

    #（jenkins的方法，獲取項目構建過程）
    @task
    def get_job_output(jobName):
        last = server.get_job_info(jobName)['lastBuild']['number']
        return server.get_build_console_output(jobName,last)

    # (進入執行頁面，並執行job任務)
    @task
    def goto_html(full_name,jobName):
        result = get_job_output(full_name)
        start_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        result_log = " {0} {1} 程序開始構建".format(start_time, full_name)
        parameters = {}
        parameters['project0001'] = 'test001'
        server.build_job(full_name,parameters)
        results = []
        workspace = result.split('Building in workspace')[1].strip().split('\n')[0]
        next_build_number = server.get_job_info(full_name)['nextBuildNumber']
        results.extend([jobName,host,workspace,start_time,"end_time",next_build_number,next_build_number,"執行開始","result",result_log])
        return results

    # （寫入數據庫）
    @task
    def import_goto_html(ret):
        import_release_sql(ret)
        return True

    # (執行中狀態)
    @task
    def get_job_runinng_in(full_name,ret):
        result = get_job_output(full_name)
        results = []
        jobName = ret[0]
        start_time = ret[3]
        workspace = ret[2]
        next_build_number = ret[5]
        time_now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        for i in range(20):
            builds = server.get_running_builds()
            if len(builds)!=0:break
            time.sleep(0.2)
        result_log = ret[9] + "\n {0} {1} 程序構建中".format(time_now, full_name)
        results.extend(
            [jobName, host, workspace, start_time, "end_time", next_build_number, next_build_number, "執行中", "result",
             result_log])
        import_goto_html(results)
        return results

    # （執行完成狀態）
    @task
    def get_job_runinng_end(full_name,ret):
        results = []
        jobName = ret[0]
        start_time = ret[3]
        workspace = ret[2]
        next_build_number = ret[5]
        time_now = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        time.sleep(3)
        while True:
            try:
                build_info = server.get_build_info(full_name, next_build_number)
            except:
                continue
            else:
               if build_info[u'building'] == False:
                    break
               time.sleep(1)

        end_time = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
        result = get_job_output(full_name)
        result_log = ret[9] + "\n {0} {1} 程序構建中".format(time_now, full_name) + "\n {0} {1} 程序構建完成".format(end_time,full_name)
        results.extend(
            [jobName, host, workspace, start_time, end_time, next_build_number, next_build_number, "執行成功", result,
             result_log])
        import_goto_html(results)
        return results

---