這篇文章主要介紹了Django實現web端tailf日誌文件功能，本文通過實例給大家介紹的非常詳細，具有一定的參考借鑑價值,需要的朋友可以參考下
這是Django Channels系列文章的第二篇，以web端實現tailf的案例講解Channels的具體使用以及跟Celery的結合
通過上一篇 《Django使用Channels實現WebSocket--上篇》 的學習應該對Channels的各種概念有了清晰的認知，可以順利的將Channels框架集成到自己的Django項目中實現WebSocket了，本篇文章將以一個Channels+Celery實現web端tailf功能的例子更加深入的介紹Channels
先說下我們要實現的目標：所有登錄的用戶可以查看tailf日誌頁面，在頁面上能夠選擇日誌文件進行監聽，多個頁面終端同時監聽任何日誌都互不影響，頁面同時提供終止監聽的按鈕能夠終止前端的輸出以及後臺對日誌文件的讀取
最終實現的結果見下圖
接着我們來看下具體的實現過程
技術實現
所有代碼均基於以下軟件版本：
- python==3.6.3
- django==2.2
- channels==2.1.7
- celery==4.3.0
celery4在windows下支持不完善，所以請 在linux下運行 測試
日誌數據定義
我們只希望用戶能夠查詢固定的幾個日誌文件，就不是用數據庫僅藉助settings.py文件裏寫全局變量來實現數據存儲
在settings.py裏添加一個叫 TAILF 的變量，類型爲字典，key標識文件的編號，value標識文件的路徑
TAILF = {
1: '/ops/coffee/error.log',
2: '/ops/coffee/access.log',
}
基礎Web頁面搭建
假設你已經創建好了一個叫tailf的app，並添加到了settings.py的INSTALLED_APPS中，app的目錄結構大概如下
tailf - migrations - __init__.py - __init__.py - admin.py - apps.py - models.py - tests.py - views.py
依然先構建一個標準的Django頁面，相關代碼如下
url:
from django.urls import path
from django.contrib.auth.views import LoginView,LogoutView
from tailf.views import tailf
urlpatterns = [
path('tailf', tailf, name='tailf-url'),
path('login', LoginView.as_view(template_name='login.html'), name='login-url'),
path('logout', LogoutView.as_view(template_name='login.html'), name='logout-url'),
]
因爲我們規定只有通過登錄的用戶才能查看日誌，所以引入Django自帶的LoginView，logoutView幫助我們快速構建Login，Logout功能
指定了登錄模板使用 login.html ，它就是一個標準的登錄頁面，post傳入username和password兩個參數即可，不貼代碼了
view:
from django.conf import settings
from django.shortcuts import render
from django.contrib.auth.decorators import login_required
# Create your views here.
@login_required(login_url='/login')
def tailf(request):
logDict = settings.TAILF
return render(request, 'tailf/index.html', {"logDict": logDict})
引入了 login_required 裝飾器，來判斷用戶是否登錄，未登錄就給跳到 /login 登錄頁面
logDict去setting裏取我們定義好的 TAILF 字典賦值，並傳遞給前端
template:
{% extends "base.html" %}
{% block content %}
<div class="col-sm-8">
<select class="form-control" id="file">
<option value="">選擇要監聽的日誌</option>
{% for k,v in logDict.items %}
<option value="{{ k }}">{{ v }}</option>
{% endfor %}
</select>
</div>
<div class="col-sm-2">
<input class="btn btn-success btn-block" type="button" onclick="connect()" value="開始監聽"/><br/>
</div>
<div class="col-sm-2">
<input class="btn btn-warning btn-block" type="button" onclick="goclose()" value="終止監聽"/><br/>
</div>
<div class="col-sm-12">
<textarea class="form-control" id="chat-log" disabled rows="20"></textarea>
</div>
{% endblock %}
前端拿到 TAILF 後通過循環的方式填充到select選擇框下，因爲數據是字典格式，使用 logDict.items 的方式可以循環出字典的key和value
這樣一個日誌監聽頁面就完成了，但還無法實現日誌的監聽，繼續往下
集成Channels實現WebSocket
日誌監聽功能主要的設計思路就是頁面跟後端服務器建立websocket長連接，後端通過celery異步執行while循環不斷的讀取日誌文件然後發送到websocket的channel裏，實現頁面上的實時顯示
接着我們來集成channels
先添加routing路由，直接修改 webapp/routing.py
from channels.auth import AuthMiddlewareStack
from channels.routing import ProtocolTypeRouter, URLRouter
from django.urls import path, re_path
from chat.consumers import ChatConsumer
from tailf.consumers import TailfConsumer
application = ProtocolTypeRouter({
'websocket': AuthMiddlewareStack(
URLRouter([
path('ws/chat/', ChatConsumer),
re_path(r'^ws/tailf/(?P<id>\d+)/$', TailfConsumer),
])
)
})
直接將路由信息寫入到了 URLRouter 裏，注意路由信息的外層多了一個list，區別於上一篇中介紹的寫路由文件路徑的方式
頁面需要將監聽的日誌文件傳遞給後端，我們使用routing正則 P<id>\d+ 傳文件ID給後端程序，後端程序拿到ID之後根據settings中指定的 TAILF 解析出日誌路徑
routing的寫法跟Django中的url寫法完全一致，使用 re_path 匹配正則routing路由
添加consumer在 tailf/consumers.py 文件中
import json
from channels.generic.websocket import WebsocketConsumer
from tailf.tasks import tailf
class TailfConsumer(WebsocketConsumer):
def connect(self):
self.file_id = self.scope["url_route"]["kwargs"]["id"]
self.result = tailf.delay(self.file_id, self.channel_name)
print('connect:', self.channel_name, self.result.id)
self.accept()
def disconnect(self, close_code):
# 中止執行中的Task
self.result.revoke(terminate=True)
print('disconnect:', self.file_id, self.channel_name)
def send_message(self, event):
self.send(text_data=json.dumps({
"message": event["message"]
}))
這裏使用Channels的單通道模式，每一個新連接都會啓用一個新的channel，彼此互不影響，可以隨意終止任何一個監聽日誌的請求
connect
我們知道 self.scope 類似於Django中的request，記錄了豐富的請求信息，通過 self.scope["url_route"]["kwargs"]["id"] 取出routing中正則匹配的日誌ID
然後將 id 和 channel_name 傳遞給celery的任務函數tailf，tailf根據 id 取到日誌文件的路徑，然後循環文件，將新內容根據 channel_name 寫入對應channel
disconnect
當websocket連接斷開的時候我們需要終止Celery的Task執行，以清除celery的資源佔用
終止Celery任務使用到 revoke 指令，採用如下代碼來實現
self.result.revoke(terminate=True)
注意 self.result 是一個result對象，而非id
參數 terminate=True 的意思是是否立即終止Task，爲True時無論Task是否正在執行都立即終止，爲False（默認）時需要等待Task運行結束之後纔會終止，我們使用了While循環不設置爲True就永遠不會終止了
終止Celery任務的另外一種方法是：
from webapp.celery import app app.control.revoke(result.id, terminate=True) send_message
方便我們通過Django的view或者Celery的task調用給channel發送消息，官方也比較推薦這種方式
使用Celery異步循環讀取日誌
上邊已經集成了Channels實現了WebSocket，但connect函數中的celery任務 tailf 還沒有實現，下邊來實現它
關於Celery的詳細內容可以看這篇文章： 《Django配置Celery執行異步任務和定時任務》 ，本文就不介紹集成使用以及細節原理，只講一下任務task
task實現代碼如下：
from __future__ import absolute_import
from celery import shared_task
import time
from channels.layers import get_channel_layer
from asgiref.sync import async_to_sync
from django.conf import settings
@shared_task
def tailf(id, channel_name):
channel_layer = get_channel_layer()
filename = settings.TAILF[int(id)]
try:
with open(filename) as f:
f.seek(0, 2)
while True:
line = f.readline()
if line:
print(channel_name, line)
async_to_sync(channel_layer.send)(
channel_name,
{
"type": "send.message",
"message": "微信公衆號【運維咖啡吧】原創 版權所有 " + str(line)
}
)
else:
time.sleep(0.5)
except Exception as e:
print(e)
這裏邊主要涉及到Channels中另一個非常重要的點： 從Channels的外部發送消息給Channel
其實 上篇文章 中檢查通道層是否能夠正常工作的時候使用的方法就是從外部給Channel通道發消息的示例，本文的具體代碼如下
async_to_sync(channel_layer.send)(
channel_name,
{
"type": "send.message",
"message": "微信公衆號【運維咖啡吧】原創 版權所有 " + str(line)
}
)
channel_name對應於傳遞給這個任務的channel_name，發送消息給這個名字的channel
type對應於我們Channels的TailfConsumer類中的 send_message 方法，將方法中的 _ 換成 . 即可
message就是要發送給這個channel的具體信息
上邊是發送給單Channel的情況，如果是需要發送到Group的話需要使用如下代碼
async_to_sync(channel_layer.group_send)(
group_name,
{
'type': 'chat.message',
'message': '歡迎關注公衆號【運維咖啡吧】'
}
)
只需要將發送單channel的 send 改爲 group_send ， channel_name 改爲 group_name 即可
需要特別注意的是： 使用了channel layer之後一定要通過async_to_sync來異步執行
頁面添加WebSocket支持
後端功能都已經完成，我們最後需要添加前端頁面支持WebSocket
function connect() {
if ( $('#file').val() ) {
window.chatSocket = new WebSocket(
'ws://' + window.location.host + '/ws/tailf/' + $('#file').val() + '/');
chatSocket.onmessage = function(e) {
var data = JSON.parse(e.data);
var message = data['message'];
document.querySelector('#chat-log').value += (message);
// 跳轉到頁面底部
$('#chat-log').scrollTop($('#chat-log')[0].scrollHeight);
};
chatSocket.onerror = function(e) {
toastr.error('服務端連接異常！')
};
chatSocket.onclose = function(e) {
toastr.error('websocket已關閉！')
};
} else {
toastr.warning('請選擇要監聽的日誌文件')
}
}
上一篇文章 中有詳細介紹過websocket的消息類型，這裏不多介紹了
至此我們一個日誌監聽頁面完成了，包含了完整的監聽功能，但還無法終止，接着看下面的內容
Web頁面主動斷開WebSocket
web頁面上“終止監聽”按鈕的主要邏輯就是觸發WebSocket的onclose方法，從而可以觸發Channels後端consumer的 disconnect 方法，進而終止Celery的循環讀取日誌任務
前端頁面通過 .close() 可以直接觸發WebSocket關閉，當然你如果直接關掉頁面的話也會觸發WebSocket的onclose消息，所以不用擔心Celery任務無法結束的問題
function goclose() {
console.log(window.chatSocket);
window.chatSocket.close();
window.chatSocket.onclose = function(e) {
toastr.success('已終止日誌監聽！')
};
}
至此我們包含完善功能的Tailf日誌監聽、終止頁面就全部完成了
總結
以上所述是小編給大家介紹的Django實現web端tailf日誌文件功能及實例詳解,希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回覆大家的。在此也非常感謝大家對神馬文庫網站的支持！
如果你覺得本文對你有幫助，歡迎轉載，煩請註明出處，謝謝！