用Shell實現RPC

對於常寫腳本的程序員來說,有時候在實現業務邏輯的時候會用到網絡調用,或者需要一個shell下網絡通訊框架,通常的解決思路是通過實現相應的二進制工具,再通過shell將業業務邏輯串聯進行實現,自己在項目中產出的一個簡單shell實現RPC的框架,有興趣的可以瞭解一下 github地址是:https://github.com/SunnyPirate/shellrpc

ShellRPC

概述

項目用BASH實現的一個簡易的RPC框架,你可以用Shell來實現跨機器的RPC的調用,也就是說你可以用Shell來寫網絡服務,當然BASH可能不是你最好的選擇,但是這個小東西卻提供了一個快速和簡單的實現,讓你用Shell也可以實現複雜的遠程服務調用。

整體介紹

這個小東西整體上實現瞭如下幾個核心功能:

  • proto解析代碼自動生成,序列化與反序列化
  • service服務端的多進程處理模型
  • client端的對服務的異步調用

proto的解析

你可以像其他所有的RPC框架一樣定義你自己的proto格式,我們以一個AddService爲例,服務的功能是將客戶端傳遞過來的兩個數做加法運算,我們可以這樣定義add_request.proto

param1:1
param2:2

接下來我們定義add_response.proto,也就是服務端返回給客戶端的proto描述

sum:1

這樣我們定義好我們的request和response的數據結構後,我們調用rpc_proto_cg.sh,命令如下:

sh rpc_proto_cg.sh ./add_request.proto
sh rpc_proto_cg.sh ./add_response.proto

這樣我們將得到兩個sh文件分別是proto_add_request.sh和proto_add_response.sh,這兩個文件 包含對其中字段的讀取.寫入以及序列化和反序列化的函數,這些函數不建議修改。

編寫service

這裏我們以AddService爲例,首先我們先定義服務端處理的函數,如下所示:

function AddService {
  local request=${1}
  local param1=$(proto_add_request_get_param1 ${request})
  local param2=$(proto_add_request_get_param2 ${request})
  local sum=0
  let "sum=param1+param2"
  local response=$(proto_add_response_make)
  response=$(proto_add_response_put_sum ${response} ${sum})
  echo ${response}
}

函數比較好理解,首先我們調用自動生成的函數來獲取client通過網絡發送過來的傳入的參數param1和param2,這裏面底層涉及到解碼和反序列化的過程,使用上可以忽略。然後我們對param1和param2進行加法計算,得到的結果我們通過構造一個response並把他放入之前我們定義的sum字段,最後把這個response輸出,剩下的將交給框架處理,通過網絡,最後的response會傳遞給client端。 接下來我們編寫客戶端的回調函數AddServiceCallback,代碼如下:

function AddServiceCallback {
  local response=${1}
  local sum=$(proto_add_response_get_sum ${response})
  RPCLog "[INFO]AddService return ${sum}"
}

這裏的回調函數在客戶端運行,因爲目前只實現了異步調用,所以需要寫回調函數來處理返回結果。 當然,同步是在異步的基礎上實現的,未來不久將提供。

實現調用

對於客戶端你需要先初始化client的環境,然後創建client的stub,最後通過對應的異步函數發起rpc調用,大概的代碼如下:

function MainProcess {
  local ip=$(IONetGetLocalIPDec)
  local rpc_server_port=8877
  InitRPCClientEnv
  if [ ${RPC_FAIL} -eq $? ];then
    RPCLog "[Error] init RPC client env fail"
    return ${RPC_FAIL}
  fi
  CreateRPCClientStubNoSafe
  local add_request=$(proto_add_request_make)
  add_request=$(proto_add_request_put_param1 ${add_request} "1")
  add_request=$(proto_add_request_put_param2 ${add_request} "2")

  RPCClientAsyncCall "${ip}:${rpc_server_port}/AddService" ${add_request} AddServiceCallback
  if [ ${RPC_SUCCESS} -ne $? ];then
     echo "Send Request fail"
  fi
}

這裏需要注意的對服務的調用格式是***ip:port/service_name***

幾個需要關注的地方

主要的依賴

  • netcat工具,大多數Linux發行版裏面都會有
  • lsof,可能你需要安裝
  • 沒啦,確實沒了

服務端的細節

  • 你可以配置後臺處理任務的進程數,已經提供shell的mutexlock的實現。
  • 啓動的時候最好判斷返回值,防止端口被佔用。
  • 停止服務請調用StopServer,目前已經實現了優雅退出。

客戶端的細節

  • 客戶端需要先調用初始化環境函數,主要是初始化後臺的接收返回消息的服務
  • 客戶端目前的調用均爲異步的方式。
  • 客戶端目前也支持優雅的退出

性能

Shell寫的你懂的,並不是很高,不過既然是shell寫的性能可能不是主要的關鍵點。

demo

目前系統中已經實現了EchoService的Demo以及AddService的Demo,具體可以參考demo文件夾下的 示例

後續計劃

  • 支持同步的Service調用
  • 支持傳輸數據的壓縮,目前的編碼方式會導致數據一定的膨脹
  • 支持HTTP服務

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章