近日，騰訊宣佈正式開源 Tars 的 Golang 版本 Tars-Go，其併發性能比 gRPC 的高 5 倍。
Tars 是騰訊開源的一款微服務框架，它於去年 4 月份開源，並於今年 6 月捐贈給了 Linux 基金會。Tars 爲用戶提供了涉及到開發和運維的一整套解決方案，幫助一個產品或者服務快速開發、發佈、部署、上線和維護。它集可擴展協議編解碼、高性能 RPC 通信框架、名字路由與發現、發佈監控、日誌統計、配置管理等於一體，通過它可以快速用微服務的方式構建穩定可靠的分佈式應用，並實現完整有效的服務治理。經過一年多的發展，目前 Tars 已經被許多企業使用，如閱文集團、虎牙直播、科大訊飛，優品財富、龍圖遊戲和金太陽教育等。
9 月 15 日，騰訊宣佈正式開源 Tars 的 Golang 版本 Tars-Go。編者從 Tars-Go 的開源公告中瞭解到其技術架構、性能數據與相關技術細節，本文參考 Tars 開源團隊核心成員陳明傑的演講 PPT 《億級規模高可用架構源碼剖析——騰訊 Go 語言開發框架 TARS-GO》 進行了整理。
項目地址：https://github.com/TarsCloud/TarsGo
支持服務治理、多語言，只 Tars 一家
微服務架構這兩年變得格外火熱，它已經成爲當前最主流的架構模式。提起微服務框架，我們可以自然地舉出 Dubbo、gRPC 與 Spring Cloud 等衆多的知名項目，依據是否支持服務治理和是否支持多語言兩個維度可將這些微服務框架分爲以下四類：
- 只有服務調用沒有服務治理類的框架。典型的代表有 gRPC、Thrift 等，他們很好地解決了服務間通信的問題，大部分也支持多語言，但使用這類框架時需要自己去解決服務治理問題。
- 帶服務治理但支持單一語言的框架。典型的代表有 Spring Cloud 和 Dubbo，它們都是用 Java 實現的框架，用戶整合多個開源項目一起並能滿足服務治理等的需求。
- Service Mesh。它支持服務治理，並通過 Sidecar 模式解決框架對多語言支持，業務需要再封裝一套通訊組件去解決通訊問題，以及異步調用等問題，同時會增加架構和維護的複雜度。
- 帶服務治理並支持多語言的框架。目前業界比較少，除了 Tars 目前還沒有發現其它具有代表性的框架。
從上面的分析大概可以發現，Tars 是支持服務治理的同時又提供多語言支持的微服務框架，這是 Tars 的獨特之處，也是其優勢。
Tars 可以運行在物理機、虛擬機和容器，其協議主打的是基於 IDL 實現的 Tars 協議，它是一種二進制解析協議，與 pb 類似，同時 Tars 還擴展支持其它協議，乃至用戶自定義。
調用方式主要以 RPC 爲主，支持同步、異步和單向調用幾種方式。在服務治理方面除了支持服務註冊、發現等業界常說的能力之外，還提供面對海量訪問的一些其它治理能力，如 Set 模型、自動區域感知、過載保護等，語言上除了此次新支持的 Golang，目前已經支持了 C++、Java、NodeJS 與 PHP，同時整體框架可以和 DevOps 很好地協同工作。
Tars 整體分爲三個部分：Registry、服務節點和基礎服務集羣。
Registry
Registry 是微服務集羣的管理和控制節點，提供服務註冊和發現等功能。
服務節點
服務節點是 Tars 運行的原子單元，可以是一個容器也可以是一個虛機或物理機，一個業務服務通過部署多個服務節點來解決容量和容錯問題。服務節點上包括一個 node 管理服務和一個或多個業務服務，node 服務對本節點的服務進行統一管理，提供啓停、監控服務節點等功能，同時接收業務服務節點上報過來的心跳，上報給 Registry 作爲服務發現的數據來源。
基礎服務集羣
基礎服務集羣是爲解決微服務治理而設計的一系列服務，服務節點數量不定，爲了自身的容錯容災，一般也要求在多個服務器上進行部署，具體的節點數量與業務規模有關，比如，如果業務規模大需要打較多的日誌，就需要部署更多的日誌服務節點。基礎服務主要包括監控統計、配置中心、日誌聚合、認證鑑權和分佈式調用鏈等。Tars 具有非常完善的服務治理能力。
Tars 通過 Registry、服務節點和基礎服務集羣協同工作，透明完成服務發現/註冊、負載均衡、鑑權、分佈式跟蹤等服務治理相關工作。如框架通過 Registry 來註冊 xxxsvr，Client 通過訪問 Registry 獲取到被調服務的地址信息列表，Client 再根據需要選擇合適的負載均衡方式來調用服務。負載均衡支持輪詢、hash、權重等多種方式。
爲了更及時地屏蔽故障節點，Client 根據調用被調服務的異常情況判斷是否有故障來更快地進行故障屏蔽。具體策略是，當 Client 調用某個服務器出現調用連續超時超過設置閾值，或者調用的超時比率超過一定百分比閾值，Client 就會對此服務器節點進行屏蔽，讓流量分發到正常的節點上去。對屏蔽的服務器節點，每隔一定時間進行重連，如果正常，則進行正常的流量分發。
隨着業務增長，服務的部署難免會跨機房或者地域，常規的負載均衡方式面對跨地區或者跨機房部署的服務會因爲網絡原因造成延時增大，爲了加快服務間的訪問速度，減少因建設跨地區、跨機房調用帶來的網絡資源消耗，減少網絡故障帶來的影響，Tars 提供自動區域感知的服務治理功能。
通過 Registry 和開發框架配合實現自動區域感知，這樣的優勢有：
- 運維簡單
- 降低延時減少帶寬消耗
- 更強的容災能力
此外 Tars 還提供 Set 模型。
Set 模型是根據業務功能特徵對部署進行規範化和標準化，以 Set 爲單元進行部署。Set 模型的優點有：
- 有效防止故障擴散
- 方便進行容量管理
對於流量控制，服務發佈上線主要面對的問題是“如何做對業務無損的服務變更”與“如何做灰度驗證”，在 Tars 中，可通過 Registry 和開發框架配合實現按需進行流量控制，達到無損發佈和灰度流量的目的。
語言支持方面，除了此前已經支持的 PHP、C++、NodeJS 與 Java，此次還加入了 Golang 支持。
此外，Tars 還提供一個 OSS 平臺，可使運營可視化、Web 化。
它主要包含以下特點：
- 業務管理：包括已部署的服務，以及服務管理、發佈管理、服務配置、服務監控、特性監控等
- 運維管理：包括服務部署、擴容、模版管理等
- 提供 Open API ，可定製自己的 OSS 系統
Tars-Go，Tars Go！
多語言支持是 Tars 的一大優勢，在此之前 Tars 已經推出了 C++、Java、PHP、NodeJS 版本。Go 語言的協程併發機制使它非常適用於大規模高併發後端服務器程序開發，同時隨着容器化技術的飛速發展，諸如 Docker、Kubernetes 與 Etcd 等項目興起，使得 Go 語言越來越流行，併成爲雲原生的首選語言。Tars 的 Go 語言版本也因此應運而生，此次 Tars-Go 的推出，在大環境整體逐漸走向雲原生的當下，意義非凡。
此次新推出的 Go 版本 Tars-Go 整體架構主要可以分爲三個部分，如下圖所示：
- 左邊是 tars2go 工具，tars2go 基於巴科斯範式（BNF），這是一種描述程序語言結構的形式化方法，用來對 Tars 文件進行語法和詞法分析，生成相應的代碼，供客戶端和服務端使用。同時它提供 Tars 協議二進制流的編解碼功能，將二進制包轉成相應的 Go 數據結構。
- 右邊部分是 package tars，它包含了 Client 和 Server 兩部分的功能：
- Client 由 Servantproxy、Communicator、ObjProxy、adapterproxy 等邏輯結構組成，這些邏輯結構用來管理 servant，obj 對應到的服務端節點的 ip 端口，和 C++ 的邏輯保持一致。底層使用 net.Conn 來建立具體的連接，並用 SendQueue chan 來控制併發數量。Client 還包含一些 Goroutine，用來做特性監控和 stat 監控上報。
- Server 使用 package net 的 listener 來管理 TCP 和 UDP 連接，使用多個 Goroutine 進行 accept，並將 accept 之後的 net.Conn 經過 SendQueue chan 交給後端的 Handler 進行處理。Handler 由一堆 woker Goroutine 組成，每個 Goroutine 基於 net.Conn 進行收發包、Tars 協議解碼，並經過 dispatcher（由 tars2go 生成） 來調用用戶的代碼實現，然後將結果編碼成二進制流返回給 Client。Server 也包含一些 Goroutine 實現遠程日誌異步上報等功能，防止同步調用阻塞請求。
編者瞭解到，Tars 開源團隊在研發 Tars-Go 的過程中經歷的對其各個方面的性能調優改造，Tars-Go 在早先的版本注重於功能的開發和完善，沒有體系化地進行壓測和性能分析。在業務使用一段時間後，開始注重性能優化。Tars 開源團隊對 tars2go 工具先進行了一輪優化，在生成語樹的時候生成好了類型信息，避免使用反射進行類型判斷，編解碼的效率提升了 2 倍，然後對再對整體 servant 進行了一輪輪壓測，並進行 CPU profile 性能分析。
下面是性能提升優化的幾個實例：
Timer 性能問題
每個請求進來，Tars-Go 會創建一個協程進行處理，因爲要處理調用超時，會創建一個 timer，在結束的時候會刪掉 timer，當併發量一上來，就會頻繁創建和刪除 timer，佔用服務大量 CPU 時間。
研發團隊在一個 issue 中發現 ，在多 CPU 的場景下，如果存在大量的 timer，性能就會大量損耗，優化方式是每個 p 有自己的 timer，這樣可以大幅提升整體併發性能。於是 Tars-Go 將編譯環境升級至 1.10.3，從 profile 來看，性能得到了很大的提升，並且基於時間輪詢算法實現了自己的 timer，以精度換取性能和效率。
net 包的 SetDeadline 調用性能問題
爲了設置網絡連接的讀寫超時，Tars-Go 使用了 net 包的 SetReadDeadline/SetWriteDeadline 等相關調用，但從 profile 發現，當併發非常大的時候，會導致這兩個調用佔用了大量的 CPU 時間。爲了繞開這兩個相關調用，使用了 Sysfd 進行 Socket 讀寫超時的設置。
bytes 的 Buffer 帶來的性能問題
從下圖可以看出，有相當大的一部分時間耗在了 slice 相關的操作上，原來在包的編解碼過程中，使用 bytes.Buffer 進行臨時存放，當 bytes.Buffer 底層用的 byte slice 大小不夠的時候，就會分配一定的內存空間，頻繁地分配效率很低，所以導致大包情況下性能下降比較明顯。
聯想到了 Redis 的內存模型和 Linux 的 slab 機制，對於頻繁創建銷燬的對象，採用預先創建和重複利用的方式。而 Go 本身提供了一種 sync.Pool 機制，供臨時對象的複用，以減少 GC，Tars-Go 在此基礎上，實現了類似 Linux slab 機制分配的 buffer 管理方案，通過這種方案，性能大幅提高。
其他方面的優化
經過上面的性能優化後，Tars-Go 在小包的並發表現提升了 5 倍。
- 壓測機型：4 核/8線程 CPU 3.3Ghz 主頻 16G 內存
- 壓測邏輯：客戶端帶着一定大小的數據給服務端，服務端原樣返回給客戶端
- 服務端單進程，多個客戶端發起測試
Tars-Go 編程示例
Tars 協議是一個二進制協議，它是與語言無關的 IDL 語言，由工具自動生成服務端和客戶端代碼，下邊是一個 Tars 協議的示例：
struct LoginInfo {
0 require string sid;
1 require string code;
}
struct ProfileInfo {
0 require string nick;
1 require int level;
}
interface TestServant {
int test(int qq, LoginInfo li, out ProfileInfo pi);
}
具體編程的時候，首先需要定義一個 Tars 文件，如下所示：定義接口 Mult ，a 和 b 爲入參，c 爲出參，均爲整型。
module Prajna{
interface JesseTest{
int Mult(int a,int b,out int c);
};
};
接着生成接口代碼。使用 tars2go JesseTest.tars 即可自動生成 pacakge Prajna JesseTest 的 servant 和 Mult 方法的框架實現，業務無需關心實現細節：
type JesseTest struct {
s m.Servant
}
_func (_obj *JesseTest) Mult(A int32, B int32, C *int32, _opt ...map[string]string) (ret int32, err error) {
var length int32
var have bool
var ty byte
_os := codec.NewBuffer()
err = _os.Write_int32(A, 1)
if err != nil {
return ret, err
}
err = _os.Write_int32(B, 2)
if err != nil {
return ret, err
}
var _status map[string]string
var _context map[string]string
_resp := new(requestf.ResponsePacket)
err = _obj.s.Taf_invoke(0, "Mult", _os.ToBytes(), _status, _context, _resp)
if err != nil {
return ret, err
}
_is := codec.NewReader(_resp.SBuffer)
err = _is.Read_int32(&ret, 0, true)
if err != nil {
return ret, err
}
......
最後，實現接口代碼，將入參 a、b相乘後的結果放到 c 返回給客戶端：
package main
import (
"tars"
"Prajna"
)
type JesseTestImp struct {
}
func (imp *JesseTestImp) Mult(a int32, b int32, c *int32) (int32, error) {
tmp := a * b
*c = tmp
return 0, nil
}
func main() {
imp := new(JesseTestImp) //New Imp
app := new(Prajna.JesseTest) //New init the A Tars
cfg := tars.GetServerConfig() //Get Config File Object
app.AddServant(imp, cfg.App+"."+cfg.Server+".JesseTestObj") //Register Servant
tars.Run()
}
之後 go build 就可以進行編譯。
而客戶端只需關注出入參，引入由 Tars 文件轉化成的包即可完成一次 RPC 調用。
package main
import (
"Prajna"
"flag"
"fmt"
"tars"
)
func main() {
ip := flag.String("Ip", "127.0.0.1", "Ip address")
port := flag.Int("Port", 10000, "Port")
timeout := flag.Int("timeout", 1234, "timeout")
flag.Parse()
comm := tars.NewCommunicator()
obj := fmt.Sprintf("Prajna.JesseGoServer.JesseTestObj@tcp -h %s -p %d -t 60000", *ip, *port)
app := new(Prajna.JesseTest)
comm.StringToProxy(obj, app)
app.TarsSetTimeout(*timeout)
var out, i int32
i = 123
ret, err := app.Mult(i, i*2, &out)
if err != nil {
fmt.Println(err)
return
}
fmt.Println(ret, out)
}
未來，Linux 基金會將加強 Tars 項目的社區運作機制，讓 Tars 的影響力從中國走向國際。