業務中臺總體架構介紹與交易業務中臺核心設計

架構總原則:

大中臺+小前臺的架構思路

業務中臺採用領域驅動設計(DDD),在其上構建業務能力SAAS,持續不斷進行迭代演進。

平臺化定位,進行了業務隔離設計,方便一套系統支撐不同玩法的業務類型和便於定製化擴展。

前後端分離,通過服務接入層進行路由適配轉發。

天然的分庫分表,消息解耦和分佈式緩存設計,支持彈性擴容,以支持大數據高併發場景。

系統邏輯架構圖:
在這裏插入圖片描述
接下來將分別介紹每個部分。

電商中臺:

中臺部分在邏輯上分成了基礎能力和平臺產品兩層,這樣做的好處是,基礎能力層聚焦於穩定收斂的業務模型和基礎服務本身,不會隨着業務和前臺產品的調整發生變化,可以簡單理解爲業務模型的DAO。平臺產品層則專注於通過流程編排類的技術手段,將基礎能力構建成業務的解決方案,解決共性和個性化的問題。我們將以交易的設計爲例來說明這個分層理念。通過對電商交易業務的深入分析,

可以確定幾乎所有的交易都會涉及下圖中所有的領域(庫存,優惠,價格…),而單看每個域,玩法都是很少變化的,將這些域的基礎能力完全可以沉澱下來形成原子的基礎能力,通過擴展點方式應對將來特殊的場景個性化擴展。
在這裏插入圖片描述
平臺產品層爲了應對不同的交易場景(一口價,拍賣,貨到付款,預售…)將原子的基礎能力編排成滿足不同場景的解決方案,以服務的方式透出出去。
在這裏插入圖片描述

服務接入層:

服務接入層是連接前臺產品和中臺產品層的紐帶, 實質就是之前的web 應用,不同的是現在前後端分離後,只包含java 代碼,使用springBoot web。做參數轉換,路由分發,調用中臺服務,結果封裝。這塊需要做好前後端的交互規範,請求路由映射規範,web工程目錄結構,負載均衡方案,跨越問題和安全問題,

後續會有專題詳細介紹這塊。

公用基礎組件:

沉澱和抽象出通用獨立的公共基礎組件,這些組件在服務本項目,本團隊的同時,可以開源出去服務更多的人; 抽幾個非常重要的組件講一下這麼做的目的。

數據訪問組件: 抽象封裝分庫分表訪問,讀寫分離,主備切換。

消息中間件組件:這塊的選擇非常多,就開源的就有activeMQ,RabbitMQ,RocketMQ,Kafka等等, 再加上阿里雲,AWS, 騰訊雲等提供的和對應的雲版本,會非常多,如果不對這塊做封裝,對其上應用做透明化處理,後期做這塊的適配調整就會非常痛苦,特別是這套系統會在不同環境中進行部署時。

地址庫組件: 統一地理地址相關的服務,如果是有拓展國際市場的需求,這塊會顯得的非常重要,不同文化背景的國家,在這塊的差異會非常大,同時國內也涉及3級,4級和5級地址的問題。

雲服務&設施容器層

如果技術團隊不是非常大,又沒有較強的運維技術人員,建議不要購買物理機自己搭建環境,而是直接使用阿里雲這些比較成熟的ECS和其他雲服務,這樣會節省很多時間成本和一些耗時的運維工作,讓其專注於業務產品的研發,同時使用docker 容器部署應用,不僅需要的機器數量比較少而且部署非常便捷高效。

業務前臺產品:

ios ,android APP , H5 APP ,PC 站點,微信支付寶小程序 都是屬於這層,前臺產品主要是根據業務形態和產品的定位來進行構建。對於電商業務來說,主要是指移動APP商城,H5商城,PC商城 ,小程序商城。將以小程序爲例來說明。

爲了適應小程序,社交電商這樣的熱點,加上有這麼優秀的一套電商中臺系統,不搞出點有麼有樣的電商前臺產品,不是很沒有道理,爲此想破腦袋,我們把電商和送禮結合了起來,做了“禮尚往來”的小程序,下面是產品的截圖。
在這裏插入圖片描述

穩定和安全保障系統

對電商這類在線交易系統,流量會隨着運營活動的波動非常大,特別是到了雙11這類大活動的時候,流量的峯值會是平時的幾十~幾百倍,一些接口會放大的更大;核心系統的系統指標,流量,接口調用量和rt, 以及限流和異常的監控就顯得非常重要了。在幾年之前,只有BAT 幾個大的公司有能力在這方面做的不錯,隨着全民參與的這種大型促銷活動推動技術的進步,以及開源社區和一些大廠將類似方案回饋到開源社區,目前一個小的技術團隊做好這塊也沒有什麼難度了。現將我們用到的框架做個簡單的介紹,更多細節請參考官方文檔。

sentinel:是面向分佈式服務架構的輕量級流量控制產品,主要以流量爲切入點,從流量控制、熔斷降級、系統負載保護等多個維度來幫助您保護服務的穩定性。 該系統已經過阿里內部雙11多年的驗證,穩定性和可靠性非常不錯,已於最近開源。

dubbokeeper: dubbo的官方監控dubbo-monitor-simple 在性能上表現非常不好,經常卡死,對比了幾個成熟的框架後,最終確定使用dubbokeeper. dubbokeeper社區版dubboadmin,包括了應用管理,動態配置,統計信息,服務監控和zk信息查看功能。

pinpoint: 現在基於微服務的架構,一個請求從用戶發起到響應,中間調用鏈路非常長,跨越數十個系統很正常,並且路徑非常多,要定位一個比較耗時的響應,不利用工具,是非常低效的。Pinpoint這樣的工具就是爲處理這個問題出現的,Pinpoint的優點是對代碼零侵入,運用JavaAgent字節碼增強技術,追蹤每個請求的完整調用鏈路。

Telegraf+ influxDB+ Grafana:主要用來實現業務數據的實時監控方案,如交易額的不正常波動,訂單量的突然下跌等。Telegraf 是收集數據的代理程序,可以根據業務需要添加插件擴展服務,收集到的數據寫入分佈式時序數據庫influxDB,再通過grafana 可視化的展示出來。

工程結構:

邏輯結構映射到物理的工程結構,每個邏輯單元對應爲一個子工程,如果是用idea 開發,就是一個model, 當然model 裏邊會有子model;至於需要打包構建多少個系統其決定性因素是你團隊的規模,如果團隊規模較少,中臺系統合併到3-4個左右就足夠了,如果團非常大,一個團隊負責一個業務板塊的,併爲其構建多個系統,也是非常正常的,像較大的電商公司,負責商品的就是一個團隊,商品相關的系統就有數10個。以交易爲例,可以將交易的系統合併爲一個系統,但在工程的組織結構上是對立的,方便將來的拆分。
在這裏插入圖片描述
爲什麼要用業務中臺化思想來架構交易系統

上面介紹了交易業務中臺的設計理念,本篇會詳細的來說爲何要用中臺的思想來架構交易系統。要說明白這個問題,我們必須回看系統的演化路徑是怎樣隨着業務規模的增長進行變化的。

首先來看初創公司/新業務系統是如何演進的;以基於雲計算爲基礎的架構模式,大部分的初創的系統架構圖如下
在這裏插入圖片描述
對於一個業務規模很小,業務也比較單一,該架構也是最高效的方式,一到兩個web系統,數個微服務業務系統,一到兩個前臺系統。微服務業務系統將會把會員,商品,類目,店鋪,交易,庫存,物流這些劃分成不同的模塊/包放在一到幾個系統,這樣做的好處是非常明顯的,每個人都熟悉所有的代碼,代碼量不大,開發效率高,這在公司剛起步時,是非常接地氣的和最適合的架構。

隨着公司業務規模和組織的壯大,會基於上面的架構,迭代演進N次,直到系統不再是制約公司發展的瓶頸,這期間最重要的架構升級是系統和數據庫的垂直拆分,異步消息解耦,分佈式事務機制,穩定性保障。爲了快速說明問題,我們將忽略中間演進版本,直通基於中臺的版本。

在介紹業務中臺模式之前,先來看看中臺概念的產生背景,中臺研發模式最早產生於芬蘭著名遊戲公司supercell. Supercell有員工180人,後被騰訊以100億美金估值收購,其鼎峯時期全球排名top10的遊戲,有5個來自supercell, 其能快速推出高質量的遊戲,其大中臺功不可沒。阿里借鑑了supercell的“大中臺,小前臺”的模式,以解決快速創新試錯的前端業務和日益沉重的淘寶天貓這些核心系統之間的矛盾,以提升研發效率和跨團隊合作。

可以進一步的設想,如果公司業務高速發展,特別是互聯網的業務模式,出現10倍增速的發展也很正常,這會面臨業務和技術團隊規模變大,業務也會越來越複雜,就以交易爲例,最初就是簡單支撐實物購買場景(消費者付款購買,平臺/商家發貨),隨着用戶和業務的發展,會出現,虛擬商品交易,團購,拼團,拍賣,秒殺,預售等等交易業務模式。
在這裏插入圖片描述
最初就是一個系統單純的支持一個單一的業務,到了階段二支持三個業務,你還能勉強活着,到了階段三如果還是使用之前的架構和開發模式,你會陷入泥潭,在階段三必然會出現以下問題:

[if !supportLists]1.[endif]業務之間的需求相互影響,修改和測試迴歸成本非常高,但還是會發生意想不到的線上問題。

[if !supportLists]2.[endif]由於支撐的需求越來越多,沒有人能掌控全局,修改無存下手,開發越來越不敢接需求。

[if !supportLists]3.[endif]多個需求並行的開發是場噩夢,團隊經常加班,還是滿足不了業務需求的開發,團隊越來越是瓶頸,經常接到業務方的投訴。

業務中臺化也就是解決這些問題的最佳選擇,將交易域的核心能力和服務,通過梳理抽象沉澱爲穩定外化的服務,通過預留的擴展點,來支持個性化擴展。擴展點的開發完全可以由業務團隊的技術來進行,交易中臺研發將專注於中臺的建設和穩定性,這樣講大大改善開發協作效率,一個業務能不能跑的快,主要依賴於前臺,當然業務中臺的技術團隊需要做好業務隔離和中臺本身的穩定高效進化。

瞭解交易的一般業務流程

本篇是用來講交易的,結果扯了太多業務中臺的東西,現在直奔交易,看看交易的兩個業務流程。

交易訂單創建流程:
在這裏插入圖片描述
簡化的逆向退款流程:

在這裏插入圖片描述
只舉例2個業務流程,其他的大同小異,對交易業務的分析和梳理,不難發現,交易涉及的業務域可以歸類爲以下幾個方面:價格,優惠,庫存,拆單,支付,限購,交付,訂單,超時,售後。

交易業務中臺架構

通過對交易業務流程和業務的分析和梳理,採用20/80原則,可以建模抽象出基礎能力層

在這裏插入圖片描述
交易是很多契約的組合體,基礎能力服務是最原子性的,還需要將這些通過流程編排組合成有業務價值的交易產品來統一對外輸出和管理,這就是交易平臺產品層的職責,解決共性和差異性的問題。

業務中臺總體架構介紹與交易業務中臺核心設計
在這裏插入圖片描述
此外交易系統需要依賴會員,商品,店鋪,庫存,優惠,支付和物流等這樣的業務服務才能完成一個真正的交易,加上這些我們基本可以確定交易的業務中臺架構圖,如下:
在這裏插入圖片描述
有了整體的全局大圖,接下來我們將會按照如下的框架來詳細介紹每個部分。
在這裏插入圖片描述
總體設計:

核心業務領域模型:

領域模型的設計,還是遵守DDD的原則,這塊做的好壞,關鍵是對這塊業務的理解和未來一段時間的預判,加上抽象歸納。
在這裏插入圖片描述
核心類圖:

從總體設計的角度看,總體的類圖應當是關注業務模型本身,按照之前約定,我們先看BA層的業務模型
在這裏插入圖片描述
這個類圖,只畫了宏觀和重要的業務域類,其他用來支撐的類圖,將在BA層做展示,目前幫助理解交易這些類圖足夠說明問題,太多反而沒有重點。

PA層是對外開放的服務層,按照慣例設計,會有與其DO對應的DTO類,此外考慮到購車更多的是承擔前臺層的功能,BA層不會引入購車,而將其放到了PA層。
在這裏插入圖片描述
PA層的業務對象類圖,除了dto 類型外,還增加了消息事件對象,用來將交易的業務變化通過事件消息通知給對其感興趣的訂閱方,要說明的一點是BA層的DO對象,PA層是完全可以使用的。

核心服務設計:

服務接入層更多的是前後端交互restful service的設計,交易的PA層實質上已經做了對外開放的微服務設計(使用dubbo框架),服務接入層的restful service幾乎是對微服務進行包裝參數轉換的處理,就沒有必要單獨說明restful

service,直接看PA 最重要的幾個服務。
在這裏插入圖片描述
核心鏈路時序設計:

通過最常規的下單購買和支付流程來說明交易的核心調用鏈路是怎麼樣的過程,爲了簡化說明下面的時序圖簡化了異常鏈路的處理過程和人爲減少了依賴的業務系統。進行核心鏈路依賴的設計,是爲了在設計階段更好的去評估依賴的合理性,確保交易的性能,安全性和容災處理方面的要求。有了核心調用鏈路圖,你才能在設計階段確定哪些調用是可以減少的,哪些地方可以異步處理,哪些地方可以使用前置緩存,哪些地方需要異步重試,哪些地方不能超時,哪些地方要確保最終一致性,哪些要做冪等處理等等,此外也對下游系統更好的評估自己的流量和響應時間提供了參考依據。

在這裏插入圖片描述
交易這塊的技術設計點非常多,分佈式高併發系統遇到的經典技術問題,幾乎都在着有出現,限於篇幅,將通過接下來的一篇專題文章專門介紹。
原文路徑:原文路徑

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章