原创 Elasticsearch 跨集羣複製(CCR)的使用

什麼是 Elasticsearch 的跨集羣複製 CCR - Cross Cluster Replication - 跨集羣複製是 Elasticsearch v6.5 發佈的一個新的特性,這個特性可以讓你將一個集羣的索引數據同步複製到遠

原创 京東到家交易系統的演進之路

背景 交易系統可能不是技術難度最深的,但是業務複雜度最高的,一個訂單從提交到最後真正生產成功要經歷幾十個系統,涉及的接口交互,MQ等可能達上百個。任何一個環節出問題都會導致這一單的異常,而且交易不像單純的資訊門戶可以靠靜態化或者緩存抗住大

原创 京東交易架構分享

導讀:對於應對突發的峯值訪問,每個技術團隊都有自己的經驗及方法,但是這些方法遠沒有得到體系化的討論。高可用架構在 6 月 25 日舉辦了『高壓下的架構演進』專題活動,進行了閉門私董會研討及對外開放的四個專題的演講,期望能促進業界對應對峯值

原创 企業數字化轉型的“迷途”和“指南”

企業的未來價值不在於延續今天的盈利,而是創造新的經濟引擎。隨着數字化時代的到來,越來越多的企業將數字化轉型提上日程。然而,我們觀察到,絕大多數企業對數字化轉型的爲什麼、做什麼以及怎麼做存在認知的誤區。 在此,我們將分享一些我們的觀察和觀點

原创 零售企業數字化改造的六大目標

目前,關於零售企業的數字化改造解釋確實比較多。 對數字化改造認識理解相對比較深刻一點的是有技術基因的那部分人。他們理解技術對企業業務改造的價值。 但是這一部分人關於數字化改造的解釋,比較偏重於技術角度的理解,或者是數據角度的理解。譬如,有

原创 在線修改大表結構pt-online-schema-change

使用場景 在線數據庫的維護中,總會涉及到研發修改表結構的情況,修改一些小表影響很小,而修改大表時,往往影響業務的正常運轉,如表數據量超過500W,1000W,甚至過億時 在線修改大表的可能影響 在線修改大表的表結構執行時間往往不可預估,一

原创 如何保證緩存(redis)與數據庫(MySQL)的一致性

【簡介】   對於熱點數據(經常被查詢,但不經常被修改的數據),我們可以將其放入redis緩存中,以增加查詢效率,但需要保證從redis中讀取的數據與數據庫中存儲的數據最終是一致的。本文基於“孤獨煙”與“58沈劍”兩位的文章,針對一致性的

原创 有贊訂單管理

有贊訂單管理主要承接有贊所有訂單搜索及詳情展示功能,系統隨着業務的不斷髮展經歷了多次飛昇之路。下面簡單介紹下有贊訂單管理系統的三生三世與“十面埋伏”。 第一世:凡人飛昇小仙之路-分庫分表 隨着業務發展,單庫單表所能承載的數據量侷限性越發嚴

原创 validation自定義註解校驗枚舉類型

        java validation內沒有對枚舉的校驗工具,但是離散的枚舉值校驗確實是有必要的。javax.validation包提供了方便的自定義校驗的入口,就是javax.validation.ConstraintValid

原创 MySQL分區與傳統的分庫分表

傳統的分庫分表 傳統的分庫分表都是通過應用層邏輯實現的,對於數據庫層面來說,都是普通的表和庫。 分庫 分庫的原因 首先,在單臺數據庫服務器性能足夠的情況下,分庫對於數據庫性能是沒有影響的。在數據庫存儲上,database只起到一個name

原创 當前開源分佈式任務框架的比較

最近有對分佈式任務調度框架的選型,下面是個人整理的一個比較文檔,供大家參考使用。分佈式任務調度框架各有利弊,需根據實際需求決定使用。 框架名稱 xxl-job elastic-job 簡介 大衆點評員工徐雪裏於2015年發佈的分佈式任務調

原创 Elasticsearch性能優化總結

下面是對ES使用實踐的一些經驗總結,供大家參考;有些已經不太合適。 一、 硬件環境選擇: 如果有條件,儘可能使用SSD硬盤, 不錯的CPU。ES的厲害之處在於ES本身的分佈式架構以及lucene的特性。IO的提升,會極大改進ES的速度和性

原创 ES水平擴容

怎樣爲我們的正在增長中的應用程序按需擴容呢? 當啓動了第三個節點,我們的集羣將會看起來如圖1“擁有三個節點的集羣——爲了分散負載而對分片進行重新分配”所示。 圖1. 擁有三個節點的集羣——爲了分散負載而對分片進行重新分配 Node 1 

原创 大衆點評賬號業務高可用進階之路

引言 在任何一家互聯網公司,不管其主營業務是什麼,都會有一套自己的賬號體系。賬號既是公司所有業務發展留下的最寶貴資產,它可以用來衡量業務指標,例如日活、月活、留存等,同時也給不同業務線提供了大量潛在用戶,業務可以基於賬號來做用戶畫像,制定

原创 異地雙活實踐筆記

最近恰好在搞異地雙活,以下是一個梳理: 基本概念 1、異地容災。這僅僅是一個冷備的概念。也就是在平時正常的時候,另外一個機房只是當做備份。 2、異地雙(多)活。而異地雙(多)活,卻是指有兩個或者多個可以同時對外服務的節點,任意一個點掛了,