突破、進化,騰訊雲數據庫2018全年盤點

在企業上雲逐漸加速的背景下,雲數據庫作爲企業重要的IT基礎設施,其重要性毋庸置疑。各大雲計算廠商不惜重金,紛紛在產品和技術層面加大布局,爭奪這一重要的雲服務市場。縱觀國內前幾大雲服務商過去一年的雲數據庫領域的發展,騰訊雲基於自身強大的業務支撐以及技術研發實力,在雲數據庫市場的突破格外引人注目。

具體來說,針對存量市場,2018年下半年,騰訊雲重磅推出雲原生數據庫CynosDB,該款數據庫的單節點讀性能達到驚人的130萬QPS,超過業內目前最高100萬QPS水平,而價格只是市面上商業數據庫的1/15。同時,CynosDB也是業界第一款全面兼容MySQL和PostgreSQL的高性能企業級分佈式雲數據庫,強悍的性能和極致的性價比然該數據庫一經推出便在市場上引起強烈反響。在自主可控數據庫領域,騰訊雲TDSQL金融級分佈式數據庫在對內支撐包括微信紅包等海量業務的同時,對外也正在爲中國金融行業提供分佈式數據庫解決方案,落地勢頭迅猛。

增量市場上,針對於物聯網、大數據和互聯網監控等擁有海量時序數據的場景,騰訊雲重兵佈局時序數據庫CTSDB和NoSQL數據庫MongoDB。下半年推出的CTSDB時序數據庫不僅可以降低數據存儲成本,也能簡化日常運維工作。 需要指出的是針對小程序的風口,騰訊雲接下來還將主攻Serverless領域,全面降低小程序開發門檻。

持續不斷的技術和資源投入,也讓騰訊雲數據庫收穫衆多用戶的認可。其中,越來越多的企業選擇將核心業務系統託付給騰訊雲數據庫。應用場景上,騰訊雲數據庫業務基本覆蓋電商、金融、遊戲、O2O等全行業,衆多知名大中型企業比如小紅書、獵豹、每日優鮮、聽雲、搜狐暢遊、微衆銀行、蘑菇街、貓眼等等都選擇騰訊雲數據庫提供的服務,在騰訊雲的支持下,這些企業2018年也都業績長虹。

CynosDB:性能全面領先同類,擁有極致性價比

作爲騰訊雲在公司架構調整完成後向外界發佈的首款產品,CynosDB強悍的性能,極致的性價比,使得其無疑成爲年度數據庫市場的一顆重磅炸彈,可謂不鳴則已一鳴驚人。據介紹,CynosDB融合了傳統數據庫、雲計算和新硬件的優勢,支持無限量存儲、百萬級查詢和秒級的故障恢復。單節點讀性能達到130萬QPS,超過業內目前最高100萬QPS水平,全面領先國內其他同類產品,而價格只爲市面上商業數據庫的1/15。

更爲可貴的是,CynosDB在產品架構設計上兼容開源數據庫引擎接口,讓企業幾乎無需更改代碼,就可以實現“無縫上雲”。作爲國內首家兼容MySQL和全球第一個兼容PostgreSQL的雲數據庫產品,CynosDB在技術層面的多項創新,讓其具備真正的公有云原生數據庫高性價比、高可用性以及彈性擴展等諸多優勢,助力企業大幅降低“上雲”成本。

比如,採用“日誌即數據庫”技術方案,可以最大限度的減少網絡數據輸入/輸出(IO)。自研的用戶態分佈式文件系統,減少了操作系統上下文切換以及數據在用戶態和內核態之間拷貝引起的性能損耗,爲企業後期業務擴展留下空間。另外,CynosDB 的“可計算智能存儲”進一步滿足企業的實際應用場景,讓企業按實際使用量計費,自動擴縮容。在降低企業開支的同時,輕鬆應對突發的業務規模變化。

根據公開的報道,騰訊雲技術團隊對數據庫內核進行了深度定製,總共進行了近60多項優化。爲了提升系統可用性,CynosDB以軟件優化與新硬件結合爲理念,採用了先進的計算和存儲分離架構,同時實現了計算無節點狀態,支持秒級故障切換和恢復,數據備份時間縮短到60秒之內,速度提升了180倍。

TDSQL:落地勢頭迅猛,國內自主可控雲數據庫典範

在互聯網安全已經上升至國家戰略層面的背景下,如何從底層基礎數據庫層面實現自主可控成爲雲計算廠商不斷追求的目標。TDSQL無疑是騰訊雲數據庫自主可控最典型的代表。實際上,基於微信支付/紅包的複雜業務場景,騰訊一直致力於實現數據庫的自主可控,保證數據強一致性、高可用和水平擴展。金融級分佈式數據庫TDSQL在對內支撐微信紅包業務的同時,對外也正在爲中國金融行業技術自主可控分佈式數據庫解決方案。

以國內首家互聯網銀行微衆銀行爲例,其背後的 IT 基礎架構拋棄了傳統的 IOE,完全採用了互聯網分佈式架構,從 2014 年開始,騰訊雲開始爲微衆銀行提供核心交易數據庫解決方案。TDSQL 在微衆銀行作爲交易核心 DB,部署超過 800 個節點,承載全行所有 OLTP 業務。

微衆銀行副行長兼 CIO 馬智濤也表示:“2017 年微衆銀行將每個賬戶的運營成本降至平均只有 6 元人民幣,僅爲內地傳統銀行的 1/10,相比國際銀行則更低,只有其成本的 2% 至 5%。”

作爲騰訊一款推出時間較長的自主可控數據庫,TDSQL隨着支撐業務規模擴大,以及實際場景的不斷打磨,其核心性能也在突飛猛進。比如TDSQL除了提供計算下推,分佈式事務等特性,也針對OLAP需求演進了TDSpark特性。

簡單來說,是將SQLEngine基於OLAP場景做了修改,保留原生的MySQL協議接入能力。因此業務可以繼續通過訪問MySQL的渠道接入到OLAP-SQLEngine,OLAP-SQLEngine在這個時候不是將分佈式的查詢計劃直接下推到各個數據庫節點,而是引入一箇中間層,目前是通過SparkSQL強大的計算能力能顯著提升複雜SQL的執行性能。爲了確保分析操作與在線的OLTP業務隔離,TDSQL的數據層爲每份數據增加1個watch主數據庫的數據異步節點,確保分析操作與在線業務操作不互相影響。

在實際的落地場景上,TDSQL過去一年的戰績頗豐。比如除了支撐微衆銀行之外、還支持華通銀行、華夏銀行、濰坊銀行、內蒙金谷農商銀行、北京人壽、愛心人壽等衆多銀行和保險公司的互聯網核心生產系統,並已經爲超過500+的政企和金融機構提供數據庫的公有云及私有云服務,客戶覆蓋銀行、保險、證券、互聯網金融、計費、第三方支付、物聯網、互聯網+、政務等領域,得到了客戶及行業的一致認可。

TencentDB for MySQL:生態建設更加完善

在世界上最流行的開源關係數據庫MySQL領域,除了性能的不斷完善之外,騰訊雲更加生態層面的建設,比如,騰訊雲MySQL2018年重大的性能突破之一是實現秒級監控。日常監控支持60秒粒度,覆蓋連接訪問、數據庫負載、查詢緩存、存儲引擎等七十餘項重要指標,可全方位監控數據庫運行狀況。

十五項數據庫核心性能指標支持秒級的實時監控,可幫助用戶及時掌握實例運行狀況,快速定位實例性能問題。自定義資源閾值告警,可幫助用戶知曉 DB 運行中的問題。它將問題及時反饋給運維人員,幫助您快速響應數據庫問題。提供慢查詢分析報告和 SQL 完整運行報告下載,幫助您瞭解影響數據庫性能的因素。

另外,生態化建設中的至關重要的遷移和訂閱的功能也全面上線。比如騰訊雲數據傳輸服務(Data Transmission Service,DTS)支持 MySQL、MariaDB、PostgreSQL、Redis、MongoDB 等多種關係型數據庫及NoSQL數據庫遷移,可幫助用戶在業務不停服的前提下輕鬆完成數據庫遷移上雲,利用實時同步通道輕鬆構建高可用的數據庫容災架構,通過數據訂閱來滿足商業數據挖掘、業務異步解耦等場景需求。

這個功能具有很強的實際應用價值,比如很多用戶希望系統遷移時不影響業務提供服務。然而在遷移過程中,不停服就無法保證遷移數據的一致性。針對這樣的問題,藉助騰訊雲數據傳輸服務DTS提供的數據遷移功能,就可以全面滿足用戶不停服遷移的需求,用戶只需要通過簡單的幾步設置,即可完成數據從本地遷移上雲的一系列繁瑣工作。

目前,數據傳輸服務DTS已實現全Web化操作,控制檯點擊操作即可實現自動數據遷移,無需人工值守。

CTSDB和MongoDB:佈局未來,搶佔制高點

正如上面提到,隨着5G時代的到來,針對於物聯網、大數據和互聯網監控等擁有海量時序數據的場景,騰訊雲重兵佈局時序數據庫,騰訊雲推出的CTSDB不僅可以降低數據存儲成本也能簡化日常運維工作。

CTSDB(Cloud Time Series Database) 是一種分佈式、高性能的時序數據庫,針對時序數據的高併發寫入、存在明顯的冷熱數據、IoT 用戶場景等做了大量優化。作爲騰訊唯一的時序數據庫,CTSDB 支撐了騰訊內部20多個核心業務 ,包括微信彩票、財付通、雲監控、雲數據庫、雲負載等。其中,雲監控系統記錄了騰訊內部各種軟硬件系統的實時狀態,CTSDB 承載了它所有的數據存儲,在每秒千萬級數據點的寫入壓力、每天 20TB+數據量的寫入場景下穩定運行,足以證明CTSDB可以穩定支撐物聯網的海量數據場景。

另外,針對小遊戲的風口,以及小遊戲行業需求變化很快的特點,騰訊雲MongoDB特別適用遊戲後端數據庫,無固定 schema 的模式可以免去變更表結構的痛苦,大幅度縮短版本迭代週期,同時,還可以將 MongoDB當作緩存服務器使用,合理規劃熱數據。

目前,騰訊雲數據庫MongoDB已經支撐數款日活峯值20000w且流水上億的微信小遊戲。這些都緣於騰訊雲MongoDB獨特的性能特性,比如,騰訊雲數據庫MongoDB是國內唯一提供表級監控的雲廠商。除此之外,騰訊雲MongoDB也是國內唯一提供提供庫表回檔服務的雲數據庫,爲客戶提供更細粒度回檔服務。舉個例子,例如有一天遊戲的某個模塊上線之後,發現有用戶在刷錢,分析發現因爲一個Bug引起的,此時如果直接強制性把用戶的錢收回來是非常不合理的,有了這個功能後,此時僅需要把這個bug引起的庫表進行回檔就可以。

開源:與MariaDB基金會戰略合作,共建全球開源生態圈

騰訊雲數據庫過去的一年成績斐然,除了產品技術領域的不斷突破和進化,在開源領域的佈局也值得一提,據瞭解,12月份,騰訊雲宣佈與MariaDB基金會正式簽署戰略合作協議,2019年,騰訊雲將繼續以白金會員身份爲基金會的發展提供強有力的資源支持,與MariaDB全球用戶和開發者一道,共建開放共贏的全球開源生態圈。

騰訊雲自去年成爲該基金會白金會員以來,深度參與基金會的各項會議與決策。同時,騰訊雲數據庫內核團隊持續輸出騰訊在MariaDB數據庫上的經驗和技術,推動MariaDB的版本迭代和功能更新。

比如,在InnoDB引擎層面,TXSQL在MariaDB 改進的基礎上做了進一步的優化,使系統吞吐量較Oracle MySQL 版本提升了20%;在聚合運算層面,TXSQL內核對聚合運算也做了特別的優化,極大的提升了數據庫的查詢性能,如sum聚合,在數據量爲100萬的條件下達到7倍左右的性能提升。

“一年以來,騰訊云爲MariaDB內核功能完善做出了突出貢獻,騰訊雲數據庫對TXSQL的現有修改將持續貢獻給MariaDB代碼庫。騰訊雲在數據庫領域的深厚積累,將推動MariaDB構建持續創新的開源生態。和騰訊雲的持續合作,將幫助MariaDB成爲開源數據庫領域的典範。”MariaDB基金會CEO Arjen Lentz表示。

此文已由作者授權騰訊雲+社區發佈

搜索關注公衆號「雲加社區」,第一時間獲取技術乾貨,關注後回覆1024 送你一份技術課程大禮包!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章