HBase技術雙週刊第1期:HBase 在人工智能場景的使用

精彩直播

HBase多模式,包括 分析層:支持複雜分析、算子下推;多模式層:提供各種模型轉換,貼切業務;索引引擎:提供索引支持,基於 Lucene ;存儲引擎:提供 KV 支持,基於LSM;分佈式文件層:保障低成本、與上層分離、共享降低成本。本次直播,阿里雲數據架構師明惠就爲大家分享HBase多模式。

HBase內核及能力包括:HBase的特性與生態:自動分區、LSM Tree、存儲計算分離、HBase生態;全新的HBase2.0版本新功能:小對象存儲MOB、讀寫鏈路Off-heap 、Region Replica 、In Memory Compaction 、Assignment MangerV2。在本次直播中,阿里巴巴技術專家正研就將爲大家分享HBase內核及能力。


  • Spark介紹及Spark多數據源分析
  • 開源大數據處理首選Spark,Spark引擎助力數據構架升級,大數據構架分爲多種系統,如:流式處理系統、離線分析系統、算法分析系統、交互式分析系統,通過阿里多模型數據庫專家沐遠的講解學習Spark並解決各種業務問題。

技術分享

近幾年來,人工智能逐漸火熱起來,特別是和大數據一起結合使用。人工智能的主要場景又包括圖像能力、語音能力、自然語言處理能力和用戶畫像能力等等。這些場景我們都需要處理海量的數據,處理完的數據一般都需要存儲起來,這些數據的特點主要有如下幾點:大、稀疏、列動態變化。

小對象,特別指1K~10MB範圍的數據,比如圖片,短視頻,文檔等廣泛的存在於人工智能,醫療,教育,生活分享,電子商務等領域。HBase 2.0在MOB技術的加持下重新定義小對象實時存取,具有低延遲,讀寫強一致,檢索能力強,水平易擴展等關鍵能力。本文將以一條SQL展開小對象實時存取的方案演進,介紹不同架構的優缺點。然後提供人工智能和醫療方面兩個採用HBase2.0的案例分析。最後總結小對象實時存取的最佳實踐。

阿里雲HBase2.0版本是基於社區2018年發佈的HBase2.0.0版本開發的全新版本。在社區HBase2.0.0版本基礎上,做了大量的改進和優化,吸收了衆多阿里內部成功經驗,比社區HBase版本具有更好的穩定性和性能,同時具備了HBase2.0提供的全新能力。HBase2.0提供的新功能介紹可以參照這篇文章。如果想要申請使用全新的HBase2.0版本,可以在此鏈接申請試用。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章