五大亮點升級,偶數科技數據中臺Lava 3.2新版本發佈

​隨着疫情的離去,近期偶數科技也更新了數據中臺產品Lava 的3.2版本。本次發佈主要在如下五個方面做了優化:

更強大的數據同步工具WASP

數據同步工具是數據中臺必備的工具之一,WASP負責同步異構的業務數據到數據中臺,以構建數據倉庫,該功能可以靈活的應用於多種業務場景。

根據數據同步的方式分爲兩種:全量、增量。本次更新,在原本支持Oracle、DB2、MySQL、Postgres等數據源的基礎上,增加了對HDFS、本地文件、SQLServer、DB2/AS400的支持。增加了新的併發數據同步的任務切分策略,再一次提高了數據同步的效率。

作業調度工具LavaFlow

LavaFlow做了大量的優化的工作,比如:跨作業的任務依賴、超時報警機制、任務支持日期運行條件(如,只在週一執行,否則跳過);可以橫置、縱置,可以摺疊、展開流程圖的分支等等。

其中最大的亮點是沉浸式的在線腳本與作業流程的開發。如下圖所示,該在線開發工具不但可以在線開發SQL、Shell腳本,還可以支持腳本的版本管理,查看歷史版本,比較歷史版本的改動歷史,回退到某一歷史版本等等。

 

第二大亮點是支持高可用,包括在線開發腳本的高可用。某個作業調度的節點宕機,作業調度可以繼續工作並且不會丟失腳本。

數據服務

數據中臺不可或缺的功能模塊,可以把數據的查詢、數據的計算與AI模型封裝成服務,使得第三方應用更方便的使用數據中臺的數據資產、AI模型等。同時可以監控這些服務的調用情況。

 

IDE集成開發環境

數據中臺需要解決的大數據應用相關的問題之一是敏捷開發,數據的快速交付,IDE就是爲此而生。

 

 

衆所周知,Lava大數據平臺包含或者開箱即用的集成了LittleBoy AI建模工具、WASP數據同步工具、LavaFlow作業調度工具、數據服務、AI服務等等。IDE的作用是以項目的方式組織這些大數據開發的任務:數據同步任務、AI訓練任務、AI模型、作業調度作業與任務等等。

 

 

運維模塊

根據大數據各產品與服務的特點,重構了自動部署的框架,使得所有的服務的部署共用一套通用的框架,降低了支持新的服務的自動部署所需開發工作量,提高了自動部署的穩定性與容錯性。

提供了Lava方便易用的系統命令,比如啓動、停止lava集羣的命令:lava start/stop cluster。

統一了日誌目錄,把所有組建日誌目錄統一到/var/log/目錄下。包括數據同步工具WASP、AI與作業調度工具LavaFlow。

 

關於偶數科技

⌈偶數科技⌋是一家領先的AI和大數據產品和解決方案提供商,致力於AI賦能全球各行業客戶。公司的願景和使命是 “讓人類只爲興趣而工作”。偶數科技的產品已在金融、電信、製造、公安、能源和互聯網等行業得到廣泛的部署和應用。目前⌈偶數科技⌋已經獲得⌈紅杉中國⌋與⌈紅點中國⌋的兩輪投資。⌈偶數科技⌋是微軟加速器成員企業,併入選美國著名商業雜誌《快公司》“中國最佳創新公司50”榜單。

如果您喜歡本文請點右下角在看或轉發到朋友圈。

 

更多新聞請點擊:

央行主管《金融電子化》雜誌授予偶數“金融科技產品創新突出貢獻獎”

ITPUB專訪偶數科技:從傳統MPP數據庫到新一代雲原生數據庫

一個成熟數據中臺該有的樣子 | 偶數Lava全面解析

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章