挖掘企業數據礦產,袋鼠雲數棧(DTinsight)助力企業搭建數據中臺

2017年5月,英國《經濟學人》雜誌發表文章,將數據比作“未來的石油”。自那以後,數據是“21世紀最寶貴的資源”這種觀點便傳播開來。

石油在進入消費領域之前,往往要經歷開採、儲運、煉化等過程。同樣,數據也要經過一系列的採集、加工、萃取,才能爲業務賦能。

那麼,“數據原油”該怎麼加工?誰來加工呢?

作爲國內領先的數據智能踐行者,袋鼠雲依託最新的數據採集、加工處理、數據挖掘、機器學習,深度學習等技術,並結合自身多年數據應用經驗,打造了企業級—站式數據中臺PaaS——數棧DTinsight,致力於構建“全”、“統”、“通”的大數據體系,構建全域數據共享能力中心,助力企業數字化轉型,提升企業競爭力!

一、產品功能

數棧DTinsight架構圖

數棧覆蓋了建設數據中心過程中所需要的各種工具,完整覆蓋離線計算、實時計算應用,滿足開發人員從數據同步、數據分析、數據挖掘、數據質量、數據地圖、數據模型、數據API、即席分析等的各層次應用,解放開發人員的生產力,極大的縮短數據價值的萃取過程,提高企業提煉數據價值的能力。

(一)數據開發平臺

數據開發平臺是一款高效的大數據離線/實時開發工具,集多類型任務開發、任務調度、運維管理於一體,幫助企業提升開發效率,快速完成數據中臺搭建。

離線計算:一站式大數據開發平臺,高效完成數據中臺搭建。

流計算:基於SQL的流計算開發平臺,助力企業實時化、智能化升級。

數據同步:基於自研FlinkX的多源、雙向數據寫入寫出,覆蓋多應用場景。數據同步:支持對10+種存儲系統進行數據讀/寫

(二)數據資產平臺

構建企業資產中心,實現數據資產的的規範化和可視化管理,讓企業對數據“可見”、“可管”、”可知”。

數據地圖:元數據管理與血緣查看,讓數據全生命週期可管可控。

數據質量:多過程和結果數據校驗,及時發現數據質量問題,爲數據準確性保價護航。

數據資源目錄:主題/部門/應用多維管理數據資產,並提供數據共享交換服務。

(三)數據科學平臺

可視化建模與交互式代碼編寫於一體的機器學習作業探索平臺,可實現數據接入、算法研發、模型訓練、模型部署、任務運維等開發場景,幫助企業構建算法服務能力,提供高效、安全、穩定的算法運行環境。

兼容主流機器學習框架,支持豐富且高性能算法組件,滿足多維計算場景。

可視化實驗建模+交互式Notebook,雙開發模式完成機器學習作業探索。

支持模型週期性訓練,並進行快速部署和對外提供服務。

(四)數據服務引擎

集分析引擎、數據API、可視化、BI工具等多服務引擎,爲多維數據應用場景提供數據共享服務,提高數據開放與共享效率,快速釋放數據價值。

數據可視化:高效數據大屏搭建工具,顏值與實力並備,讓數據價值看的見

分析引擎:海量數據秒級查詢,進行數據自由探索

數據API:零代碼快速生成API,全面構建數據業務化能力

二、亮點優勢

1. 一站式產品體系,覆蓋數據全鏈路開發流程

平臺覆蓋全鏈路的數據採集、數據分析、數據挖掘、任務運維、數據質量、數據地圖、數據模型、數據API開放等場景,充分滿足企業建設數據中臺過程中的多樣複雜需求。

2. 兼容開放,與市面多種計算引擎兼容

兼容市面主流大數據平臺,例如:Hadoop、Cloudera、Hortonworks、FusionInsight、GreenPlum等,或者基於數棧自有計算引擎,可以快速完成數

據平臺從0到1的搭建。

3.開箱即用,從入門到熟練開發僅需3天時間

基於WEB的圖形化操作界面,快速上手,屏蔽底層複雜的基礎組件,極大降低企業大數據開發學習門檻,從入門到熟練開發僅需3天時間。

4.彈性輕量,靈活匹配數據中臺階段性建設

最小僅需5臺虛擬機,企業已採購硬件不限硬件廠商、不限型號,不限使用年限,各功能模塊可按需搭配,逐步進行數據中臺建設,降低企業一次性投入成本。

三、產品價值

l PB級計算能力

提供強大的分佈式計算引擎,和多集羣、多租戶機制,給企業提供PB級別的數據計算能力。

l 開發效率提升50%+

一體化的可視化數據開發平臺,涵蓋數據研發全流程,大大提升數據研發、運維的效率。

l 全方位數據監控

數據質量問題全方位監控,幫助企業及時發現數據問題,降低數據引發的風險和損失。

l 十億級數據秒級響應

海量數據秒級響應,支持多維分析和靈活的業務探索等業務場景,是企業大數據基礎建設的加速器。

l 零代碼生成API

零代碼生成API,快速構建數據服務共享中心,並進行數據應用全流程監控。

四、案例分析

(一)旅遊行業

項目背景

票付通爲不同業態的旅遊企業(包括景區、劇場、旅行社、酒店、餐飲、OTA 電商等)實現票務智慧化服務升級解決方案,業務範圍覆蓋全國29個省份、300座城市。

客戶目前面臨以下痛點:

多個系統數據難以打通,面臨數據孤島問題

數據指標產出慢,難以快速支持業務決策

系統壓力大,難以承載海量數據的計算

數據可視化能力弱,開發週期長

數據質量問題多,難以保證業務指標的正確性

數據分析不及時,不準確,人工對賬不清晰

方案設計

基於數棧DTinsight,配置離線計算產品、流計算產品、數據API、數據質量、Easy[V]等產品,幫助客戶快速搭建數據中臺,形成企業級數據資產體系,自動生成銷售報表、渠道分析、客源分析等數據圖表,爲景區統計、分析、決策提供精準有力的數據來源。

項目意義

通過搭建數據中臺,客戶得以打通內外部的所有數據,從而爲平臺商家提供多種的數據增值服務:

全方面的渠道銷售分析

快速完成和商家的對賬

快速支撐數據應用的落地,減少重複建設

景區人流實時預警和監控

景區人流預測,提升景區服務水平

爲商家,景區提供精準營銷服務,提高轉化率和客戶的留存率

(二)金融行業

項目背景

某銀行全行數據挖掘需求不斷增長,數據開發複雜度日益提高,數據體量快速增長。銀行目前迫切需要提升數據質量,爲全行各條線提供完整、準確、及時的高質量數據服務,滿足業務快速迭代需求。

客戶目前面臨以下痛點:

開發工具彼此割裂,需要在多種開發工具之間不斷切換。

調度系統操作較爲複雜,需要數據開發人員手動維護。

生產環境與測試環境相隔離,ETL發佈工作繁瑣,且容易出錯。

建表過程繁瑣,影響數據模型開發進度。

方案設計

基於數棧DTinsight,幫助客戶快速搭建數據中臺,在第一階段,解決LibrA賬號對接、調度系統對接的問題;在二階段解決告警系統對接、標準化建表等需求。

l 項目意義

通過搭建數據中臺,客戶得以實現:

一站式離線數據開發體驗,從數據開發、數據運維、調度系統全鏈路打通;

導入/導出模式發佈上線,極大的減少了開發人員每次發佈的工作量;

賬號對接,基於底層控制數據安全,符合行內的數據安全規範要求;

標準化建表,提高開發人員需求響應效率,縮短繁瑣的建表過程,提高數據模型的規範性。

(三)政府機構

項目背景

2014年,我國社會信用體系建設的首部國家級規劃《社會信用體系建設規劃綱要(2014—2020年)》發佈。某省商務廳根據相關規定,探索建立商務誠信公共服務平臺,建立紅黑名單制度,對守信者實行聯合激勵,對失信者進行聯合懲戒。

方案設計

基於數棧DTinsight,接入政府(工商、商務廳、發改委)與網絡(B2B、B2C、生活服務)的海量數據,在大數據平臺進行大數據的加工處理,完成政府數據中臺搭建,實現數據集成、數倉搭建、信用算法模型訓練等場景,並同時向社會開放企業相關信用數據。

項目意義

通過搭建數據中臺,客戶得以實現:

推進商務誠信體系建設,構建以信用爲核心的流通治理新秩序。

建立全省商貿流通企業誠信體系,爲政府部門進行精準的企業服務提供數據支撐。

打破政府信息和市場信息的壁壘,建立行政信息和市場信息的交互渠道和機制。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章