原创 15分鐘構建超低成本數據大屏:DataV + DLA

第一步:準備低成本存儲的業務數據和DLA表OSS(https://www.aliyun.com/product/oss)是雲上低成本數據存儲的優選方案DLA(https://www.aliyun.com/product/datalakean

原创 基於 DataLakeAnalytics 做跨地域的數據分析

在阿里雲上,很多客戶的應用都是多地域部署的, 比如在北京(cn-beijing)的地域部署一個應用讓北方的客戶訪問快一點,同時在杭州(cn-hangzhou)地域部署一份讓南方的客戶訪問快一點。多地域部署之後,業務數據被拆成了多份,而各個地

原创 Data Lake Analytics,大數據的ETL神器!

0. Data Lake Analytics(簡稱DLA)介紹數據湖(Data Lake)是時下大數據行業熱門的概念:https://en.wikipedia.org/wiki/Data_lake。基於數據湖做分析,可以不用做任何ETL、數

原创 Data Lake Analytics + OSS數據文件格式處理大全

0. 前言Data Lake Analytics是Serverless化的雲上交互式查詢分析服務。用戶可以使用標準的SQL語句,對存儲在OSS、TableStore上的數據無需移動,直接進行查詢分析。目前該產品已經正式登陸阿里雲,歡迎大家申

原创 記錄一次MySQL兩千萬數據的大表優化解決過程,提供三種解決方案

問題概述使用阿里雲rds for MySQL數據庫(就是MySQL5.6版本),有個用戶上網記錄表6個月的數據量近2000萬,保留最近一年的數據量達到4000萬,查詢速度極慢,日常卡死。嚴重影響業務。問題前提:老系統,當時設計系統的人大概是

原创 基於MaxCompute的媒體大數據開放平臺建設

隨着自媒體的發展,傳統媒體面臨着巨大的壓力和挑戰,新華智雲運用大數據和人工智能技術,致力於爲媒體行業賦能。通過媒體大數據開放平臺,將媒體行業全網數據彙總起來,藉助平臺數據處理能力和算法能力,將有價值數據內容和能力開放給用戶。本文主要從新華智

原创 海量大數據大屏分析展示一步到位:DataWorks數據服務+MaxCompute Lightning

1. 概述數據服務(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks產品家族的一員,提供了快速將數據表生成API的能力,通過可視化的嚮導,一分鐘“零代碼”就可以生成API,讓API開發從未

原创 基於MaxCompute打造輕盈的人人車移動端數據平臺

以下內容根據演講視頻以及PPT整理而成。一.人人車數據平臺快速搭建,一年時間完成6大平臺的搭建基於阿里雲平臺上成熟的技術,人人車企業只用了一年時間便實現了6大數據平臺的設計與搭建,其中包括:Jarvis-BI報表平臺、Metadata-元數

原创 從前端程序員的視角看小程序的穩定性保障

當我們談業務穩定性的時候,通常是指後端工程師從架構的角度來看的,例如限流和降級、流量調度、業務開關、容量壓測等,但監控也是整個業務穩定性建設中不可或缺的一環,例如對業務和前端的監控,以保證出現問題的時候,可以第一時間找到根因所在。今天,我們

原创 Spring Cloud Alibaba遷移指南(一):一行代碼從 Hystrix 遷移到 Sent

自 Spring Cloud 官方宣佈 Spring Cloud Netflix 進入維護狀態後,我們開始製作《Spring Cloud Alibaba遷移指南》系列文章,向開發者提供更多的技術選型方案,並降低遷移過程中的技術難度。第一篇,

原创 用戶測評 | EDAS Serverless 上手體驗

最初, 是因爲對 Serverless 這一概念感興趣, 所以開始試用阿里雲函數計算,使用過程中感受到了函數計算快速、按需付費和彈性伸縮等方面的優勢,隨後我在天氣預報、發送短信等場景下開始了更深的體驗,並開始接觸 EDAS Serverle

原创 更好用的集羣限流功能,Sentinel 發佈 v1.4.2

Sentinel 發佈 v1.4.2 正式發佈,該版本主要變更如下:特性/功能改進新增 Zuul 1.x 適配模塊(sentinel-zuul-adapter),結合集羣限流特性可以更好地在 API Gateway 發揮流控的作用熱點參數限

原创 Spring Cloud Alibaba遷移指南(二):零代碼替換 Eureka

自 Spring Cloud 官方宣佈 Spring Cloud Netflix 進入維護狀態後,我們開始製作《Spring Cloud Alibaba遷移指南》系列文章,向開發者提供更多的技術選型方案,並降低遷移過程中的技術難度。第二篇,

原创 時序數據庫連載系列:指標屆的獨角獸Prometheus

簡介Prometheus是SoundCloud公司開發的一站式監控告警平臺,依賴少,功能齊全。於2016年加入CNCF,廣泛用於 Kubernetes集羣的監控系統中,2018.8月成爲繼K8S之後第二個畢業的項目。Prometheus作爲

原创 Dubbo 生態添新兵,Dubbo Admin 發佈 v0.1

爲了提升 Dubbo 里程碑版本2.7.0的使用體驗,我們於去年年中啓動了 Dubbo Admin 的重構計劃,並作爲Dubbo生態的子項目,於近期發佈了v0.1,重構後的項目在結構上的變化如下:將後端框架從webx替換成spring bo