原创 健康碼—7天，支付寶“健康碼”怎樣從杭州跑遍全國！有人連續30小時沒閤眼
紅、黃、綠三色的健康碼，從2月9日在杭州餘杭區率先推出，之後杭州全市推廣，浙江11地市全部上線，到2月16日，國務院辦公廳電子政務辦指導支付寶加速研發全國統一的疫情防控健康信息碼，只用了7天時間。 這份杭州向全國交出的優秀答卷，不僅僅是一個
2021-01-26 16:52:56
7
原创 成都TOCC—智慧城市交通建設
大數據賦能城市交通，智慧出行安全更高效 藉助阿里雲強大的運算能力和動態擴展能力，成都TOCC高效打通同一時空領域內各類交通信息，滿足大流量、高併發、準實時的城市交通複雜數據處理需求。 成都交通運行協調中心（Transportation Op
2021-01-26 15:55:49
2
原创 企業IT採購最佳時機 阿里雲雙11來襲：百款超低價產品普惠上雲
突出其來的一場疫情讓數字化迅速成爲全社會熱點，在消費數字化浪潮中誕生的雙11，也通過雲計算不斷幫助企業降低成本、提高效率。 近日，阿里雲也開啓了2020雙11上雲狂歡節，推出數百款超低價產品普惠，幫助企業全面擁抱數字化，最多可幫助企業降低I
2020-10-30 10:55:52
2
原创 什麼是物聯網？常見IoT 物聯網協議最全講解
推薦語：這是一本從技術原理、工程實踐、設計模式和最佳實踐4個維度講解物聯網系統開發的著作，是作者10餘年實踐經驗的總結。 付強，某智慧社區企業的聯合創始人兼CTO，資深IoT技術專家，有10餘年從業經驗，專注於物聯網平臺和產品的設計與開發，
2020-10-19 14:43:50
8
原创 淺談MaxCompute資源規劃管理及評估
一、MaxCompute資源規劃背景介紹 MaxCompute資源主要有兩類：存儲資源、計算資源(包含cpu和內存)。存儲資源用於存儲MaxCompute的庫表數據，計算資源用於運行sql、mr等任務。最佳的MaxCompute資源規劃方案
2020-10-16 14:22:51
3
原创 數據湖 VS 數據倉庫之爭？阿里提出大數據架構新概念：湖倉一體
隨着近幾年數據湖概念的興起，業界對於數據倉庫和數據湖的對比甚至爭論就一直不斷。有人說數據湖是下一代大數據平臺，各大雲廠商也在紛紛的提出自己的數據湖解決方案，一些雲數倉產品也增加了和數據湖聯動的特性。但是數據倉庫和數據湖的區別到底是什麼，是技
2020-10-15 15:34:46
10
原创 Serverless Spark的彈性利器 - EMR Shuffle Service
背景與動機 計算存儲分離下的剛需 計算存儲分離是雲原生的重要特徵。通常來講，計算是CPU密集型，存儲是IO密集型，他們對於硬件配置的需求是不同的。在傳統計算存儲混合的架構中，爲了兼顧計算和存儲，CPU和存儲設備都不能太差，因此犧牲了靈活性，
2020-09-28 14:28:49
1
原创 【數據湖開發治理篇】——數據湖開發治理平臺DataWorks
數據湖的定義： wikipedia中對於數據湖的定義是：“A data lake is a system or repository of data stored in its natural/raw format, usually obj
2020-09-28 14:28:49
1
原创 數據湖構建服務搭配Delta Lake玩轉CDC實時入湖
什麼是CDC Change Data Capture(CDC)用來跟蹤捕獲數據源的數據變化，並將這些變化同步到目標存儲(如數據湖或數據倉庫)，用於數據備份或後續分析，同步過程可以是分鐘/小時/天等粒度，也可以是實時同步。CDC方案分爲侵入式
2020-09-27 14:01:53
8
原创 雲原生計算引擎挑戰與解決方案
雲原生背景介紹與思考 圖一是基於ECS底座的EMR架構，這是一套非常完整的開源大數據生態，也是近10年來每個數字化企業必不可少的開源大數據解決方案。主要分爲以下幾層： ECS物理資源層，也就是Iaas層 數據接入層，例如實時的Kafka，
2020-09-27 14:01:53
1
原创 多引擎集成挖掘湖上數據價值
數據湖已經逐步走到了精細化的管理，這意味着原始的計算引擎直接讀寫存儲的方式應當逐步演變爲使用標準方式讀寫數據湖存儲。然而“標準方式”實際上並無業界標準，與具體的計算引擎深度綁定，因此，支持計算引擎的豐富程度也就成了衡量數據湖的一個準則。 阿
2020-09-24 16:28:50
2
原创 數據湖架構，爲什麼需要“湖加速”？
在開源大數據領域，存儲/計算分離已經成爲共識和標準做法，數據湖架構成爲大數據平臺的首要選擇。基於這一範式，大數據架構師需要考慮三件事情： 第一，選擇什麼樣的存儲系統做數據湖(湖存儲)？ 第二，計算和存儲分離後，出現了性能瓶頸，計算如何
2020-09-23 17:34:56
1
原创 JindoTable數據湖優化與查詢加速
概述 近幾年，數據湖架構的概念逐漸興起，很多企業都在嘗試構建數據湖。相比較大數據平臺，數據湖在數據治理方面提出了更高的要求。對於數據湖場景所提出的新需求，“傳統”的大數據工具在很多方面都面臨着新的挑戰。JindoTable 正是專爲解決數據
2020-09-22 17:07:54
1
原创 用盡每一寸GPU，阿里雲cGPU容器技術白皮書重磅發佈！
背景 雲原生已經成爲業內雲服務的一個趨勢。在雲原生上支持異構計算，這個功能在標準的Docker上已經可以很好的支持了。爲了進一步提高GPU的利用率、避免算力浪費，需要在單個GPU上可以運行多個容器，並且在多個容器間隔離GPU應用，這在標準的
2020-09-21 16:55:50
10
原创 程序員：寫作能收穫什麼？
你有寫作的習慣嗎？很多程序員的回答是：我爲什麼要寫作呢？很多人覺得寫作是一件有難度的事情，其實寫作的動機就藏在日常工作中，那些在醞釀中的奇思妙想，那些稍縱即逝的編程思路，那些金光閃閃的 debug 瞬間……都是寫作的素材。 輸出是最好的
2020-09-17 09:43:51
12