阿里雲智能基礎產品技術月刊 2019年11月 ——永不停機的計算服務

一、 商用產品技術

TOP1 2864億成交額的背後 阿里雲存儲系統盤古2.0穩如磐石
2019全球天貓購物狂歡節創下了2864億的商業奇蹟,作爲雲基礎設施的穩定和性能引擎,阿里雲自研的分佈式存儲系統盤古 2.0 提供穩如磐石的可靠性服務。隨着塊存儲 ESSD 雲盤大規模應用,盤古2.0順利支撐了數據庫、中間件、MetaQ、Sigma 在線服務、螞蟻金服、菜鳥網絡等交易鏈路,賦能阿里經濟體雙十一核心系統 100% 上雲。

TOP2 操作系統、JVM、編譯器產品支撐了集團上雲重要核心場景,構築了雙十一穩固、先進的基礎設施
內核層面解決了 BLINK,PAI,容器平臺混部等業務上雲關鍵的技術障礙,而且第一次在萬臺規模服務器上使用了NUMA 方案,並通過 SPEED 平臺的量化分析證明了方案的巨大性能提升,證明基於原生社區構建基礎軟件的技術演進是成功的。明星產品 ali-diagnose解決了一系列重大關鍵的壓測問題,保障了零點大促穩定高效。JVM靜態編譯timeout應用實現了雲上應用極速啓動。袋鼠安全容器首次上線雙11支持PAI和ASI的混合部署,爲後續全面升級到基於袋鼠的新混部方案打下了基礎。

TOP3 專有網絡VPC單租戶支持實例規模世界第一,完美支持集團雙11大促核心系統全部上公有云
2019集團雙11大促阿里巴巴核心系統全部上公共雲,這就要求公共雲上構建超大規模雲上虛擬數據中心。VPC團隊另闢蹊徑通過混部內存共享技術,路由relay技術,解決了超大容量vpc內存佔用過大,路由更新收斂慢等業界難題,突破重重限制,在公有云上構建了全球最大的VPC網絡,平穩支撐雙11單vpc承載數十萬容器實例的苛刻需求,爲雙十一的電商和支付等核心業務提供了簡潔可靠、低延遲、高吞吐的雲網絡。

  • 阿里雲發佈混合雲CPFS一體機,爲傳統行業客戶擁抱雲轉型提供最佳利器
    12月2日,在廣州峯會上,阿里雲對外正式發佈混合雲CPFS一體機,它可支持單機最大2.6GB/s吞吐能力,單集羣可擴展至9620個節點,數百GB/s的吞吐,爲海量數據的處理提供分佈式閃存加速。同時,混合雲CPFS一體機支持多副本、糾刪碼等數據冗餘模式,爲客戶的數據提供超高可靠性的保障,並可快速檢測壞盤與服務節點宕機,實現秒級故障檢測。

存儲容量單位正式公測,首款通用存儲售賣形態全球首發
存儲容量單位包(Storage Capacity Unit,以下簡稱SCU)正式上線公測,可以用來抵扣多種不同類型雲盤的按量付費賬單。相比於隨雲服務器預付費購買的模式,SCU與按量付費雲盤的組合使用,兼具性價比與資源使用的靈活性。

  • 快照服務升級——單盤最多創建並保留1000個自動快照
    快照是某一時間點一塊雲盤或共享塊存儲的數據狀態文件。常用於數據備份、數據恢復、製作自定義鏡像、應用容災等場景。爲了滿足更嚴格的數據合規要求以及提供更安全的數據保護服務,阿里雲快照服務進行了重大優化升級,單雲盤可創建並保留1256個快照,其中包含256個手工快照以及1000個自動快照。

文檔鏈接:https://help.aliyun.com/document_detail/25391.html?spm=a2c4g.11186623.6.797.307f341fv4mGxD

  • SLS與阿里雲費用中心共建推出“成本管家”APP,解決企業客戶上雲後面對的成本結構複雜,費用難以預測的普遍性問題
    SLS與阿里雲費用中心基於日誌服務既有功能共建推出“成本管家”APP。成本管家APP有數據採集、分析、預測、預警和可視化報表的能力,能呈現給客戶預定製的報表,並支持基於SQL的交互式分析功能。幫助解決企業客戶上雲後面對的成本結構複雜,費用難以預測的普遍性問題。
  • ALIYUN::ROS::CustomResource發佈
    可以支持非阿里雲資源,如AWS EC2,滿足支持混合雲的GAP。

運維編排功能升級,告警觸發器正式發佈,通過雲監控的監控項設定告警閾值,通過告警觸發預定義的模板執行,完成自動化運維操作,實現故障自愈的效果,如當ECS實例的cpu使用率超過90%時,觸發告警,自動執行從負載均衡解綁,修復實例再掛載的操作。
運維編排體驗升級,控制檯上線批量操作實例快捷頁面,對於有多臺實例批量執行腳本命令或啓停等操作的場景,無需遠程連接實例和編寫模板,在控制檯輸入要執行的腳本命令後,便可以快速選擇實例進行批量操作,同時支持tag篩選、併發和批次策略等自定義選項,進一步降低自動化運維門檻。
彈性容器實例 ECI 支持資源組創建和出賬。適用於企業根據業務部門進行分賬和分業務資源管控。
彈性容器實例 ECI 鏡像緩存特性正式Release,支持ImageCache 鏡像緩存創建時指定快照盤大小,支持到期刪除。
彈性容器實例 ECI 發佈對用戶自建prometheus、自建日誌系統的支持。

  • 阿里雲微服務引擎 MSE 1.4.0 版本重磅發佈
    在已有ZooKeeper引擎的基礎上,增加了對 Nacos和Eureka 的支持,同時在監控趨勢圖中添加了監控指標的自定義報警通知功能,通知方式支持短信、郵件和釘釘機器人,覆蓋上海、杭州、北京和張家口region。詳情:https://yq.aliyun.com/articles/727791
  • 阿里雲 Serverless 應用引擎(SAE)發佈 v1.2.0,最高可節省57%閒置計算資源
    阿里雲首款面向應用的Serverless PaaS 產品 - Serverless應用引擎(SAE)重磅升級,支持一鍵啓停、NAS 存儲、小規格實例等實用特性。詳情:https://yq.aliyun.com/articles/727869
  • 企業級應用分佈式服務 EDAS 升級微服務治理能力,推出離羣實例摘除功能
    企業級應用分佈式服務 EDAS升級微服務治理能力,推出離羣實例摘除功能,該功能可以檢測 Spring Cloud 和 Dubbo 應用實例的可用性並進行動態調整,以保證服務成功調用,從而提升業務的穩定性和服務質量。詳情:https://help.aliyun.com/knowledge_detail/145690.html
  • 應用實時監控服務ARMS 發佈新版本
    該版本完成了X-Trace與ARMS調用鏈打通,支持Agent版本/前端版本的灰度發佈功能,剝離了產品對Dauth的依賴,上線支持應用分組報警功能,微服務OneAgent支持優雅下線正式發佈,Prometheus監控新增對Flink/ApiServer等默認大盤的支持。
  • 全新一代VPC硬件網關支持集團雙11大促,流量洪峯下業務網絡如絲般柔滑
    2019集團雙11大促阿里巴巴核心系統全部上公共雲,傳統的X86架構已經滿足不了如此大帶寬需求,爲了應對暴漲的流量洪峯,保障雙十一的穩定性,雲網絡團隊重點投入研發軟硬件結合的XGW2.0網關,雙11集團張北,上海,深圳三大region公網和專線業務全面切換到XGW2.0架構。雙十一期間,XGW2.0集羣穩如磐石,波瀾不驚,業務上雲絲般柔滑。
  • 網絡產品全面支持基於ARM服務器構建,滿足客戶特定場景需求
    網絡產品VPC、SLB等全部產品全面完成國產化ARM適配工作,在NU20環境完成POC,並將在專有云中率先使用,滿足特定客戶對ARM服務器有特定需求的場景。
  • SLB上線跨region掛載RS等新功能上線,滿足客戶多場景應用
    SLB最近發佈了多個功能,SLB For CEN功能,極大的豐富了用戶的組網場景,將SLB的入口流量調度到不同地域的ECS上,完善了雲間網絡流量調度;一鍵替換證書功能,可解決大客戶更換證書時大量的重複工作,以及漏刷證書等運維上的痛點;新版健康檢查功能,解決了老版健康檢查中用戶無法查看轉發規則中RS的健康檢查狀態的問題,用戶可以更清晰的觀察到自己的業務運行情況。
  • 容器服務ACK集羣擴容能力增強,支持多可用區擴容,支持掛載多數據盤
    ACK持續增強集羣擴容能力,與集羣創建保持一致,現用戶可選擇多個可用區進行擴容。此外,擴容的節點可掛載多塊數據盤,同時用戶可將數據盤設爲加密盤。
  • 容器服務ACK集羣節點能力增強,支持自定義腳本、tag、OOS
    ACK增強集羣節點能力,用戶可在集羣創建和擴容時爲節點添加自定義腳本(userdata)(白名單開放),該自定義能力對於一些需要特定節點OS的用戶來說具有重要意義,用戶無需打包自定義鏡像,而是直接將腳本注入到標準鏡像中,大大增強了靈活性。節點tag則爲用戶在節點資源分賬上提供了便捷,該功能在節點自動伸縮功能中支持。OOS是運維編排服務,ACK節點在節點維護功能中加入了OOS的對接,用戶可從ACK中跳轉到OOS界面,爲ACK節點執行OOS運維腳本。
  • 容器服務ACK Serverless Kubernetes支持多可用區,日誌審計,統一CCM
    Serverless Kubernetes自2.0架構更新以來,持續強化雲原生的一致性體驗。本月新增多可用區功能、日誌審計功能,同時創建服務時所需的CCM管控組件也和標準Kubernetes保持了一致。標準Kubernetes的能力將進一步在Serverless Kubernetes上體現。
  • 容器服務ACK集羣支持vGPU資源
    ACK增強AI、大數據計算領域的能力,對接公共雲vGPU基礎設施資源(vgn5i)。現在起,可以創建vgn5i型資源的容器集羣了。
  • 容器服務ACK 雲原生網絡Terway支持ENI緩存
    Terway是基於阿里雲ENI技術的容器網絡插件,該功能使得Terway會在集羣節點初始化時創建一個ENI緩存池,預先初始化一定數量的ENI IP,這將一定程度上加速Pod的創建,提升用戶體驗。
  • 容器服務ACK CCM支持用戶ECS掛載到SLB後端
    CCM是管理Service掛載到SLB的系統組件,一般情況下Service所在的集羣節點都會掛載到SLB後端。該能力可使用戶集羣外的節點接入到SLB後端,與容器應用的Service共同承擔外部流量的訪問,這在用戶存量應用遷移、灰度等場景中非常有用處。
  • 專有云安全V3.10版本發佈SOC、雲防火牆、內網流量監控產品
    1、專有云安全SOC:提供全局租戶安全和平臺安全統一管理能力和API,滿足專有云大型集團和行業客戶集中安全運營和等保2.0集中管控要求。

2、專有云南北向防火牆:提供專有云原生化南北向邊界隔離管控和防護能力,讓專有云邊界安全不裸奔。
3、專有云內網流量審計:專有云內網專線流量監控(CBeaver)發佈,全面深度採集分析專有云CSW側入出流量十元組和DPI,發現異常流量和高級攻擊,及進行防禦和取證,應對互聯網邊界及內網風控需求。

  • 訪問控制(RAM)支持用戶憑證報告和AK最後使用時間查詢功能
    訪問控制(RAM)是阿里雲提供的管理用戶身份與資源訪問權限的服務。RAM最新推出了用戶憑證報告功能,您可以登錄RAM控制檯(https://ram.console.aliyun.com/),在概覽頁點擊“下載用戶憑證報告”獲取一個csv格式的文件,其中列出了您的雲賬號和所有RAM用戶的登錄憑證信息,包括控制檯登錄密碼、訪問密鑰(AccessKey)和多因素認證。您可以定期下載用戶憑證報告,以實現對用戶登錄阿里雲情況的審計。 此外,在每個用戶的詳細頁面,如果該用戶創建了訪問密鑰,您可以看到訪問密鑰的最後使用時間,以幫助您確認訪問密鑰的使用情況,以避免誤刪除正在使用中的訪問密鑰。 文檔鏈接: https://help.aliyun.com/document_detail/143477.htm

二、 技術項目進展

TOP1 ECS本地SSD盤實例:單機突破500萬性能
ECS本地SSD盤實例資源助力OceanBase登頂TPC-C!阿里雲推出公開的測試平臺,OceanBase的數據庫服務器使用的是204+3臺型號是ecs.i2.16xlarge阿里雲ECS服務器,其中204臺作爲datanode,還有3臺作爲root node。在企業級最高性能的NVMeSSD和阿里雲全鏈路的讀寫性能優化之下,I2提供超高存儲IO能力,實現超低的微秒(us)級別訪問時延,超高的百萬+級IOPS,超大的10+GBps級別吞吐能力,帶來數據庫更快的響應速度和處理能力,對應的實例規格是“本地SSD型實例規格族i1、i2、i2。塊存儲團隊通過對多隊列,mempool ,nvme io接口,driver 等多方面進行技術攻關最終實現了極致的IO 性能

TOP2 女媧池化/服務化在迭代開發中
前端技術:sysbench 256線程OLTP模型下shmq CPU消耗稍高,繼續完善polling機制減少空轉
後端集羣:完成recovery框架併合入主線;完善orphan file空間回收;完成磁盤心跳的檢測方案設計與優化
DBFS Master:交付租戶的增加,刪除及展示功能;設計QoS指標方便神農監控與展示

TOP3 完成StackGroup設計&評審
進入技術演進階段,可賦能跨用戶和跨域部署管理的能力,預計12月底可以上線

三、 學術、科研、技術成果

TOP1 阿里雲基礎軟件作爲企業代表進入CCF專委會,持續貢獻社會服務並提升阿里雲技術影響力
2019年11月22日,CCF系統軟件專業委員會年會於杭州召開,基礎軟件部高級技術專家希伯當選CCF系統軟件專委的常務委員,同時兼任CCF軟件工程專委的常務委員。阿里雲基礎軟件持續貢獻社會服務,並提高在學術領域的影響力。

TOP2 阿里巴巴再獲得一個OpenJDK Committer席位
在阿里巴巴,AZul, Redhat,Datadog共同推動下,JFR技術有望在明年初進入Java的標準分發版本。隨着雲計算時代大幕拉開,OpenJDK社區被越來越多的公司參與。

TOP3 OpenMessaging榮獲第十八屆中日韓東北亞優秀開源項目
OpenMessaging項目由阿里巴巴發起,與雅虎、滴滴出行、Streamlio公司共同參與創立,項目意在創立廠商無關、平臺無關的分佈式消息及流處理領域的應用開發標準。經歷了幾年的發展,OpenMessaging吸收包括日本雅虎,EMQ加入,目前爲止全球有十多家開源項目與雲廠商會員加入,榮獲第十八屆中日韓東北亞優秀開源項目

  • 阿里雲通過ISO/IEC 27701:2019標準認證 拿下隱私保護認證“全滿貫”
    近日,阿里雲獲得由國際知名標準認證機構BSI頒發的ISO/IEC 27701:2019隱私保護認證,這是業內最具權威性的隱私管理體系建設指導標準,再一次體現了阿里雲堅守用戶數據隱私保護的承諾。截止目前,阿里雲已經獲得包括ISO/IEC 27701:2019、ISO/IEC 29151:2017、ISO/IEC 27018:2014、BS 10012:2017在內的所有關於隱私保護標準認證的“全滿貫“。
  • 《CNCF x Alibaba 雲原生技術公開課》總學習人數 14009 人
  • CCF專委、存儲領域的青年學者來團隊進行講座和交流
    爲增強團隊和CCF專業委員會之間的產學合作,提升存儲團隊對學界前沿研究的瞭解和交流,11.29號特邀CCF專委、存儲領域的青年學者來團隊進行講座和交流。約90+存儲團隊的同學參加了分享會,並就講座進行了熱烈的提問和溝通。

11.29號下午,CCF青年專委清華大學陸游遊教授、中國科技大學李永坤教授、香港中文大學Patrick P. C. Lee教授和哈爾濱工業大學夏文教授和存儲團隊的東平、文翠、慧霸、儲道、李非、善陽、王勇、文輝等同學溝通了企業中的問題和前沿的技術研究熱門議題,期望在產學合作上探索出新的合作模式和學生培養方法。

  • 快存儲團隊技術成果
    思傑(一種高效的塊存儲虛擬化端接入模塊的熱升級方法);凌一(一種異構存儲系統中的數據分配算法);

磨利(一種基於用戶信息的單雲盤級智能流控裝置);張航(一種新型消息隊列的流控裝置)

  • 阿里雲對象存儲服務OSS榮獲“2019年度百易獎”中的“2019雲存儲軟件產品金獎”
  • 阿里雲混合雲備份服務HBR榮獲“2019年度百易獎”中的“2019年度數據保護產品創新獎”

四、阿里雲佈道師風采

TOP1 阿里雲佈道師計劃負責人還劍發表《阿里雲的ToB基因來自哪兒》
在知名人工智能新媒體平臺新智元上,還劍發表《阿里雲的ToB基因來自哪兒》重磅文章,以淺顯的語言和清晰的邏輯,闡釋阿里巴巴誕生20年來對ToB能力的積累,爲阿里雲的ToB戰役添磚加瓦。

TOP2 圭多直播《阿里雲開放平臺:Why?What?How?》
阿里雲開放平臺負責人圭多在阿里雲佈道師等多個釘羣同時直播《阿里雲開放平臺:Why?What?How?》,針對阿里雲開放平臺的三大方向:企業IT治理、開放API、企業工作臺,全面介紹了開放平臺的現狀和發展方向。

(完)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章