作者：阿里雲消息隊列
前言
在 2023 年杭州雲棲大會上，Confluent 成爲阿里雲技術合作夥伴，在此基礎上，雙方展開了深度合作，並在今天（3月1日）正式上線“雲消息隊列 Confluent 版”。
通過將 Confluent 在 Apache Kafka 領域的專業技術及實戰經驗與阿里雲強大的雲基礎設施及服務體系相結合，基於 Apache Kafka 核心能力構建符合企業級標準的全託管消息隊列服務，爲企業客戶提供更加高效、安全和兼容性更強的雲原生消息隊列解決方案。
詳情請參見： Confluent 與阿里雲將攜手拓展亞太市場，提供消息流平臺服務
什麼是 Confluent Platform？
Confluent 是一家專注動態數據（Data In Motion）的公司，以開源技術 Apache Kafka® 爲核心打造實時的消息流平臺，在業內有着深厚的影響力，已被金融服務、全渠道零售、汽車和遊戲等衆多行業廣泛應用。
Confluent Platform 是一個綜合性的企業級數據流處理平臺，用戶能夠以實時、連續的流形式，輕鬆地訪問、存儲和管理數據。它由 Apache Kafka 的原始創建者開發，不僅繼承了 Kafka 的核心優勢，還通過增加企業級特性來擴展其功能，同時大幅降低了對 Kafka 的管理和監控壓力。Confluent Platform 通過引入高級特性，進一步增強了 Kafka 的能力，旨在加快應用程序的開發和集成，通過流處理實現數據轉換，簡化大規模的企業級操作，並滿足嚴格的體系結構要求。
Confluent Platform 讓用戶專注於從數據中獲取業務價值，而不必擔心底層機制問題 —— 例如，數據如何在不同的系統之間進行傳輸或集成？具體來說，Confluent Platform 極大地簡化了包括將數據源接入 Kafka、構建流應用程序，保護、監控以及管理 Kafka 基礎設施的整個過程。
Confluent Platform 已廣泛應用於衆多行業，如金融服務、全渠道零售、自動駕駛、欺詐監測、微服務和物聯網等。詳情請參見 What is Confluent Platform [ 1] 。
Confluent 成爲現代技術棧的中樞神經系統
Confluent Placement 在 《Forrester Wave™》報告中的位置
《Forrester Wave™》報告由 Forrester Research, Inc. 版權所有。Forrester 和 Forrester Wave™ 是 Forrester Research, Inc. 的註冊商標。Forrester 不對《Forrester Wave™》中所描繪的任何供應商、產品或服務進行背書。信息基於最佳可用資源，並且意見反映的是當時判斷，可能隨時發生變化。
Confluent Platform 與開源 Kafka 的功能對比
雲消息隊列 Confluent 版發佈速覽
什麼是雲消息隊列 Confluent 版？
雲消息隊列 Confluent 版是阿里雲與 Apache Kafka 項目創始團隊所創立的 Confluent 公司合作，在 Apache Kafka 核心能力基礎上爲企業提供的一站式、高效可靠的，集成消息流式處理與大數據系統的一體化解決方案。
利用雲消息隊列 Confluent 版，可以快速構建和擴展與生產集羣規模相匹配的企業級 Kafka Confluent 集羣，有效地應對以下常見痛點：
- 對雲端全託管企業級 Kafka 服務有迫切需求
如果需要雲端全面託管的企業級 Kafka 服務時， 雲消息隊列 Confluent 版能夠提供官方授權的 Confluent Platform 許可證，以經濟高效的途徑獲取全套企業級特性。
- Kafka 集羣搭建及運維複雜性挑戰大
藉助雲消息隊列 Confluent 版的一站式服務， 在短短几十分鐘內高效就能完成從機型選配、集羣部署到消息事件處理的全流程操作，這將極大地節省用戶自行部署和管理集羣大數據系統的所需時間和成本投入。
雲消息隊列 Confluent 版是一個流消息平臺，能夠組織管理來自不同數據源的數據，是一個穩定高效的系統。如下圖所示，它由六個組件構成，分別爲 Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB、Control Center。
說明： 默認情況下，雲消息隊列 Confluent 版集羣 Kafka Broker、Rest Proxy、Connect、Zookeeper、ksqlDB、Control Center 組件的副本數分別爲 3、2、2、3、2、1，也可以根據實際的業務需求設置合適的副本數量。
雲消息隊列 Confluent 版有哪些優勢？
- Apache Kafka 原廠商業化產品
Confluent 團隊傾力打造，其對 Kafka 項目貢獻了超過 80% 的代碼量，並積累了逾百萬小時的技術實戰經驗；在 Apache Kafka 基礎上進行了深度擴展和強化，爲企業客戶提供安全、穩定且性能卓越的企業級流數據處理平臺。
- 高 SLA 保障，數據持久化
確保消息數據持久化存儲於消息隊列中，即使在海量消息堆積情況下，仍可保持集羣的高吞吐能力；提供全自動巡檢運維保障體系，服務可用性 99.95%，確保業務連續性和數據可靠性。
- 免運維，易觀測
提供核心鏈路健康巡檢，集羣自動診斷及異常告警；每個消費組都可以針對消息堆積量設置監控和告警策略，以便及時發現和解決問題；提供完備的管控類 OpenAPI，實現各類資源的管理和運維。
- 開箱即用，無縫遷移
全託管的 Confluent Platform 服務，無需搭建和運維基礎設施環境，真正做到開箱即用；支持無縫遷移現有工作負載，無需修改任何代碼，大幅降低了遷移成本和技術風險，輕鬆享有云計算彈性擴展、高可用和全球部署等優勢。
雲消息隊列 Confluent 版的核心功能
- 多語言開發： 支持各種主流編程語言，如 Java、Python 和 Scala，便於開發團隊使用熟悉的語言構建應用。
- 豐富的內置生態系統： 內置企業級 Connectors，MQTT 代理以及 Schema Registry 等強大的生態工具。
- 全兼容 Apache Kafka： 在 Apache Kafka 強大功能基礎上構建，並始終保持對 Apache Kafka 的兼容性。
- 消息流數據庫 ksqlDB： 基於輕量級 SQL 語句的事件流數據庫，極大地簡化了數據流處理應用的構建過程。
- 雲資源彈性擴展能力： 基於強大的雲基礎設施，獲得靈活且彈性的計算與存儲資源，實現靈活地按需擴展。
- 企業級安全能力： 支持 SSL 認證、RBAC 訪問控制，以及可整合外部 LDAP，提供嚴格的企業級安全保障。
- 企業級解決方案售後支持： 阿里雲與 Confluent 共同提供全天候 24 x 7 x 365 專業客戶服務和技術支持。
- 阿里雲產品集成互聯互通： 阿里雲 Flink、Databricks、EMR 等平臺無縫集成進行數據消費和分佈式計算。
雲消息隊列 Confluent 版的應用場景
-
通用數據流動性
擁抱雲計算，並維護一個持久穩定的數據通道，以確保所有本地、混合雲和多雲環境中的數據同步。在逐步遷移到雲端過程中，開發者能夠充分利用先進的雲計算工具，更高效地構建下一代應用程序。
-
人工智能
人工智能模型的性能優劣很大程度上取決於輸入的數據質量。爲人工智能系統和應用提供實時、上下文相關、高度管控、值得信賴的數據，能夠高效地推動人工智能驅動的應用程序實現規模化生產與交付。
-
客戶洞察與體驗優化
實時響應客戶互動行爲，構建一個全面詳盡的數據視圖，去標識化地分析客戶，以高效的方式實現與客戶的互動——實時跨所有數據孤島和系統，提供個性化的體驗。
-
事件驅動型微服務
通過採用松耦合的微服務架構設計，能夠實現更高的敏捷性和更快的創新。使用 Confluent 將微服務徹底解耦，統一服務間的通信標準，並且有效消除維護獨立數據狀態的繁瑣需求。
雲消息隊列 Confluent 版的版本說明
雲消息隊列 Confluent 版對外提供兩個版本，不同版本提供的功能不同，價格也不相同，詳情請參見計費說明 [ 2] 。
版本的功能對比如下：
如何快速上手雲消息隊列 Confluent 版？
- 集羣資源規格評估
對於雲消息隊列 Confluent 版集羣來說，影響資源使用的因素衆多，包括使用的業務場景、業務應用程序性能等，我們結合一般場景給出雲消息隊列 Confluent 版集羣資源評估參考建議，幫助用戶在購買創建集羣時評估集羣規模。在集羣創建完成後，仍然可以根據實際的資源使用率進行集羣擴容來變更集羣的資源配置。
- 購買和部署實例
在使用 Confluent 集羣前，需要先購買和部署實例。部署完成後，在實例詳情頁面，通過登錄控制檯進行 Control Center 登錄，對集羣的主要操作將在 Control Center 中進行。
- 權限管理
作爲集羣安全的一部分，雲消息隊列 Confluent 版提供了用戶管理功能，可以在控制檯用戶管理頁面完成新增用戶、刪除用戶等操作。此外，雲消息隊列 Confluent 版還支持 ACL 授權、RBAC 授權功能，支持使用 Control Center 或者安裝命令行界面（CLI）進行相關操作。
**在 Control Center 頁面進行 RBAC 授權
**
- 集羣配置與使用
雲消息隊列 Confluent 版支持集羣的網絡訪問與安全設置，跨集羣進行數據的鏡像和複製等操作，還可以通過雲消息隊列 Confluent 版的核心管理服務 Control Center 進行集羣的可視化監控，以及檢測監控數據中的異常事件並配置告警，還可以使用 Schema Registry 管理 Schema，使用 KsqlDB 簡單的、完全交互式的 SQL 接口進行流處理操作。雲消息隊列 Confluent 版也支持安裝命令行界面（CLI）進行相關操作。
Brokers Overview 查看 Producer、Consumer 監控指標
基於 KsqlDB 應用的架構圖
阿里雲和 Confluent 的合作始於 2021 年，雙方聯合發佈了消息流服務，用戶可以通過阿里雲市場獲得 Confluent 消息流平臺服務，在節省部署集羣大數據軟件成本的同時，大幅度提升開發效率，並以企業級安全性處理消息流。
我們誠邀大家點擊此處，瀏覽雲消息隊列 Confluent 版官網詳情頁瞭解更多產品功能與應用場景，也歡迎填寫表單進行諮詢：https://survey.aliyun.com/apps/zhiliao/bzT3AfPaq
相關鏈接：
[1] What is Confluent Platform
https://docs.confluent.io/platform/current/platform.html
[2] 計費說明
[3] 阿里雲消息隊列控制檯