EMQX Enterprise 5.2 發佈:Flow 設計器,Amazon Kinesis,Azure Event Hubs

EMQX Enterprise 5.2.0 版本現已正式發佈!

新版本帶來了一系列重磅更新,最令人矚目的是可拖拽的可視化 Flow 設計器,它可以幫助企業快速創建、測試和部署數據集成。同時,我們新增了對 Amazon Kinesis 和 Azure Event Hubs 的支持,實現了海量物聯網設備數據與雲服務的無縫連接。此外,新版本還進行了多項改進以及 BUG 修復,進一步提升了整體性能和穩定性。

Flow 設計器,拖拽和可視化界面快速創建、測試和部署數據集成

Flow 設計器是一個可視化界面,它在早些發佈的數據集成可視化查看工具 Flows 基礎上,增加了創建和編輯的能力。

它允許用戶使用更簡單的方式,通過拖拽的方式自由編排規則和數據橋接,在幾分鐘內即可實現消息與事件的實時處理,並與外部 40 餘種數據系統的集成。創建完成後,用戶可以通過統一的視圖清晰地管理數據集成流程,並監控每個處理節點的狀態。

Flow 設計器底層仍使用規則 SQL 與數據橋接,繼承了 EMQX 強大的數據處理能力和優異性能。同時,它還允許用戶在 UI 和 SQL 編輯器之間自由切換,既保留了習慣的 SQL 編輯方式,也提供了更簡單快速的上手能力。相比之前的版本,現在用戶無需熟悉 EMQX 規則 SQL 語法,就可以通過簡單的 UI 進行業務開發,這有助於用戶更輕鬆地應用 EMQX 的數據處理能力實現業務創新。

獨立的 Webhook 頁面,簡化配置流程

Webhook 是 EMQX 最常用的數據集成方式之一。爲進一步降低使用門檻,EMQX 最新版本新增了獨立的 Webhook 配置頁面,可大幅簡化將數據發送到外部 HTTP 服務器的配置流程。

過去,實現這一功能需要編寫規則 SQL 並配置數據橋接,這要求用戶對 SQL 語法比較熟悉,特別是在處理客戶端事件時,需要了解事件在 SQL 語句中的映射關係(如下列 SQL 所示),增加了學習難度。

SELECT * FROM "$events/client_connected"

全新的 Webhook 配置頁支持純表單操作,用戶可通過簡單的點選方式選擇需要發送的消息或事件。這樣極大地降低了使用門檻,用戶無需理解 EMQX 的內部規則語言就可以快速建立事件或消息到外部 Web 服務的連接。

簡化數據橋接配置參數,專注業務流程

EMQX 的數據橋接提供了豐富和全面的參數配置,以便滿足企業級消息消息中間件對性能、穩定性以及不同業務場景下靈活配置的需求。通過調整對應功能的參數,可以實現時延與寫入速度之間的平衡,或者增加更多的連接實現更高吞吐(相應的對外部數據服務的壓力會更大)。

但是我們也注意到,對於大多數場景來說,一些參數並不需要進行調整,使用 EMQX 提供的默認值即可。因此在此次版本中,我們將高級設置的方式摺疊了這些參數配置。用戶只需專注在業務流程和邏輯設置上,當遇到特定的性能瓶頸或場景需求時,可以打開高級設置進行參數微調。

下圖是簡化後的 Timescale 數據橋接創建頁面,用戶僅需關注連接與數據寫入流程配置:

此舉在降低學習曲線的同時,仍然保留了 EMQX 對複雜場景的適應能力,讓 EMQX 的數據橋接功能對用戶更加友好。

Amazon Kinesis 集成

Kinesis 是 AWS 上完全託管的實時流數據處理服務,可以輕鬆地進行流數據的收集、處理和分析。它可以經濟高效地處理任意規模的實時流數據,並具有高度的靈活性,能夠低時延的處理來自數十萬個來源的任意數量的流數據。

EMQX 與 Amazon Kinesis 結合使用,能夠實現海量 IoT 設備連接,進行實時消息進行採集、傳輸,並通過 EMQX 數據集成連接到 Amazon Kinesis Data Streams,進行實時分析與複雜的流處理。

利用 Kinesis 構建的流數據管道,可以大幅降低 EMQX 與 AWS 平臺之間的接入難度,爲用戶提供更豐富、靈活的數據處理方案。夠助力 EMQX 用戶在 AWS 上構建功能完備、性能卓越的數據驅動型應用。

Azure Event Hubs 集成

Event Hubs 是由 Azure 提供的是一種簡單、可信且可擴縮的完全託管型實時數據引入服務。每秒能夠處理數百萬個流式事件,從而構建動態數據管道並迅速應對業務挑戰。Event Hubs 支持根據使用需求動態調整吞吐量按需付費,並提供了強大的安全和隱私保護。

Event Hubs 可作爲 EMQX 與 Azure 豐富的雲服務應用之間的數據通道,將物聯網數據集成到 Azure Blob Storage、Azure Stream Analytics 以及部署在 Azure 虛擬機上的各類應用和服務當中。

藉助 Event Hubs 構建的低延遲傳輸通道,可以簡化 EMQX 與 Azure 平臺之間的接入,幫助用戶快速實現海量物聯網設備數據與 Azure 的連接。讓用戶更便捷的獲得雲計算帶來的數據分析和智能化能力,構建功能強大的數據驅動型應用。

HStream 集成

HStream 是 EMQ 專爲物聯網數據存儲和實時處理而推出的開源、雲原生分佈式流數據平臺。

它通過專門設計的分佈式容錯日誌存儲集羣,能夠可靠地存儲數百萬個設備數據流,並提供一級訂閱支持,可以實時推送最新數據流到您的應用。並在需要時隨時回放和消費數據流。

HStream 獨特的融合架構設計,結合 EMQX 海量設備和多協議接入能力,允許用戶能夠在一個平臺上高效完成對所有實時消息、事件以及其他數據流的攝取、存儲、處理和分發,爲物聯網數據流的運維管理和實時應用開發提供了便捷性。

GreptimeDB 集成

GreptimeDB 是一個開源、分佈式、雲原生時序數據庫,融合時序數據處理和分析能力。GreptimeDB 專爲雲而生,充分利用雲的優勢,如彈性、可擴展性和高可用性。

GreptimeDB 與 EMQX 集成使用,能夠實現海量物聯網數據的長期存儲與實現查詢,以及隨業務發展的靈活擴展。無限的歷史數據存儲,針對時序數據優化的 SQL,兩者能夠滿足對長時間範圍內海量數據集的探索與挖掘。用戶可以隨時查詢任意時間段的歷史數據,並通過 SQL 即時洞察時序趨勢,從繁雜數據中提取核心業務價值,並實現數據驅動的智能決策。

規則引擎支持 Sparkplug B 消息編解碼

Sparkplug 是工業物聯網領域熱門的一個開源規範,它基於 MQTT 提供的一套明確定義的 Payload 和狀態管理體系,實現了互操作性和一致性。

Sparkplug B 簡化了 MQTT 命名空間,用於監控、控制、和數據採集系統(SCADA)、實時控制系統以及設備。它採用 Protobuf 編碼數據,以實現輕便、高效和靈活的數據交換。 EMQX 的最新版本在規則引擎 SQL 中添加了 Sparkplug B 消息編解碼函數,使得在 EMQX 中,用戶可以直接使用 sparkplug_encodesparkplug_decode 函數,從而更加便捷地進行 Sparkplug B 消息到 JSON 格式的編碼和解碼。

解碼後的 JSON 數據可以通過規則引擎其他函數進行復雜處理,並集成到外部數據橋接中,以實現豐富的業務集成。這有助於簡化工業物聯網中不同設備的互操作性,提高開發效率,構建靈活可擴展的物聯網應用。

OpenTelemetry 指標集成

OpenTelemetry 是 CNCF 下的一個開源可觀測性框架,旨在於使用標準化的數據格式,將程序中的 tracesmetricslogs 等可觀察性數據發送到後端組件。

本次發佈中 EMQX 添加了對 metrics 集成的支持,爲 EMQX 提供開箱即用的監控能力。有助於更好地觀察、分析和診斷 EMQX 集羣運行狀況。

未來版本中,EMQX 計劃進一步支持 OpenTelemetry 的 traces 與 logs 集成,通過分佈式鏈路追蹤與日誌關聯,直觀分析請求在 EMQX 中的處理情況,實現端到端的分佈式診斷能力。這將進一步豐富 EMQX 的監控數據,幫助用戶更全面和細緻地監測系統運行狀態,快速定位並解決異常。

性能提升

性能始終是 EMQX 關注的一部分,本次發佈中我們進行了以下提升:

  • 更新 Mria 版本,通過合併索引更新提升了保留消息發佈速度。

  • 規則引擎使用主題索引加速規則匹配,大幅提升了 EMQX 處理大量規則的性能。

  • 新增節點池和通道池配置,調優這些配置在高延遲的集羣互聯網路可顯著提升 EMQX 性能。

更多新功能

除了前面介紹的主要功能外,各組件均有針對性功能升級,滿足用戶日常運維和使用需求:

  • 認證、授權以及數據橋接中的 Redis 連接支持設置用戶名,以便連接到如 AWS MemoryDB 等需要用戶名的 Redis 服務中。

  • Kafka 數據橋接新增消費者模式動態設置MQTT主題功能,可以實現更靈活的 Kafka-MQTT 主題映射,動態控制數據下發的 MQTT 目標主題。

  • GCP PubSub 數據橋接現在支持設置 PubSub 消息的屬性和排序鍵,可以利用這些特徵實現更豐富的消息路由和有序傳輸。

  • 爲 RabbitMQ 數據橋接添加 TLS 連接支持。

  • 更新了 jq 依賴版本,修復了一些小的安全問題。

  • 客戶端認證與授權支持使用 LDAP 作爲數據源。

  • 發佈了適用於 Amazon Linux 2023 與 Debian 12 的安裝包。

  • 優化了 Prometheus 指標集成時消息、過載保護、授權、認證等功能的指標,使其更加清晰豐富。

BUG 修復

以下是主要 BUG 修復列表:

  • 修復了 EMQX 關閉過程中記錄無關錯誤日誌的問題。#11065

  • 修復了啓用 debug/trace 時客戶端無法發送包含大尺寸 payload 消息的問題。 #11279

  • 修復了在發送帶有非零 ack_flag 的 CONNACK 數據包時 packets_connack_sent 指標未增加的問題。#11520

  • 添加了對 API 中時間戳的最大值的檢查,以確保它是有效的 Unix 時間戳。#11424

更多功能變更和 BUG 修復請查看 EMQX Enterprise 5.2.0 更新日誌

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章