APM digest收集了多位行業專家對DataOps在2024的發展形勢及對IT和業務的影響的預測，這些技術最高管理者，包括Confluent技術戰略負責人Andrew Sellers的深刻洞見可能與你的感覺一致嗎？快來探討一下。
數據可觀察性成爲強制性要求
2024年，隨着組織迫切希望在更智能的自動化和更快的智能決策方面取得進展，數據可觀察性將成爲強制性要求。由於數據量持續每兩年翻一番，組織迫切希望更快、更大規模地獲取和分析數據。然而，低質量數據所耗費的成本和風險比以往任何時候都更大。根據最近的一項調查，57%的DevOps從業者表示，缺乏數據可觀察性使得他們難以以符合規定的方式推動自動化。因此，對提供數據可觀察性的解決方案的需求將增加，這樣才能讓組織能夠快速、安全地獲取高質量、可靠的數據，以備分析需求。數據可觀察性的增強將使用戶能夠理解數據的可用性，以及數據的結構、分佈、關係和來源的關係。這對於生成用戶可以信任的見解至關重要，因爲它確保了數據的時效性，異常識別，並消除可能導致錯誤的重複數據。
——Bernd Greifeneder，Dynatrace首席技術官兼創始人
AI推動數據可觀察性發展
2024年，大型企業將迅速對人工智能和LLM技術投資加註。這將增加對數據可觀察性的需求，以驗證爲AI計劃提供的數據的準確性和完整性。因此，大家希望人工智能驅動數據可觀察性的供應商能夠在支持主流雲原生數據環境之外，拓展到更大規模、更傳統的企業數據堆棧，並提供LLM數據管道監控和驗證的本地解決方案。
—— Kyle Kirwan，Bigeye聯合創始人兼首席執行官
AI推動DataOps
2024年，AI/ML的快速進步對DataOps的影響將展露出來，通過使數據分析更加易於訪問、準確和明確，從而賦予開發人員和DevOps團隊更大的權力。人工智能/機器學習和新的數據科學技術將啓用新的運營模式、數據分析工具和技術，從而實現數據驅動決策。具體的好處可以從客戶推薦引擎到洞察優化的業務運營的各個方面體現出來，包括開發實踐和DevOps流程簡化。通過這種方式，DataOps將爲企業提供決定性的優勢，超越缺乏數據決策和明確性的競爭對手。
——Anil Inamdar，Instaclustr（NetApp Spot）副總裁兼數據負責人
AI推動數據基礎設施現代化
AI的持續快速採用將推動組織在2024年進行數據基礎設施現代化。企業審查數據會促使它們更好地掌握數據，AI等技術可以得到合理的應用。組織將加大力度整合數據管理和數據完整性，以確保第三方應用程序能夠無縫集成。數據從業者將尋求持續保持數據清潔的解決方案，以便快速採取行動處理工作流程。更好的數據意味着用更少的數據訓練更好的模型，以及更好地利用那些在AI應用中包含檢索的數據的能力。
——Matt Wallace，Faction技術顧問
人工智能不會取代數據工程師
在人工智能領域，數據工程將會得到質的發展並且受到高度重視。有很多人在議論，人工智能革命將取代數據工程師的角色。事實並非如此，事實上，他們的數據專業知識將比以往任何時候都更爲關鍵，只不過是以新的不同方式。爲了跟上不斷變化的形勢，數據工程師將需要了解生成性人工智能如何增值。由數據工程師構建和管理的數據管道可能是組織解鎖價值的首要位置。數據工程將是那批瞭解如何使用模型，並將其連接到數據管道以自動獲得價值的人。同時，他們還將被寄以監督和了解AI工作的期望。
——Jeff Hollan，Snowflake產品管理總監
打破數據孤島
傳統的IT、法律和業務部門之間的障礙將在2024年被打破，以協作化的方式爲替代。這種跨職能的協同將確保數據，包括非結構化數據，不僅能被獲取，而且可以得到戰略性的利用，推動業務價值。
——Rohit Choudhary，Acceldata首席執行官
數據作爲商業資產
在許多方面，數據是一種新型石油。它是一種有限的資源，需要戰略性地進行開採，其價值高度依賴於將其用於特定應用的精煉和處理能力。基於這個原因，我們認爲2024年對於數據從屏幕上的1和0變成真正的實際資產是關鍵的一年，讓企業內部可以對數據進行管理、跟蹤和優化。
——Jackie McGuire，Cribl高級安全策略師
數據管理將在2024年將不僅是數據存儲。組織會意識到將數據，包括非結構化數據，梳理進其業務戰略中的戰略價值。這一轉變將解鎖巨大的潛力，並重新定義業務決策。
——Rohit Choudhary，Acceldata首席執行官
在2024年，技術格局將經歷一場變革性的轉變，因爲數據從一個有價值的資產轉變爲蓬勃發展的企業的命脈。忽視數據質量、完整性和血統的組織將面臨不僅要做出知情決策，而且要實現生成性人工智能、LLM和ML應用和用例的全部潛力的挑戰。今年，我預測那些忽視建設健全的數據基礎和戰略的組織將發現自己在迅速發展的技術行業中越來越難以維持下去。那些無法適應和優先考慮數據基礎的組織將落後於競爭對手，並可能在競爭激烈的環境中面臨生存風險。
——Armon Petrossian，Coalesce首席執行官兼聯合創始人
數據作爲創新資產
2024，數據迅速擴張依然是大的趨勢。然而，有效地獲取、處理和利用這些數據將成爲組織內部創新受限或加速的關鍵因素。挑戰將在於開發方法，如何快速、安全地消化不斷湧入的數據，將其轉化爲可操作的見解。能夠有效管理這種數據洪流，並將其轉化爲創新性的戰略資產的公司，在這個日益受數據驅動的商業環境中將獲得競爭優勢。
——David Boskovic，Flatfile創始人兼首席執行官
數據作爲產品
直到最近，只有大公司擁有可以創建跨團隊和應用程序的，可以輕鬆重新利用數據資產所需的專業知識和資源。由於在構建這些資產所需的治理產品方面的進步，2024年將有更多公司能夠創建可重複使用的數據產品，極大地加速了效率和數據創新。多個團隊可以從訪問相同數據以構建服務或應用程序中受益。然而，此數據必須以對於未參與其生產的用戶來說安全、具有上下文，並以易於理解的方式呈現。
由於數據越來越遠離其初始來源，我們必須進行更多成本上漲的數據檢查。從源頭開始進行數據治理不僅成本較低，而且可以更好地瞭解數據來源以及其結構化方式。嵌入到雲數據倉庫、數據庫和其他數據基礎設施服務等產品中的新數據治理功能可以滿足這些需求。開發人員不再需要手動構建基礎設施來創建和共享可重複使用的數據產品。因此，在2024年，可重複使用的數據產品將不再侷限於擁有大型、複雜數據工程團隊的公司。隨着更多公司構建可重複使用的數據產品，開發人員可以讓數據增值，並花費更多時間構建創新的數據應用程序和服務。
——Andrew Sellers，Confluent技術戰略負責人 本文由 白鯨開源科技 提供發佈支持！