【原】現代數據堆棧：面臨哪些挑戰？

數據治理精英館 2025-08-23 發布于浙江

展開全文

介紹

現代數據堆棧在數據驅動的企業中廣受歡迎。這不足為奇，因為該堆棧本身是由旨在支持人工智能 (AI)、機器學習和高級分析的云原生工具驅動的。該堆棧承諾具有可擴展性、模塊化和速度。

由于全球范圍內產生的數據量巨大，因此需要通過堆棧來管理數據。Statista 預測，到 2028 年，全球數據生成量將突破 394 ZB，這進一步凸顯了對具有高操作門檻的高級堆棧的需求。

一切看似井然有序，但這只是理論上的。隨著企業采用這種數據堆棧，情況發生了變化，團隊經常需要使用多個管道和平臺。雖然其初衷是簡化流程，但結果卻導致了新的“孤島”的產生，例如復雜性和碎片化的加劇。

這是因為同一組織內的團隊會使用多種工具來實現不同的數據功能。雖然每種工具都有重疊的功能，但互操作性卻遠低于預期。

結果如何？

冗余的數據管道、孤立的工作流程以及增加的集成開銷，對成本產生重大影響。
維護和集成需要持續的資源和努力。
基礎設施和工具成本不斷上升。
陡峭的學習曲線和專業技能使得引進新人才或實現數據使用的民主化變得困難。

現代數據堆棧旨在促進更快的洞察生成，但由于一些明顯的權衡取舍，它有可能成為瓶頸。對于希望擴大數據和人工智能規模的組織而言，清晰地了解數據堆棧的挑戰至關重要，這樣才能使它成為合作伙伴，而不是阻礙。

現代數據堆棧挑戰

數據堆棧一直在不斷發展，但如上所述，一些重大挑戰阻礙了它充分發揮潛力。

1. 工具碎片化

工具碎片化是當今現代數據棧中最緊迫的挑戰之一。典型的數據棧由用于數據采集、轉換、存儲、編排、BI、機器學習和反向ETL等的工具組成，每個工具都有各自的功能。然而，這種方法會創建一個由多種工具組成的臃腫生態系統，這些工具之間的集成度甚至沒有達到應有的水平。

工具之間缺乏互操作性增加了整體的復雜性，團隊花費大量時間來正確集成這些工具，而不是解決實際的業務痛點。

功能重疊的工具帶來的冗余工作流程，會給團隊間的決策帶來諸多困擾。最終，配置一致性、沿襲性和訪問權限的管理變得異常困難。

2. 運營復雜性

碎片化會導致運營復雜性增加。原因何在？每種工具都需要一套專屬的監控、專業知識和配置。這會將數據團隊的負擔推到極限，因為他們必須維護基礎設施、處理突發事件、調整性能，并保證整個數據堆棧的正常運行。

這種復雜性帶來的最顯著問題之一是它對開銷的影響，開銷會急劇增加。更多的工具會創建更多需要調試的流水線，增加需要監控的集成，并導致在不同團隊之間委派更多任務。模塊化架構會變成一團亂麻，充斥著過多的責任，拖慢進度，并使一切都處于危險之中。

3. 數據質量和信任差距

增強數據質量是任何數據堆棧的重要目標。然而，標準驗證的不一致、數據所有權的模糊性以及管道故障會導致數據信任度的喪失。缺乏測試和可觀察性，團隊總是對質量問題反應遲鈍，只有當這些問題以一種不太明智的方式影響了決策時才會關注它們。

傳統數據質量生命周期。質量監控和數據契約等方面仍處于萌芽階段，尚未與工作流程緊密集成。結果如何？用戶對數據的及時性、完整性和準確性產生了質疑。如果沒有絕對的信任作為支撐，后果將是重復勞動、項目擱置以及對手工電子表格的依賴。整個技術棧的價值將會降低。

4. 元數據債務

元數據管理是現代數據堆棧中最未被充分開發的領域之一。隨著新工具進入數據生態系統，元數據往往首當其沖，變得過時或碎片化。

通俗地說，元數據是圍繞數據的上下文，或者說是數據背后的含義和相關性。它講述著數據的故事。這些數據意味著什么？它來自哪里？它到達的頻率是多少？它位于何處？誰在使用？它的用途是什么？使用頻率如何？等等……

簡而言之，沒有元數據，數據就沒有價值，只會陷入混亂。毫不奇怪，大多數組織都坐擁大量無用的數據，因為它們與核心語義模型脫節。用通俗的術語來說，這被稱為“暗數據”。暗數據并非指存儲成本，而是指由于未能充分利用豐富、有價值的數據而浪費的資金成本。

元數據的三條規則：

部分元數據釋放了數據的部分價值。

彼此之間不通信的元數據流不會生成新的、有價值的元數據。

當從整個旅程中提取元數據而不是從有限的邊界或組件中提取元數據時，元數據最有意義。

因此，元數據收集過程本身會影響元數據的潛力。僅僅收集元數據是不夠的，正確收集元數據才是重中之重。

以下是兩種收集方法的比較概述。

現代數據堆棧上的組裝系統或元數據

元數據部分由外部集成的不同組件注入。這些不同的組件之間缺乏足夠的空間來持續交互，從而無法從密集的網絡中生成豐富的元數據。

這種情況會導致元數據債務的產生，這是現代數據堆棧面臨的最大挑戰之一。其代價是數據定義不明確、缺乏上下文以及可發現性較差，因為數據分析師需要花費大量時間來定位和驗證數據。此外，由于現有資產缺乏必要的可視性，工程師必須繞過管道。

統一系統

統一架構由松散耦合和緊密集成的組件組成，這些組件彼此緊密地互操作/聯網，并在此過程中生成和捕獲密集的元數據，這些元數據在統一平面上循環回到組件中。

5. 缺乏明確的所有權

現代數據堆棧的整個前提是通過工具來提高靈活性。然而，在明確界定數據團隊的所有權方面，這導致了很多混亂。

用于數據采集、轉換、編排和其他相關功能的不同工具導致不同團隊和角色之間的責任分散。在端到端數據生命周期的背景下，每個功能缺乏責任制。碎片化的架構造成了很多混亂，削弱了責任制，并降低了問題解決的速度。

有效的數據治理也受到影響，因為政策和數據標準的執行往往會跨越團隊界限。正確的數據所有權需要的不僅僅是為數據集或儀表板分配名稱，才能真正成為賦能者。

6.合規性、安全性和訪問控制方面的差距

隨著數據量的增加，相關風險也隨之增加。Cyber security Insiders的一份報告指出，91% 的網絡安全專業人士認為他們的系統尚未準備好應對零日漏洞或新發現的漏洞。這表明，現有的合規實踐在漸進式數據堆棧方面已經落后。

是的，正在使用的工具有自己的訪問控制，但如果沒有混合治理框架，漏洞很快就會顯現。諸如角色訪問不一致、審計環節薄弱、不符合個人信息保護法等標準以及加密不足等問題會逐漸累積，并隨著時間的推移削弱流程和管道。

7. 孤島和影子流

頗具諷刺意味的是，用于統一數據的數據堆棧最終卻重新創建了原本旨在消除的“孤島”。這是因為不同的團隊擁有各自的工具、管道和流程，這導致了冗余的工作流程和不一致的數據訪問。

當數據治理薄弱時，就會導致影子工作流，其中未經授權的數據集、未定義的管道和孤立的儀表板是超出定義的治理控制的日常挑戰，從而引起合規風險、重復邏輯以及報告不一致等。

現代數據堆棧挑戰對投資回報率的影響

現代數據堆棧看似是一個制勝良機，因為它將可擴展性、敏捷性和數據民主化放在了首位。然而，一旦組織開始采用各種各樣的工具，而每種工具的功能又各自有限，整體的復雜性就會使投資回報率受到質疑。

雖然速度和敏捷性是關注的關鍵點，但包含太多不連貫的工具會導致集成脫節、新的孤島以及運營開銷的急劇增加。

這里最大的挑戰在于，受影響的不僅僅是數據團隊，而是整個組織。用戶在獲取正確洞察方面面臨延遲，對數據的信任被稀釋，數據治理變成了一種被動反應，而不是主動出擊。誠然，每種工具的加入都會帶來一些好處，但監控、編排和合規性方面的成本卻在不斷攀升。

堆棧變得“現代化”了，但效率和投資回報率卻受到了影響。由于團隊需要花費大量時間整合零散的管道，而不是努力確保積極的戰略成果，獲取可行洞察的時間也隨之增加。為了獲得正確的價值，組織需要將其數據戰略與產品思維原則同步。這對于創造正確的業務影響力至關重要。

現代數據堆棧的未來：數據優先的方法

隨著各組織紛紛應對現代數據堆棧的復雜性，一種數據優先于各種工具和架構影響的版本應運而生。這就是“數據優先”堆棧的方法，整個數據生態系統圍繞數據生命周期、可訪問性和數據價值構建，而不僅僅是通過不同的技術來統一數據。

數據開發者平臺(DDP)是一個自助式基礎設施標準，它是這一轉變的關鍵要素，它作為一個框架，賦能團隊高效地創建、管理和擴展數據產品。DDP 深深植根于自助式原則，每個領域團隊無需具備特定的基礎設施知識即可擁有所有權。自助式特性將現代數據堆棧從碎片化的工具集合轉變為運轉良好的機器。

用于構建統一基礎架構的數據開發者平臺標準。

數據優先堆棧的基本要素

數據優先堆棧中有很多重要因素在起作用：

易于管理： DDP 可以將操作簡單性作為內置功能，在整個數據生命周期內提供集中監控、策略實施和沿襲跟蹤。
統一架構：借助 DDP 的模塊化樂高積木，技術堆棧變成一組松散耦合、緊密集成的組件，而不是硬編碼的工具集成，從而使整個組織的攝取、轉換、訪問控制和存儲變得無縫。
設計治理：數據優先方法確保治理深入嵌入到每一層，從訪問控制到元數據，以確保合規性、安全性和信任。
快速實現價值：結合數據驅動交付 (DDP) 功能，數據優先方法可在短短幾周內（而非數月）帶來顯著成果。數據網格的原則包括去中心化所有權和中心化標準，以實現無縫交付。

解決方案，而不是結論

現代數據堆棧中的“現代”不僅僅是一個形容詞，而是一個亮點，它傾向于一個自助服務平臺，幫助企業快速提供數據解決方案，成為數據網格方法的必需品。

借助此數據堆棧，企業可以借助標準化集成、訪問、資源優化以及其他低優先級的復雜性，充分發揮其所有服務和工具的潛力。所有這些都通過數據開發者平臺 (DDP) 實現。

它允許開發團隊通過一套工具和服務輕松構建和部署應用程序，從而更好地管理和分析數據。DDP 的統一功能是其最大的優勢之一，它提供了一個單一的管理點，可以實現完整的管理。

信息很明確：現代數據堆棧面臨的挑戰是巨大的，但根植于數據優先理念的思維過程對于解決這些挑戰至關重要。

結論

2025年充滿了新的機遇：各行各業的人工智能將更加專業化，自主系統將更加深入地集成，對實時、注重隱私的解決方案的需求也將激增。今年，我們不僅要關注更智能的人工智能，更要關注能夠行動、適應并在各個領域創造切實價值的人工智能。

2025 年，數據工程領域必將迎來一些令人振奮的更新，幾乎每天都會出現新的技術更新，該領域的合并、收購和資金都預示著更光明的未來。