企業(yè)在管理數(shù)據(jù)和從數(shù)據(jù)中獲得洞察的過程面臨著諸多挑戰(zhàn)。由于越來越多的數(shù)據(jù)被創(chuàng)建并在多個位置進行存儲,采用靈活的混合數(shù)據(jù)戰(zhàn)略對于管理和編排各種不同的數(shù)據(jù)集則變得至關(guān)重要。誠然,單靠技術(shù)無法解決以下挑戰(zhàn),但它是解決方案的關(guān)鍵要素,企業(yè)必須結(jié)合指導(dǎo)原則和政策來應(yīng)對這些挑戰(zhàn)。
挑戰(zhàn)1:提高創(chuàng)新力和業(yè)務(wù)敏捷性
第一項挑戰(zhàn)來自于如何提高創(chuàng)新力和業(yè)務(wù)敏捷性,包括如何實現(xiàn)數(shù)據(jù)和數(shù)據(jù)資產(chǎn)平權(quán)。這能夠幫助企業(yè)避開數(shù)據(jù)關(guān)守(Data Gatekeeper),以便更好地利用他們所擁有的數(shù)據(jù)。
創(chuàng)新的另一個要素是幫助企業(yè)快速擴展并向新的市場提供數(shù)據(jù)產(chǎn)品和服務(wù)。如果需要在數(shù)據(jù)中心建立一個新的分析集群,尤其是在一個新的國家,則往往需要延長周期。在公有云中管理數(shù)據(jù)和運行分析可以大幅加快價值變現(xiàn)周期,但需要應(yīng)對風(fēng)險和運營復(fù)雜性。
以近乎實時的方式獲取洞察與傳統(tǒng)的批量分析方法存在明顯的區(qū)別。從數(shù)據(jù)中獲得的洞察,其價值會隨著時間的推移而減少,因此企業(yè)越來越需要通過近乎實時的流處理來增強批處理分析。
挑戰(zhàn)2:管理運營風(fēng)險
第二項挑戰(zhàn)來自于管理運營風(fēng)險,包括企業(yè)如何確保在每個所支持的環(huán)境中統(tǒng)一、可靠地實施安全政策和控制。
這方面的另一個變量因素是需要在整個數(shù)據(jù)生命周期中捕獲數(shù)據(jù)沿襲和來源。如果企業(yè)無法了解數(shù)據(jù)來源以及誰在數(shù)據(jù)生命周期中訪問并改造了數(shù)據(jù),那么從數(shù)據(jù)中獲得的洞察價值就會降低。
隨著所采集的數(shù)據(jù)量成倍增加,企業(yè)越來越需要對數(shù)據(jù)進行自動剖析、分類和采取適當(dāng)?shù)目刂剖侄危热缧碌臄?shù)據(jù)集是否包含敏感的個人身份信息(PII)數(shù)據(jù)等;此外,另一個相關(guān)的挑戰(zhàn)是如何高效地管理和分析高達PB量級的海量數(shù)據(jù)。
為了應(yīng)對監(jiān)管和治理變化,企業(yè)還可能需要在不同環(huán)境之間安全、高效地移動數(shù)據(jù)和應(yīng)用。這不僅包括將數(shù)據(jù)從云遣返到本地,還包括當(dāng)平臺被監(jiān)管機構(gòu)認為缺乏足夠的控制手段來應(yīng)對政策變化時,在公有云供應(yīng)商之間移動數(shù)據(jù)。
挑戰(zhàn)3:管理運營復(fù)雜性
最后一項挑戰(zhàn)是管理各種數(shù)據(jù)集和分析工作負載所帶來的運營復(fù)雜性。若在每個公有云平臺和本地均采用不同的解決方案,那么不論是承擔(dān)運營費用或是維系一支具備合適技能的團隊,都會帶來沉重負擔(dān)。這些因素綜合起來將引發(fā)并增加運營風(fēng)險,影響敏捷性。
基于以上三項挑戰(zhàn),以下是一些指導(dǎo)原則和政策,以幫助企業(yè)在構(gòu)建強大的數(shù)據(jù)戰(zhàn)略時克服障礙。在考慮采用何種技術(shù)時,企業(yè)應(yīng)牢記:在支持混合云、多云基礎(chǔ)架構(gòu)和處理引擎開放生態(tài)的同時也應(yīng)留有余地。這樣,在整個數(shù)據(jù)生命周期便可以部署集成分析服務(wù)集,也可以規(guī)定安全策略和控制手段,使其在任何受支持的環(huán)境中都能統(tǒng)一一致地執(zhí)行。
理想情況下,該技術(shù)應(yīng)該可以進一步擴展,不但能夠支持當(dāng)前的數(shù)據(jù)管理和分析需求,還能夠支持未來幾年可預(yù)測的需求。并且,該技術(shù)最好是專為云而設(shè)計,以實現(xiàn)計算和存儲能夠獨立擴展。
總結(jié)
支持數(shù)據(jù)編織、湖倉一體、數(shù)據(jù)網(wǎng)格等現(xiàn)代化數(shù)據(jù)架構(gòu)的功能繼續(xù)影響著當(dāng)前提供給企業(yè)的解決方案。因此,企業(yè)可以采用一個能夠在多種環(huán)境中統(tǒng)一管理不同數(shù)據(jù)集的平臺,結(jié)合數(shù)據(jù)湖和數(shù)據(jù)倉庫的統(tǒng)一化,以及支持數(shù)據(jù)產(chǎn)品、域所有權(quán)和自助服務(wù)。Cloudera Data Platform(CDP)與其他企業(yè)數(shù)據(jù)平臺解決方案的不同之處在于,其能夠在整個數(shù)據(jù)生命周期內(nèi)借助共享安全和治理結(jié)構(gòu)持續(xù)實現(xiàn)這一點。對于幫助全球各大企業(yè)制定和實施靈活的數(shù)據(jù)戰(zhàn)略來說,這項能力是不可或缺的。