在云中啟用數(shù)據(jù)和分析可以讓企業(yè)擁有無限的規(guī)模和可能性,以更快地獲得洞察,并利用數(shù)據(jù)做出更優(yōu)的決策。數(shù)據(jù)湖倉愈發(fā)受到歡迎,其為所有的企業(yè)數(shù)據(jù)提供了一個統(tǒng)一平臺,可以靈活運行任何分析和機器學習(ML)用例。數(shù)據(jù)湖倉兼具了數(shù)據(jù)湖的靈活性和經(jīng)濟效益,以及數(shù)據(jù)倉庫的性能和可靠性。
云數(shù)據(jù)湖倉將多種處理引擎(SQL、Spark等)和現(xiàn)代分析工具(ML、數(shù)據(jù)工程化和商業(yè)智能)整合到一個統(tǒng)一的分析環(huán)境中,使用戶能夠快速采集數(shù)據(jù),并運行自助分析和機器學習。與本地數(shù)據(jù)湖相比,云數(shù)據(jù)湖倉在擴展性、敏捷性和成本方面具有明顯的優(yōu)勢,但遷移上云并非沒有安全之憂。
數(shù)據(jù)湖倉的架構(gòu)設(shè)計包含一個復雜的組件生態(tài)系統(tǒng),其中每個組件都是一條可以使用數(shù)據(jù)的潛在路徑。從規(guī)避風險的角度而言,有的企業(yè)可能不愿將生態(tài)系統(tǒng)遷移到云端,但經(jīng)過多年的發(fā)展,云數(shù)據(jù)湖倉已經(jīng)變得更加安全、合理,相比本地數(shù)據(jù)湖倉具有明顯的優(yōu)勢。
以下十項基本的云數(shù)據(jù)湖倉安全實踐可以幫助企業(yè)確保安全、降低風險并提供持續(xù)可見性。
1.安全功能隔離
安全功能隔離是云安全框架最重要的功能和基礎(chǔ)。其目標是通過最小權(quán)限原則,將安全與非安全功能分區(qū)。在云上采取這一做法是為了將云平臺的功能嚴格限制在預(yù)定范圍內(nèi)。數(shù)據(jù)湖倉的作用應(yīng)僅限于管理數(shù)據(jù)湖倉平臺。企業(yè)應(yīng)將云安全功能分配給經(jīng)驗豐富的安全管理員,避免讓數(shù)據(jù)湖倉用戶將該環(huán)境暴露在重大風險中。DivvyCloud近期的一項研究顯示,云端部署的主要風險之一是因配置錯誤和用戶缺乏經(jīng)驗而導致的違規(guī)行為。通過將安全功能隔離和最小權(quán)限原則納入云安全計劃,企業(yè)可以顯著減少外部暴露和數(shù)據(jù)泄露風險。
2.云平臺加固
隔離和加固云數(shù)據(jù)湖倉平臺的第一步是建立唯一的云帳戶。通過限制平臺功能,讓管理員僅擁有管理數(shù)據(jù)湖倉平臺的權(quán)限。在云平臺上隔離邏輯型數(shù)據(jù)的最有效方法是使用唯一帳戶進行部署。
在擁有運行數(shù)據(jù)湖倉服務(wù)的唯一云帳戶后,企業(yè)就可以使用網(wǎng)絡(luò)安全中心(CIS)提到的加固技術(shù)。使用唯一帳戶策略和加固技術(shù),可以將企業(yè)的數(shù)據(jù)湖倉服務(wù)功能與其他云服務(wù)進行安全隔離。
3.網(wǎng)絡(luò)邊界
在加固云帳戶后,企業(yè)還需要為該環(huán)境設(shè)計網(wǎng)絡(luò)路徑。這是整個安全體系的關(guān)鍵組成部分之一,也是企業(yè)的第一道防線。有很多方法可以解決云部署帶來的網(wǎng)絡(luò)邊界安全問題,企業(yè)可能會因為帶寬和合規(guī)方面的要求而選擇其中一些方法,這些方法必須使用專用連接,或使用云提供的虛擬專用網(wǎng)絡(luò)(VPN)服務(wù),并通過隧道將流量回傳到企業(yè)。
如果企業(yè)準備在云帳戶中存儲任何類型的敏感數(shù)據(jù),并且不使用私人鏈路連接到云,那么流量控制和可視性將至關(guān)重要。云平臺市場提供了許多企業(yè)防火墻,它們具有更高級的功能且價格合理,能夠補充本地云安全工具。企業(yè)可以在中心輻射型結(jié)構(gòu)中部署虛擬防火墻,通過一個或一對普遍可用的防火墻來保護所有的云網(wǎng)絡(luò)。防火墻應(yīng)成為云基礎(chǔ)設(shè)施中唯一擁有公共IP地址的組件。企業(yè)還應(yīng)創(chuàng)建明確的進出政策和入侵防御配置文件以降低非法訪問和數(shù)據(jù)滲漏風險。
4.主機端安全系統(tǒng)
在云部署中,主機端安全系統(tǒng)是一個經(jīng)常被忽視卻非常重要的安全層。與確保網(wǎng)絡(luò)安全的防火墻功能一樣,主機端安全系統(tǒng)可以保護主機免受攻擊。在大多數(shù)情況下,它就是最后一道防線。主機端安全的范圍相當廣泛,并且根據(jù)服務(wù)和功能而異。
- 主機入侵檢測:這項在主機端運行的代理技術(shù)通過各種檢測系統(tǒng)來發(fā)現(xiàn)并警告攻擊和可疑活動。目前業(yè)界有兩種主流的入侵檢測技術(shù):最常見的是檢測已知威脅特征的特征檢測技術(shù);另一種是異常檢測技術(shù),這種技術(shù)使用行為分析來檢測特征檢測技術(shù)無法發(fā)現(xiàn)的可疑活動。一些服務(wù)在提供機器學習功能的同時,也提供這兩種檢測。它們都能提供主機活動的可見性,幫助企業(yè)檢測和應(yīng)對潛在的威脅和攻擊。
- 文件完整性監(jiān)視(FIM):這項功能能夠監(jiān)視和追蹤環(huán)境中的文件變化,有效檢測和追蹤網(wǎng)絡(luò)攻擊。它是許多監(jiān)管合規(guī)框架的關(guān)鍵要求之一。由于多數(shù)漏洞一般需要獲得某項高權(quán)限來運行進程,因此它們會利用已經(jīng)擁有這些權(quán)限的服務(wù)或文件,例如抓住服務(wù)缺陷將錯誤參數(shù)覆蓋系統(tǒng)文件并插入有害代碼。FIM能夠發(fā)現(xiàn)并提醒企業(yè)文件的變化甚至添加。有些FIM還提供高級功能,比如將文件恢復到已知的良好狀態(tài)或通過分析文件模式識別惡意文件。
- 日志管理:分析云數(shù)據(jù)湖倉中的活動是識別安全突發(fā)事件的關(guān)鍵,同時也是合規(guī)控制手段的基石。日志記錄必須能夠防止欺詐活動對事件進行更改或刪除。為了遵守法律法規(guī),企業(yè)往往需要制定日志存儲、留存和銷毀政策。
- 執(zhí)行日志管理政策最常見的方法是將日志實時復制到集中存儲庫,以備未來分析所需時訪問。目前有許多商業(yè)和開源日志管理工具可供選擇。
5.身份管理和認證
身份是重要的審核依據(jù),可以為云數(shù)據(jù)湖倉提供強有力的訪問控制。在使用云服務(wù)時,企業(yè)首先要將身份提供程序(如活動目錄)與云提供商整合。 對于某些基礎(chǔ)設(shè)施服務(wù)而言這就足夠了。但如果企業(yè)自行管理第三方應(yīng)用或部署包含多項服務(wù)的數(shù)據(jù)湖倉,則可能需要整合零散的認證服務(wù),包括SAML客戶端和提供商,如Auth0、OpenLDAP、Kerberos和Apache Knox等。如果想擴展到Hue、Presto或Jupyter等服務(wù),則可以參考關(guān)于Knox和Auth0集成的第三方文檔。
6.授權(quán)
授權(quán)通過數(shù)據(jù)和資源訪問控制、以及列級過濾來確保敏感數(shù)據(jù)的安全。云提供商通過基于資源的身份和訪問管理(IAM)策略與基于角色的訪問控制(RBAC),將強大的訪問控制策略整合到其PaaS解決方案中,其中RBAC可以利用最小權(quán)限原則管理訪問控制策略,此舉的最終目的是集中定義行和列級訪問控制。 一些云提供商已經(jīng)開始擴展IAM,提供數(shù)據(jù)湖構(gòu)建等數(shù)據(jù)和工作負載引擎訪問控制策略,并增加服務(wù)與帳戶之間共享數(shù)據(jù)的能力。根據(jù)云數(shù)據(jù)湖倉中運行的服務(wù)數(shù)量,企業(yè)可能需要使用其他開源或第三方項目(如Apache Ranger)擴展這種方法,對所有服務(wù)進行精細授權(quán)。
7.加密
加密是保障集群和數(shù)據(jù)安全的基礎(chǔ)。一般情況下,企業(yè)可以在云提供商所提供的指南中找到最佳的加密方法。正確掌握這些細節(jié)非常重要,而這需要企業(yè)對IAM、密鑰輪換策略和具體的應(yīng)用配置有深入的了解。對于 存儲桶、日志、秘密和卷以及所有數(shù)據(jù)存儲,企業(yè)需要熟悉KMS CMK最佳實踐,并對動態(tài)和靜態(tài)數(shù)據(jù)進行加密。如果企業(yè)整合的不是由云提供商所提供的服務(wù),那么就需要提供自己的證書。無論是哪種情況,企業(yè)都有必要制定證書輪換的方法,例如每90天輪換一次。
8.漏洞管理
無論企業(yè)使用什么樣的分析堆棧和云提供商,都要確保數(shù)據(jù)湖倉基礎(chǔ)設(shè)施中的全部實例都安裝了最新的安全補丁。落實定期操作系統(tǒng)和軟件包補丁策略,包括定期對基礎(chǔ)設(shè)施中的各部分進行安全掃描。企業(yè)可以關(guān)注云提供商的安全公告更新,并根據(jù)自身的安全補丁管理計劃安裝補丁。如果已經(jīng)制定了漏洞管理解決方案,則應(yīng)根據(jù)既定方案掃描數(shù)據(jù)湖倉環(huán)境。
9.合規(guī)監(jiān)控和突發(fā)事件響應(yīng)
合規(guī)監(jiān)控與突發(fā)事件響應(yīng)能提供早期檢測、調(diào)查和響應(yīng),是所有安全框架的基石。如果企業(yè)有現(xiàn)有的本地安全信息和事件管理(SIEM)基礎(chǔ)設(shè)施,可將其用于云監(jiān)控。領(lǐng)先的SIEM系統(tǒng)都能獲取并分析所有重大的云平臺事件。事件監(jiān)控系統(tǒng)會觸發(fā)威脅和違規(guī)行為警報,幫助提高云基礎(chǔ)設(shè)施的合規(guī)性。此類系統(tǒng)還可用于確認失陷指標(IOC)。
10.數(shù)據(jù)損失預(yù)防
為確保數(shù)據(jù)的完整性和可用性,云數(shù)據(jù)湖倉應(yīng)將數(shù)據(jù)持久存儲在擁有安全經(jīng)濟的冗余存儲、持續(xù)的吞吐量和高可用性的云對象存儲上(如Amazon S3)。其他功能中,內(nèi)置留存生命周期的對象版本管理功能可對意外刪除和對象更換進行修復。所有管理和存儲數(shù)據(jù)的服務(wù)都要經(jīng)過評估,防止數(shù)據(jù)丟失。為了最大程度地減少終端用戶的數(shù)據(jù)丟失威脅,限制刪除與更新權(quán)限的強大授權(quán)實踐至關(guān)重要。總之,企業(yè)應(yīng)當創(chuàng)建符合預(yù)算、審計和架構(gòu)需求的備份與留存計劃,將數(shù)據(jù)放在可用性與冗余度較高的存儲庫中,減少用戶出錯的機會。
綜合全面的數(shù)據(jù)湖倉安全至關(guān)重要
云數(shù)據(jù)湖倉是一個超越存儲的復雜分析環(huán)境,需要專業(yè)的知識、計劃和規(guī)定來進行有效保障。作為自身數(shù)據(jù)的最終責任人,企業(yè)需要考慮如何將云數(shù)據(jù)湖倉轉(zhuǎn)換成在公有云上運行的“專用數(shù)據(jù)湖倉”。
Cloudera的客戶可以通過Cloudera Data Platform(CDP)公有云來運行云數(shù)據(jù)湖倉,其具有世界級的獨家安全性。Cloudera非常重視商業(yè)資產(chǎn)保護,深知安全對客戶聲譽的重要性,并以此作為為企業(yè)提供最佳安全實踐的驅(qū)動力。