362
隨著 “東數(shù)西算” 全國(guó)性大工程的全面啟動(dòng)，數(shù)據(jù)成為數(shù)字經(jīng)濟(jì)的核心要素。而隨著5G、AI、云、IoT等技術(shù)發(fā)展，非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)指數(shù)級(jí)增長(zhǎng)，逐漸在企業(yè)的生產(chǎn)業(yè)務(wù)中占據(jù)更加重要的地位。
傳統(tǒng)集中式存儲(chǔ)煙囪式的部署模式，在擴(kuò)展性和管理上的難題日益凸顯。分布式存儲(chǔ)，以橫向擴(kuò)展的模式，讓不同類型的數(shù)據(jù)實(shí)現(xiàn)了以“融合統(tǒng)一”打破不同類型存儲(chǔ)間數(shù)據(jù)孤島的愿望，高效支持各類創(chuàng)新業(yè)務(wù)和應(yīng)用以統(tǒng)一的方式創(chuàng)新進(jìn)步，成為新存儲(chǔ)時(shí)代的發(fā)展方向。
近日，筆者參與主持了主題為“破解海量異構(gòu)數(shù)據(jù)存儲(chǔ)難題，成就數(shù)字化轉(zhuǎn)型”的曙光技術(shù)圓桌派。在此次圓桌派上，與來自賽迪、中石化、中科天璣、中科曙光等專家大咖，深度暢聊了分布式存儲(chǔ)的未來發(fā)展與典型應(yīng)用。
從左至右依次為筆者本人-《海峰看科技》創(chuàng)始人-黃海峰、賽迪顧問業(yè)務(wù)總監(jiān)-高丹、中科天璣區(qū)域拓展部總經(jīng)理-劉維秦、中科曙光存儲(chǔ)事業(yè)部副總經(jīng)理-張新鳳，以及遠(yuǎn)程連線的中國(guó)石油化工股份有限公司石油物探技術(shù)研究院信息中心技術(shù)主管-葛鑫
01 熱議：異構(gòu)數(shù)據(jù)暴增，存儲(chǔ)行業(yè)面臨新挑戰(zhàn)
數(shù)據(jù)存儲(chǔ)家族包括傳統(tǒng)存儲(chǔ)以及分布式存儲(chǔ)等多個(gè)細(xì)分產(chǎn)品。雖然這些存儲(chǔ)兄弟們都有不錯(cuò)發(fā)展，但增長(zhǎng)速度不同。
談及市場(chǎng)，賽迪顧問業(yè)務(wù)總監(jiān)高丹說，“2021年，分布式存儲(chǔ)和云存儲(chǔ)在量和銷售額方面的增速分別達(dá)到30%和20%，相較于傳統(tǒng)存儲(chǔ)的20%和8%，分布式存儲(chǔ)遠(yuǎn)遠(yuǎn)勝于傳統(tǒng)存儲(chǔ)。”。
為何分布式存儲(chǔ)更受歡迎？中科天璣區(qū)域拓展部總經(jīng)理劉維秦的分享讓我們管中窺豹。他表示：中科天璣平均每天需要采集1億條數(shù)據(jù)，而且這些數(shù)據(jù)大多是圖片、視頻類的非結(jié)構(gòu)化數(shù)據(jù)，但傳統(tǒng)存儲(chǔ)在擴(kuò)展性和數(shù)據(jù)的統(tǒng)一管理等方面都不太適用。
但面臨各行業(yè)海量異構(gòu)數(shù)據(jù)的暴增，分布式存儲(chǔ)同樣面臨著不少挑戰(zhàn)。對(duì)此，嘉賓結(jié)合實(shí)際部署情況，總結(jié)出四大挑戰(zhàn)：
挑戰(zhàn)一，海量數(shù)據(jù)增長(zhǎng)聚集。據(jù)全球知名咨詢機(jī)構(gòu)IDC預(yù)測(cè)，2025年，全球數(shù)據(jù)量將達(dá)到175ZB，5年年均復(fù)合增長(zhǎng)率31.8%。中科曙光存儲(chǔ)事業(yè)部副總經(jīng)理張新鳳表示，企業(yè)需求從五年前的幾PB，增長(zhǎng)到如今的幾十PB，甚至上百PB，未來將擴(kuò)展到EB級(jí)。而其中非結(jié)構(gòu)化數(shù)據(jù)為主要增長(zhǎng)類型，IDC同樣預(yù)測(cè)到，截止2023年，全球文件和對(duì)象數(shù)據(jù)容量增長(zhǎng)3倍。容量不簡(jiǎn)簡(jiǎn)單單是設(shè)備的增加，為存儲(chǔ)帶來的技術(shù)難度是呈指數(shù)級(jí)增長(zhǎng)的。
挑戰(zhàn)二，異構(gòu)數(shù)據(jù)的融合。能對(duì)5G、AI、區(qū)塊鏈等新技術(shù)有更好的支持，就需要統(tǒng)一協(xié)議的支持，打通從數(shù)據(jù)的采集、應(yīng)用、分析到歸檔的鏈路，做到異構(gòu)數(shù)據(jù)的融合；比如，滿足大文件存儲(chǔ)、流式數(shù)據(jù)訪問的HDFS協(xié)議；滿足跨平臺(tái)文件共享服務(wù)、遠(yuǎn)程容災(zāi)備份的NAS協(xié)議；適合存儲(chǔ)海量圖片、視頻、日志文件的S3協(xié)議。
挑戰(zhàn)三，存儲(chǔ)需深度支撐應(yīng)用。存儲(chǔ)系統(tǒng)想要發(fā)揮價(jià)值，必須適應(yīng)場(chǎng)景。比如，目前云原生將成為市場(chǎng)主流，存儲(chǔ)系統(tǒng)就必須滿足云原生應(yīng)用需求。對(duì)此，張新鳳強(qiáng)調(diào)到，“存儲(chǔ)系統(tǒng)想要更好地支撐應(yīng)用，就必須進(jìn)行深度定制。”
挑戰(zhàn)四，安全綠色成硬性要求。東數(shù)西算、“十四五”規(guī)劃等國(guó)家戰(zhàn)略，對(duì)數(shù)據(jù)存儲(chǔ)設(shè)備提出更高的要求。張新鳳指出，東數(shù)西算要求數(shù)據(jù)流通更高效、數(shù)據(jù)應(yīng)用更智能、數(shù)據(jù)存儲(chǔ)更安全、存儲(chǔ)設(shè)備綠色節(jié)能。
02 征戰(zhàn)：存儲(chǔ)新戰(zhàn)場(chǎng)，曙光ParaStor大放異彩
存儲(chǔ)行業(yè)面臨不少挑戰(zhàn)，該如何應(yīng)對(duì)挑戰(zhàn)？靠企業(yè)自身去努力，并非明智之舉。正所謂假輿馬者，非利足也，而致千里；假舟楫者，非能水也，而絕江河。在海量數(shù)據(jù)時(shí)代，誰能為企業(yè)提供這樣的“馬與舟”，實(shí)現(xiàn)自身業(yè)務(wù)和應(yīng)用的順利開展？
對(duì)此，張新鳳分享了曙光為滿足各方用戶需求打造的分布式統(tǒng)一存儲(chǔ)利器——曙光ParaStor。該產(chǎn)品可輕松應(yīng)對(duì)“5G+AI+云”時(shí)代下海量數(shù)據(jù)，滿足企業(yè)對(duì)多樣化應(yīng)用的數(shù)據(jù)存儲(chǔ)需求。
據(jù)悉，曙光ParaStor融合了文件、對(duì)象、塊、HDFS多種協(xié)議，真正實(shí)現(xiàn)了海量異構(gòu)數(shù)據(jù)資源的融合，高效助力企業(yè)的數(shù)字化轉(zhuǎn)型，可廣泛應(yīng)用于高端計(jì)算、通信、自動(dòng)駕駛、EDA、能源勘探等多個(gè)領(lǐng)域，全面挖掘數(shù)據(jù)的潛在價(jià)值。
你可能要問，曙光ParaStor有何優(yōu)勢(shì)？在筆者看來，具體看有四大優(yōu)勢(shì)。
第一，曙光ParaStor單一存儲(chǔ)節(jié)點(diǎn)同時(shí)支持文件、塊、對(duì)象、HDFS四種存儲(chǔ)服務(wù)，3節(jié)點(diǎn)存儲(chǔ)集群即可承載非結(jié)構(gòu)化與結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)，消除存儲(chǔ)設(shè)備多樣性及管理復(fù)雜性，降低存儲(chǔ)系統(tǒng)的構(gòu)建成本。
第二，曙光ParaStor對(duì)象接口，對(duì)IO協(xié)議棧進(jìn)行極簡(jiǎn)優(yōu)化，實(shí)現(xiàn)了單桶千億KB級(jí)小對(duì)象的存儲(chǔ)能力，存儲(chǔ)集群百萬級(jí)TPS吞吐性能可達(dá)到業(yè)內(nèi)領(lǐng)先水平。
第三，曙光ParaStor提供原生HDFS接口，無任何協(xié)議損耗，無縫接入大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)存儲(chǔ)與計(jì)算資源按需配置的同時(shí)，滿足新老存儲(chǔ)同時(shí)讀寫，應(yīng)用“0”改造，數(shù)據(jù)“0”遷移，構(gòu)建更具高性價(jià)比的大數(shù)據(jù)存算分離解決方案。
第四，據(jù)張新鳳透露，曙光將于2022年再次升級(jí)曙光ParaStor，加持液冷設(shè)計(jì)，再加上前端曙光液冷的計(jì)算節(jié)點(diǎn)，完全形成一體化的液冷存儲(chǔ)方案，PUE值可達(dá)到1.04。
03 探秘：曙光憑什么站上數(shù)據(jù)存儲(chǔ)之巔？
優(yōu)秀的產(chǎn)品背后是過硬的技術(shù)支撐。“存儲(chǔ)市場(chǎng)是需要很深技術(shù)積累和很大資金投入的市場(chǎng)，所以很早預(yù)估到行業(yè)的發(fā)展趨勢(shì)，進(jìn)行自主研發(fā)產(chǎn)品的企業(yè)，一定會(huì)跟未來的趨勢(shì)高度結(jié)合。”在對(duì)話中，賽迪顧問業(yè)務(wù)總監(jiān)高丹如此表示。
首先，曙光存儲(chǔ)擁有深厚自研經(jīng)驗(yàn)，十年來更快把握市場(chǎng)趨勢(shì)。我們從曙光的分布式存儲(chǔ)角度看，早在2009年，曙光推出第一代全自主研發(fā)的分布式存儲(chǔ)系統(tǒng)ParaStor，基于POSIX協(xié)議，在做數(shù)據(jù)處理的時(shí)候有很好的性能體驗(yàn)；2013年，數(shù)據(jù)中心已經(jīng)開始比較規(guī)?；牟渴?，這個(gè)時(shí)候曙光完成了對(duì)NAS協(xié)議的支持；2019年，基本各個(gè)行業(yè)都在普及云化，曙光為解決業(yè)務(wù)上云的問題，又推出分布式塊協(xié)議?，F(xiàn)在，曙光分布式存儲(chǔ)系統(tǒng)ParaStor完成了對(duì)文件、塊、對(duì)象和大數(shù)據(jù)協(xié)議的支持，基本覆蓋所有應(yīng)用場(chǎng)景。
其次，曙光存儲(chǔ)擁有超大規(guī)模部署經(jīng)驗(yàn)。熟知存儲(chǔ)設(shè)備的朋友都知道，分布式存儲(chǔ)系統(tǒng)的超大規(guī)模部署經(jīng)驗(yàn)與應(yīng)用支持，是存儲(chǔ)玩家重點(diǎn)比拼的關(guān)鍵點(diǎn)。
最后，曙光擁有按需定制服務(wù)能力。面對(duì)當(dāng)前分布式存儲(chǔ)多樣化的應(yīng)用需求，定制能力是存儲(chǔ)設(shè)備支持多樣應(yīng)用的關(guān)鍵。曙光擁有完善的本地化技術(shù)支持團(tuán)隊(duì)，具備定制化設(shè)計(jì)、開發(fā)與落地能力。
張新鳳在論壇探討中介紹：“要快速響應(yīng)市場(chǎng)需求，推出合適的產(chǎn)品，首先要有強(qiáng)有力的團(tuán)隊(duì)支撐，其次是對(duì)行業(yè)的深耕和理解，基于以上兩者的優(yōu)勢(shì)，曙光對(duì)用戶推出定制化的產(chǎn)品及運(yùn)維服務(wù)。”
據(jù)悉，定制能力讓曙光在多個(gè)案例中大放異彩。在某研究所氣候模擬科學(xué)裝置系統(tǒng)項(xiàng)目中，為了解決用戶業(yè)務(wù)流程耗時(shí)過長(zhǎng)的問題，曙光集結(jié)專業(yè)研發(fā)團(tuán)隊(duì)為客戶定制加速技術(shù)，在計(jì)算和存儲(chǔ)節(jié)點(diǎn)之間，配備了大內(nèi)存和高速NVMe的性能加速節(jié)點(diǎn)，把大量4K非對(duì)齊IO在這個(gè)節(jié)點(diǎn)上先做聚合，再到存儲(chǔ)上面。最后用戶實(shí)測(cè)使用性能提升8到10倍。
觀察：
ParaStor將成為數(shù)字時(shí)代全能利器
數(shù)字時(shí)代，數(shù)據(jù)如工業(yè)時(shí)代石油。只有讓海量數(shù)據(jù)高效運(yùn)轉(zhuǎn)、處理、存儲(chǔ)起來，企業(yè)才能分析數(shù)據(jù)，挖掘價(jià)值。在分布式存儲(chǔ)需求旺盛的背景下，各行業(yè)需要不斷創(chuàng)新，應(yīng)對(duì)挑戰(zhàn)，發(fā)揮數(shù)據(jù)威力。
我們看到，作為國(guó)內(nèi)第一批做自研分布式存儲(chǔ)的廠商，曙光不斷進(jìn)行自我革新，根據(jù)市場(chǎng)趨勢(shì)進(jìn)行曙光ParaStor分布式存儲(chǔ)系統(tǒng)產(chǎn)品的迭代升級(jí)，開發(fā)更多場(chǎng)景應(yīng)用，切實(shí)推進(jìn)企業(yè)的數(shù)字化轉(zhuǎn)型。
基于以上分析，筆者認(rèn)為，曙光存儲(chǔ)系統(tǒng)ParaStor在性能、安全、綠色等方面都表現(xiàn)出色，在順應(yīng)國(guó)家數(shù)字戰(zhàn)略的同時(shí)，滿足了諸多企業(yè)的實(shí)際需求，未來將成為各行業(yè)征戰(zhàn)數(shù)字時(shí)代的一把全能利器。
