加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專(zhuān)業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

元宇宙與大數(shù)據(jù),支撐大數(shù)據(jù)的基礎(chǔ)——硬件架構(gòu)(中篇)

2022/02/11
561
閱讀需 13 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

元宇宙與大數(shù)據(jù),支撐大數(shù)據(jù)的基礎(chǔ)——硬件架構(gòu)(上篇)

上文提到,由超級(jí)大公司所引領(lǐng)的大數(shù)據(jù)行業(yè)的成長(zhǎng),并結(jié)合上述關(guān)于數(shù)據(jù)安全,數(shù)據(jù)處理等方面的需求,對(duì)應(yīng)的開(kāi)源硬件聯(lián)合組織相應(yīng)出臺(tái)。也就是:ODCC/OCP/OPEN19,這三家并稱為全球三大開(kāi)放計(jì)算組織,都旨在打造數(shù)據(jù)中心開(kāi)放平臺(tái),推動(dòng)數(shù)據(jù)中心基礎(chǔ)設(shè)施標(biāo)準(zhǔn)化、產(chǎn)業(yè)化。

ODCC(Open Data Center Committee)開(kāi)放數(shù)據(jù)中心委員會(huì),目前ODCC的決策組成員為騰訊、阿里巴巴百度、中國(guó)電信、中國(guó)移動(dòng)、中國(guó)信通院(云大所)、京東和美團(tuán)。會(huì)員單位超過(guò)100家,覆蓋數(shù)據(jù)中心行業(yè)的上下游企業(yè)。

OCP(Open Compute Project)Facebook牽頭發(fā)起了OCP社區(qū),將Facebook的一些數(shù)據(jù)中心設(shè)備設(shè)計(jì)標(biāo)準(zhǔn)公開(kāi),希望供應(yīng)商和其他的CSP加入進(jìn)來(lái),構(gòu)建一個(gè)面向CSP需求的產(chǎn)業(yè)生態(tài),從而有效地降低成本。這就是今天的OCP組織的由來(lái)。

Open19是LinkedIn推出的一項(xiàng)新舉措,計(jì)劃建立一個(gè)適用于任何EIA 19英寸機(jī)架的標(biāo)準(zhǔn),以允許更多的供應(yīng)商生產(chǎn)在任何機(jī)架環(huán)境下可以互操作和互換的服務(wù)器。

在各大領(lǐng)頭公司積極地部署云服務(wù),這對(duì)行業(yè)綜合發(fā)展有很多利好,其核心就是:開(kāi)放計(jì)算將打破開(kāi)源硬件與軟件的發(fā)展不平衡。

在硬件開(kāi)源組織逐漸有“各立山頭“之勢(shì)時(shí),對(duì)于“大數(shù)據(jù)”流量支持的切實(shí)需求,則落在了基礎(chǔ)設(shè)施的完善需求上。

全球COVID-19大流行極大地改變了各種規(guī)模的企業(yè)和組織購(gòu)買(mǎi)和使用在線工具的方式,從視頻會(huì)議和虛擬商務(wù)活動(dòng)到娛樂(lè)和遠(yuǎn)程教育。 這種變化是由云環(huán)境,特別是公共云支持的。因此,企業(yè)正快速地為其公共云基礎(chǔ)設(shè)施購(gòu)買(mǎi)服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)產(chǎn)品。

根據(jù)IT研究公司IDC的數(shù)據(jù),僅在2020年第三季度,用于公共云基礎(chǔ)設(shè)施的支出就達(dá)到了133億美元,同比增長(zhǎng)13%。 戴爾技術(shù)公司(Dell Technologies)、惠普企業(yè)(Hewlett Packard Enterprise)和浪潮(Inspur)在云基礎(chǔ)設(shè)施銷(xiāo)售方面領(lǐng)先市場(chǎng),因?yàn)檫@三家公司在服務(wù)器、存儲(chǔ)和超融合基礎(chǔ)設(shè)施市場(chǎng)上處于領(lǐng)先地位。

Synergy研究集團(tuán)首席分析師約翰•丁斯代爾在一份聲明中表示:“過(guò)去8個(gè)季度新增111個(gè)超大規(guī)模數(shù)據(jù)中心,其中52個(gè)將在2020年投入運(yùn)營(yíng),盡管COVID-19造成了一些后勤問(wèn)題。這證明了推動(dòng)這些投資的數(shù)字服務(wù)的持續(xù)強(qiáng)勁增長(zhǎng),尤其是云計(jì)算、軟件即服務(wù)(SaaS)、電子商務(wù)、游戲和視頻服務(wù)。”

"除了近600個(gè)運(yùn)營(yíng)數(shù)據(jù)中心外,我們還有219個(gè)數(shù)據(jù)中心正處于不同的規(guī)劃或建設(shè)階段,這對(duì)數(shù)據(jù)中心硬件供應(yīng)商和批發(fā)數(shù)據(jù)中心運(yùn)營(yíng)商來(lái)說(shuō)確實(shí)是個(gè)好消息," Synergy的Dinsdale表示。

到這里,終于引出了我們關(guān)于支持大量運(yùn)營(yíng)數(shù)據(jù)所需要的——數(shù)據(jù)中心。

數(shù)據(jù)中心是全球協(xié)作的特定設(shè)備網(wǎng)絡(luò),用來(lái)在internet網(wǎng)絡(luò)基礎(chǔ)設(shè)施上傳遞、加速、展示、計(jì)算、存儲(chǔ)數(shù)據(jù)信息。我們也可以簡(jiǎn)單理解為一個(gè)有獨(dú)立處理數(shù)據(jù),進(jìn)行運(yùn)算的大型計(jì)算機(jī)機(jī)房。

與傳統(tǒng)的數(shù)據(jù)中心相比,超大規(guī)模的數(shù)據(jù)中心包含更多的IT產(chǎn)品,通常包含數(shù)萬(wàn)臺(tái)服務(wù)器和硬件以及數(shù)百萬(wàn)臺(tái)虛擬機(jī)。超大規(guī)模數(shù)據(jù)中心在其設(shè)計(jì)中關(guān)注基礎(chǔ)設(shè)施優(yōu)化和規(guī)模加速,以及產(chǎn)品如何供電和管理。

2019冠狀病毒病(COVID-19)全球大流行引發(fā)了2020年第三季度創(chuàng)紀(jì)錄的數(shù)據(jù)中心支出,達(dá)到370億美元,領(lǐng)頭的是AWS、谷歌和微軟。到2020年底,由AWS、微軟、谷歌等超大規(guī)模提供商運(yùn)營(yíng)的大型數(shù)據(jù)中心數(shù)量增加到近600個(gè),是2015年的兩倍。亞馬遜和谷歌在過(guò)去12個(gè)月內(nèi)新建的數(shù)據(jù)中心最多,占2020年新建的超大規(guī)模數(shù)據(jù)中心總數(shù)的一半。

值得注意的是,像AWS、谷歌和微軟這樣的公司并不會(huì)自己建造每一個(gè)數(shù)據(jù)中心,他們通常會(huì)從Digital Realty和Equinix這樣的數(shù)據(jù)中心運(yùn)營(yíng)公司租賃容量和空間。Synergy表示,大約70%的超大規(guī)模數(shù)據(jù)中心位于從數(shù)據(jù)中心運(yùn)營(yíng)商租用的設(shè)施中,或由超大規(guī)模運(yùn)營(yíng)商的合作伙伴擁有。

就地理位置而言,美國(guó)占據(jù)了近40%的主要云和互聯(lián)網(wǎng)數(shù)據(jù)中心站點(diǎn)。 緊隨其后的是中國(guó)、日本、德國(guó)、英國(guó)和澳大利亞,據(jù)Synergy稱,這幾個(gè)國(guó)家的留學(xué)生總數(shù)又占到了29%。 其他正在大舉投資興建超大規(guī)模數(shù)據(jù)中心的大型科技公司包括甲骨文(Oracle)、阿里巴巴(Alibaba)和Facebook。

這里我們以Facebook為例,F(xiàn)acebook致力于打造的“元宇宙”數(shù)據(jù)中心分布在美國(guó)、歐洲和新加坡,這張地圖突出了Facebook打造的數(shù)據(jù)中心,在可再生能源、水資源管理等方面的投資部署。

在Facebook全球的數(shù)據(jù)中心基地,重點(diǎn)并不僅僅考慮到數(shù)據(jù)中心的架構(gòu),技術(shù)整合等等。更重要會(huì)考慮保護(hù)建造地的生態(tài),以及保證數(shù)據(jù)中心運(yùn)營(yíng)的能源再生。據(jù)宣稱,F(xiàn)acebook的全球數(shù)據(jù)中心均實(shí)現(xiàn)凈零碳排放,并獲得了全球公認(rèn)的可持續(xù)發(fā)展標(biāo)準(zhǔn)LEED®金牌認(rèn)證。(筆者注:LEED Gold certification,Leadership in Energy and Environmental Design,因?yàn)榻ㄖ壳爱a(chǎn)生了美國(guó)38%的溫室氣體。 LEED的誕生源于數(shù)十家美國(guó)建筑公司與一名建筑經(jīng)理和一名環(huán)境律師聯(lián)合起來(lái),以抵消美國(guó)建筑的巨大碳足跡。 據(jù)可持續(xù)投資集團(tuán)(Sustainable Investment Group)稱,該聯(lián)盟成立了美國(guó)綠色建筑委員會(huì)(U.S. Green Building Council),后者反過(guò)來(lái)又發(fā)明了LEED體系。 第一個(gè)LEED認(rèn)證頒發(fā)于1998年)

數(shù)據(jù)中心的建立,其實(shí)會(huì)面臨很多問(wèn)題,比如超大的電力能耗,產(chǎn)生的熱能,為了保證降溫,還要設(shè)置精密空調(diào)等調(diào)節(jié)溫度,因此在資源方面,電力,水資源消耗都是巨大的。建造數(shù)據(jù)中心,需要考慮到節(jié)能減排,環(huán)保,盡量不對(duì)當(dāng)前的生態(tài)造成過(guò)大影響。

所以建立數(shù)據(jù)中心的同時(shí),勢(shì)必要提前考量資源可回收屬性,比如在用電比例中,位于新加坡的數(shù)據(jù)中心,采用海浪發(fā)電的方式。在其多地設(shè)置的數(shù)據(jù)中心,也有大量通過(guò)Solar光能,風(fēng)能,以及水利發(fā)電等環(huán)保能源來(lái)源方式,同時(shí),考慮到數(shù)據(jù)中心整體機(jī)房帶來(lái)的噪音,產(chǎn)熱等問(wèn)題,也通過(guò)熱能回收等方式??傮w來(lái)講在節(jié)能方面不斷探索各種可行地方式。并且,為了確保數(shù)據(jù)中心用電,而在當(dāng)?shù)赝顿Y新的風(fēng)能和太陽(yáng)能項(xiàng)目,也可為當(dāng)?shù)亟?jīng)濟(jì)做出了額外的貢獻(xiàn)。舉例,“元宇宙”數(shù)據(jù)中心在項(xiàng)目,可以為新加坡電網(wǎng)增加超過(guò)160兆瓦的新可再生能源。距今為止,在18個(gè)州和5個(gè)國(guó)家簽訂了超過(guò)60億瓦的風(fēng)能和太陽(yáng)能合同。

從數(shù)據(jù)來(lái)看,截至2020年底,數(shù)據(jù)中心的全球投資組合中已簽約的風(fēng)能和太陽(yáng)能項(xiàng)目超過(guò)590萬(wàn)千瓦,在風(fēng)能和太陽(yáng)能運(yùn)營(yíng)組合增加到超過(guò)280萬(wàn)千瓦,覆蓋美國(guó)15個(gè)州以及歐洲和亞洲。 2021年,開(kāi)始更加大規(guī)模擴(kuò)展進(jìn)行數(shù)據(jù)中心的建立,其中包括第一個(gè)太陽(yáng)能+存儲(chǔ)項(xiàng)目,其中包括三個(gè)州180兆瓦的存儲(chǔ)能力。 這里也引出了我們?cè)谙盗形恼乱恢杏刑岬降?,為什么?ldquo;大數(shù)據(jù)”時(shí)代,為何數(shù)據(jù)這種“虛擬的存在”可以側(cè)面支撐新能源產(chǎn)業(yè)的發(fā)展。

61.6 MW Altavista Solar Project in Virginia

當(dāng)然于此同時(shí),包含微軟,Amazon在內(nèi)的互聯(lián)網(wǎng)巨頭,也同樣在布局自己的數(shù)據(jù)中心,甚至在數(shù)據(jù)中心的建設(shè)過(guò)程中,有一些別出心裁的方案。比如微軟在2018年在蘇格蘭奧克尼群島的一片海域,放置了一臺(tái)圓柱形數(shù)據(jù)中心,內(nèi)置864 臺(tái)服務(wù)器,可以存儲(chǔ) 27.6PB 的數(shù)據(jù)。

這個(gè)腦洞大開(kāi)的想法,可以規(guī)避陸地上的數(shù)據(jù)中心面臨著諸多挑戰(zhàn),氧氣和水汽帶來(lái)的腐蝕問(wèn)題、溫度變化等。研究人員將服務(wù)器密封,并在其中充入氮?dú)?,隔絕了氧氣、水汽,同時(shí)遠(yuǎn)離人類(lèi)干擾。并且,我們之前反復(fù)談到了數(shù)據(jù)中心冷卻所需要的空調(diào),以及精密空調(diào),需要的電力成本非常高。通過(guò)海水冷卻降溫,則是一個(gè)巧思,這也是為什么放置在蘇格蘭東北部的另外一個(gè)原因,海水溫度也更偏低一些。

因此,我們目前看到部分公司已經(jīng)選擇高緯度的寒冷地區(qū)來(lái)安置機(jī)房,當(dāng)然這種也需要人工維護(hù)等成本。在這里筆者突發(fā)奇想,說(shuō)不定未來(lái)我國(guó)東北部可以大力發(fā)展建設(shè)數(shù)據(jù)中心等重要產(chǎn)業(yè),結(jié)合優(yōu)秀的光照條件,配合光伏和儲(chǔ)能產(chǎn)業(yè)發(fā)展整套新能源基建設(shè)施,同時(shí),東北優(yōu)質(zhì)的教育產(chǎn)生大量?jī)?yōu)秀人才,同時(shí)可以支持超級(jí)大型數(shù)據(jù)中心的運(yùn)營(yíng)。

誠(chéng)然,對(duì)于超級(jí)大型數(shù)據(jù)中心的憧憬還在,但是當(dāng)前大量已經(jīng)在運(yùn)行的數(shù)據(jù)中心,規(guī)模和架構(gòu)還不完善。目前互聯(lián)網(wǎng)巨頭、ICP(電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng))和企業(yè)使用DCI(Data Center Interconnect)解決方案為其數(shù)據(jù)中心提供高質(zhì)量且趨近無(wú)限帶寬的連接,同時(shí)通過(guò)自建基礎(chǔ)設(shè)施來(lái)控制成本。但是,隨著數(shù)據(jù)中心建設(shè)規(guī)模的海量增長(zhǎng),數(shù)據(jù)中心互聯(lián)需求倍增,如何實(shí)現(xiàn)充分利用好有限的光纖資源、獲得可靠的大容量傳輸是數(shù)據(jù)中心互聯(lián)的挑戰(zhàn)之一,我們也將在后文繼續(xù)剖析。

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

兔爾摩斯,芯片領(lǐng)域應(yīng)用工程師背景。 主要分享消費(fèi)類(lèi)電子領(lǐng)域行業(yè)動(dòng)態(tài),硬件方案等。希望專(zhuān)欄文章,能夠幫助到行業(yè)同仁,同時(shí),在寫(xiě)作和整理地過(guò)程中,也不斷鞭策自己,學(xué)無(wú)止境,業(yè)精于勤。