212
在人工智能（AI）和機器學習（ML）加持下的新一代數(shù)據(jù)中心正在對復雜的計算能力、巨大的存儲容量和無縫連接產生前所未有的需求。大型互聯(lián)網數(shù)據(jù)中心是光互連技術和創(chuàng)新增長極快的市場，由于機器對機器通信的增加，70%的互聯(lián)網流量幾乎都發(fā)生在數(shù)據(jù)中心內部。
IDC預計到2025年全球的數(shù)據(jù)量將達到175ZB。為了支持我們對數(shù)據(jù)的不懈需求，超大規(guī)模數(shù)據(jù)中心正在轉向更快、更平坦、更具可擴展性的網絡架構，而不超過三層交換機的扁平架構就成為了主流選擇。該架構降低了延遲，但增加了對更高帶寬和長距離高效連接的需求。
長期以來，以太網高速接口被認為是互聯(lián)網的數(shù)據(jù)連接骨干。隨之而來的是，每一代以太網標準都將速度提高了一倍，以此滿足日益增長的高速互連的需求，超大規(guī)模數(shù)據(jù)中心的發(fā)展甚至成為以太網標準演進路線圖的重要影響因素。新一代的以太網標準可提供每通道224Gbps的數(shù)據(jù)速率，為支持800G和1.6T以太網奠定了基礎。
超大規(guī)模數(shù)據(jù)中心需要224Gbps傳輸技術
隨著數(shù)據(jù)中心處理的數(shù)據(jù)量持續(xù)增加，對更高帶寬和更高效數(shù)據(jù)傳輸的需求變得勢在必行。為了跟上不斷加速的性能要求，人工智能數(shù)據(jù)中心必須擴展其系統(tǒng)結構，開發(fā)強大且高性能的連接基礎設施，以極大限度地提高AI/ML的效用。800G技術為數(shù)據(jù)中心提供了一種前瞻性的解決方案，目前主要用于大型數(shù)據(jù)中心、云服務環(huán)境和需要高帶寬的應用。
第一代800G以太網技術通過8個獨立的通道來傳輸數(shù)據(jù)，每個通道的傳輸速率達到112Gbps，相比上一代的速度翻了一番。接下來的第二代以太網技術再次將傳輸速率實現(xiàn)翻倍，為高達1.6T的鏈路引入了每通道224Gbps傳輸技術。然而，要實現(xiàn)224Gbps需要的不僅僅是“帶寬加倍”，相關的接口芯片、連接器等都需要性能改進或新設計才能以更高的速度工作。
在數(shù)據(jù)中心應用中，除了應用程序中數(shù)據(jù)爆炸帶來的高帶寬需求，目前服務器前面板密度也產生了高帶寬的連接需求，只有在224Gbps PAM4架構上構建的下一代數(shù)據(jù)中心才能維持這種極其迅猛的擴展。
除了海量數(shù)據(jù)的傳輸和處理，功耗是影響數(shù)據(jù)中心健康運行的另一個重要因素。據(jù)估計，超過60%的數(shù)據(jù)中心功耗與以太網的連接有關。由224Gbps PAM4技術支撐的1.6T以太網的使用有望將連接功耗降低50%，延遲降低40%。
超大規(guī)模數(shù)據(jù)中心使用224G連接和1.6T以太網來支持AI/ML所需的高性能計算，其中涉及復雜的技術架構和連接組件。具體使用從機架外開始，這些先進的連接解決方案將數(shù)據(jù)中心的分解資源鏈接起來，并以OSFP、QSFP-DD、QSFP、夾層和背板連接器，以及近ASIC連接器到電纜系統(tǒng)的形式擴展到服務器、存儲設備和機架。
在不斷縮小的空間中提供高速和高性能的連接，這個過程不是簡單地升級底層計算和連接能力以支持224Gbps速率的問題，而是如何更好地利用224G技術重新設計AI數(shù)據(jù)中心的問題，因此，需要整個生態(tài)系統(tǒng)的行業(yè)協(xié)作和共同開發(fā)才能達到新的水平，以確保組件、硬件、架構、連接、機械完整性和信號完整性之間的互操作性。
224Gbps高速互連系統(tǒng)的設計考慮
每一代高速串行通信技術幾乎都會將信道數(shù)據(jù)速率推向新高，當112Gbps PAM4信道引入數(shù)據(jù)中心環(huán)境時，通過加倍互連帶寬使支持的數(shù)據(jù)速率加倍。然而，從 112Gbps增加到224Gbps并不只是“讓速度提高一倍”那么簡單。采用224Gbps帶來了重大設計挑戰(zhàn)，尤其是如何在信號完整性與機械外形尺寸需求兩個方面取得平衡，需要物理層架構的升級。
在數(shù)據(jù)中心中，224Gbps信道是通過專用芯片（ASIC）經過PCB和背板進行傳輸?shù)模瑐鬏斅窂缴涎b有用于網絡和計算設備之間通信的連接器、無源和有源電纜以及光纖。為了保證數(shù)據(jù)傳輸系統(tǒng)能夠按照設計要求正常運行，與之相關的連接器和電纜系統(tǒng)，甚至用于制造PCB和半導體的基本材料都需要重新進行評估和設計，設計人員必須平衡架構中每個組件的信號完整性要求與機械外形尺寸要求，而連接器和電纜則是影響224Gbps信道信號完整性的關鍵元件。
在服務器和存儲設備中，224Gbps信道需要各種連接解決方案，包括近ASIC連接器到電纜系統(tǒng)、高性能夾層連接器、OSFP、QSFP-DD、QSFP和類似標準等（如圖2）。
圖2：224Gbps計算平臺需要各種連接解決方案，包括OSFP、QSFP-DD、QSFP、夾層連接器（Mirro Mezz增強型）、背板連接器（Inception）和近ASIC連接器到電纜系統(tǒng)（CX2-DS）。（圖源：Molex）
對于超大規(guī)模數(shù)據(jù)中心而言，銅互連依然很重要，比如OSFP、QSFP-DD和QSFP等接口就可以通過三種方式實現(xiàn)224Gbps信道的連接：
一是直連銅（DAC）電纜，該方式僅使用銅線，沒有電子器件，功耗為零，延遲和插入損耗極低，能在3.0米的距離內提供超低的成本和功耗。
二是有源電纜（AEC），對于長達5.0米的連接，AEC支持多種電纜配置，同時提供低延遲，在性能和成本之間為數(shù)據(jù)中心高速互連方案提供了一個折中的選擇。
三是有源光纖布線，這種方式支持跨數(shù)據(jù)中心的多個224Gbps通道的連接，以實現(xiàn)長距離數(shù)據(jù)傳輸。
綜上，對于高速互連應用，銅互連并沒有“死亡”——在需要覆蓋的距離不到3.0米時，DAC可以完美地工作，非常適合機架內應用。
比如，英偉達公司的GB200 NVL72機架級系統(tǒng)包括72個Blackwell GPU和36個Grace CPU，其中的GPU就采用了由Amphenol提供的高速直連銅（DAC）電纜方案實現(xiàn)電連接。不過，當傳輸距離超過2.0米時，DAC因信號丟失嚴重將無法使用。此時，AEC為數(shù)據(jù)中心提供了一種彌補差距的方法，與光模塊方案相比，內置的重定時器讓AEC能夠以更低的成本在7.0米的距離內保持高速數(shù)據(jù)輸送和卓越的可維護性。
如何打造224Gbps整體解決方案？
在數(shù)據(jù)中心中，要實現(xiàn)高達224Gbp的數(shù)據(jù)傳輸率，需要采用具備多種芯片到芯片連接方案的全新系統(tǒng)架構。2023年5月份，Molex莫仕推出了一個芯片對芯片224Gbps PAM4產品組合，用以支持下一代數(shù)據(jù)中心實現(xiàn)高速互連。這些適用于數(shù)據(jù)中心224Gbps架構的連接器系列產品涵蓋了系統(tǒng)架構的各個方面，而Inception、CX2 Dual Speed（CX2-DS）和Mirror Mezz增強型扣板連接器是新方案中的重要產品。
其中，Inception是Molex首款從電纜優(yōu)先角度設計的無公母端區(qū)別的背板連接系統(tǒng)，由于無插頭和插座的差異，因此它的接口兩端的信號完整性和機械完整性是一樣的。作為硬件通信架構的骨干，Inception可實現(xiàn)高效的通信和數(shù)據(jù)交換；近ASIC連接器CX2-DS專為機械堅固性而設計，具有配合后的螺釘接合功能，以確保在將配合力傳遞給螺釘?shù)耐瑫r完全就位，具有可靠的機械擦拭和完全保護的“防拇指觸碰”接口。
為了打造完整的光纖架構，近ASIC連接器CX2-DS可在芯片和周圍的組件或外部連接之間實現(xiàn)高速低損耗連接；Mirror Mezz增強型扣板連接器是無公母端區(qū)別的中間層板對板連接器，它將Molex的夾層互連技術提升到能夠支持224Gbps PAM4的水平。通過向系統(tǒng)添加更多的Mirror Mezz增強型連接器配合PCB板級組件上的所支持互連拓撲結構，系統(tǒng)可以支持更多的計算模塊，從而實現(xiàn)計算能力的升級。以OCP開放加速卡基礎設施（OAI）系統(tǒng)為例，至多可以安裝多達8個GPU模組；在未來的高速互連架構中，當Mirror Mezz增強型連接器與Inception/CX2-DS結合使用時，像OAI這樣的系統(tǒng)也可以使用Inception高速背板連接器和電纜在單獨的機箱之間實現(xiàn)互連。
圖3：用于光纖架構的Inception背板和CX2-DS（圖源：Molex）
OSFP 1600、QSFP 800和QSFP-DD 1600連接器和電纜這些堅固的I/O連接器和電纜同樣是專為224Gbps PAM4而設計的互連解決方案，它們具有卓越的機械耐用性和出色的屏蔽性能，可極大限度地減少串擾，擁有更好的信號完整性性能。OSFP 1600與OSFP MSA標準兼容，適用于224Gbps應用。不過，OSFP連接器不向后兼容QSFP-DD的接口形態(tài)，是一種替代QSFP-DD的接口形態(tài)，它可以支持更快的數(shù)據(jù)速率和更好的散熱性能。
圖4：堅固耐用的I/O連接器OSFP（圖源：Molex）
總之，先進的連接解決方案包括高速板對板連接器、下一代電纜、背板連接器，以及近ASIC連接器到電纜系統(tǒng)解決方案，這些支持224Gbps PAM4的互連組件對新的數(shù)據(jù)中心設計至關重要，224Gbps技術和1.6T鏈路使重新構建數(shù)據(jù)中心成為可能。在實際應用中，我們可以將上述支持224 Gbps-PAM4系列的組件整合為一個高速互連方案并部署在超大規(guī)模數(shù)據(jù)中心。
本文小結
生成式人工智能、邊緣計算和數(shù)字孿生建模等新技術正在重新定義數(shù)據(jù)中心的計算要求。數(shù)據(jù)中心互連不僅要應對帶寬、延遲和安全性等諸多挑戰(zhàn)，而且隨著企業(yè)對數(shù)據(jù)處理速度和準確性的要求越來越高，對高帶寬和低延遲的需求也在逐漸增長。通過實現(xiàn)GPU、加速器和其他組件之間的快速數(shù)據(jù)交換，高速板對板連接器大大提高了AI數(shù)據(jù)中心的效率。此外，連接器的高數(shù)據(jù)傳輸速率在AI訓練和推理任務中尤其有益，在這些任務中，及時處理數(shù)據(jù)對AI算法的性能至關重要。
雖然400G以太網光收發(fā)器目前是大規(guī)模數(shù)據(jù)中心的主流選擇，也許很多企業(yè)仍在運營中采用40G或100G技術，但數(shù)據(jù)中心互連技術的趨勢顯然正朝著800G發(fā)展，1.6T的應用也在路上。
隨著數(shù)據(jù)密集型應用程序的增加，數(shù)據(jù)速率翻倍的趨勢將繼續(xù)下去。計算模塊之間傳輸?shù)臄?shù)據(jù)速度和數(shù)量的增加亟需224Gbps互連解決方案的支持。而應用于數(shù)據(jù)中心的高速連接組件的發(fā)展將迎來新一輪創(chuàng)新，其重點將是進一步小型化、提高數(shù)據(jù)傳輸速率和提高能效。
該發(fā)布文章為獨家原創(chuàng)文章，轉載請注明來源。對于未經許可的復制和不符合要求的轉載我們將保留依法追究法律責任的權利。
