基于DPU的Openstack裸金屬服務網絡解決方案

1.? 方案背景和挑戰(zhàn)

裸金屬服務器作為一類特別設計的計算類云服務，向最終用戶提供了云端部署的專屬物理服務器，這意味著最終用戶不再需要與其他租戶共享硬件資源，從而確保了資源的獨占性、性能的最優(yōu)化以及數據的最高級別安全。

裸金屬服務器作為云上資源的重要部分，其網絡需要與云主機和容器同樣連接在VPC下，并且能夠像云主機和容器一樣使用云上的網絡功能和能力。

當前，基于OpenStack的裸金屬服務實現主要依賴于Ironic組件，并通過OpenStack的Neutron網絡組件來實現裸金屬服務器的網絡連接。在該方案下，裸金屬服務器的網絡使用的是物理網卡，因此網絡配置依賴于物理上的網絡拓撲（例如需要知道裸金屬網卡連接到交換機的端口編號），物理網絡拓撲連接完成后就確定了，為了實現 VPC 等網絡功能，需要對裸金屬服務器的上聯交換機做一些動態(tài)配置，以實現網絡的切換。

Neutron原本是為虛擬機網絡環(huán)境設計的，因此在應用于裸金屬服務時，便暴露出了不足之處，帶來了一系列的問題與挑戰(zhàn)，具體體現在以下幾個方面：

a. 網絡管理復雜性增加，提高了管理難度

- VLAN支持要求：Ironic的網絡實現需要物理交換機的VLAN支持，并且要實現VLAN和VPC的匹配和轉換，以確保裸金屬服務器能夠正確地接入網絡。這不僅增加了網絡配置的復雜性，也提高了管理難度。

- 拓撲要求：物理網絡拓撲需要能夠支持VLAN的劃分和管理，這可能涉及到復雜的網絡設備配置和維護。

b. SDN集成困難，降低網絡性能

- 流量轉換需求：在裸金屬場景下，直接使用軟件定義網絡（SDN）技術存在困難。通常需要將網絡流量引導到一個特定的網絡節(jié)點進行轉換，這不僅會降低網絡性能，還會增加網絡管理的復雜度。

- 性能與管理權衡：這種流量轉換機制可能導致網絡性能下降，同時也增加了網絡管理和維護的工作量。

c. 安全組實現困難，增加運維成本

- 安全組規(guī)則不適用：傳統裸金屬服務器直接連接到物理交換機，導致OpenStack的安全組規(guī)則無法直接應用于裸金屬服務器。安全組是OpenStack中用于控制網絡流量的安全機制，其規(guī)則定義了允許或拒絕的網絡流量類型。

- 交換機防火墻規(guī)則影響：如果嘗試通過物理交換機的防火墻規(guī)則來實現類似的安全控制，可能會影響到其他業(yè)務的正常運行，并且會大幅增加運維成本。

d. 網卡熱插拔支持不足，限制了系統靈活性

- 物理限制：傳統裸金屬服務器的物理網卡不支持熱插拔功能。這意味著在不關閉服務器的情況下，無法添加或移除網絡適配器，這限制了系統的靈活性和服務的可用性。

- 維護與更新挑戰(zhàn)：缺乏熱插拔支持使得網絡維護和更新變得更加困難，可能需要計劃停機時間，從而影響服務的連續(xù)性和用戶體驗。

基于OpenStack的裸金屬服務網絡實現，雖然借助Ironic和Neutron組件獲得了良好的表現，但在網絡管理、SDN集成、安全組應用以及網卡熱插拔支持等方面仍面臨一系列挑戰(zhàn)。這些挑戰(zhàn)需要通過技術創(chuàng)新和架構優(yōu)化來逐步解決，以提高裸金屬服務的性能、安全性和管理效率。

2.? 方案介紹

2.1. 整體方案架構

為了解決上文提到的問題與挑戰(zhàn)，本方案創(chuàng)新性的引入了DPU組件，并仍然使用Openstack Ironic node資源來管理裸金屬實例。在開源Ironic組件（ironic-api、ironic-conductor）之外，我們自研了Ironic-dpu-agent組件，運行在每個裸金屬節(jié)點的DPU Soc中，用于管理裸金屬實例的存儲、網絡資源。

整體方案架構如下圖：

各組件作用如下：

• Ironic-api：裸金屬rest api服務。
• Ironic-conductor：裸金屬實例的任務控制服務，負責裸金屬開關機、重啟、部署等任務。
• Ironic-dpu-agent：運行在DPU Soc上，與Ironic-conductor通過RPC通信，負責管理本節(jié)點裸金屬實例的存儲、網絡資源。
• Neutron-server：OpenStack網絡服務，為裸金屬實例提供network、subnet、port管理功能。

2.2. 方案詳細描述

在基于DPU的OpenStack裸金屬網絡方案中，裸金屬服務器的網絡配置完全由DPU卡負責，裸金屬服務器本身不需要任何傳統的物理網卡。DPU卡為裸金屬服務器提供物理功能（PF）、虛擬功能（VF）或可分割功能（SF）設備，作為網絡接口。這些網絡接口完全由DPU的系統級芯片（SOC）側的Open vSwitch（OVS）進行配置，無需依賴外部物理交換機即可實現網絡連接。

在該方案中，DPU負責處理包括VXLAN、Geneve等在內的各種虛擬網絡協議，能夠支持虛擬機與裸金屬服務器之間的網絡互通，保證靈活且高效的網絡連接。這種網絡拓撲簡化了裸金屬服務器的部署流程，因為服務器無需依賴外部交換設備，所有的網絡管理和配置工作都在DPU卡上完成，大大減少了對傳統物理網絡基礎設施的依賴。

在控制節(jié)點上，OpenStack的Neutron組件負責網絡服務的管理，并通過OVN（Open Virtual Network）來與DPU通信。DPU的SOC上運行著OVS（Open vSwitch），這是整個方案中負責網絡流量轉發(fā)和管理的關鍵組件。同時，DPU的SOC側還運行著OVN控制器（ovn-controller）和Ironic-dpu-agent，分別負責虛擬網絡的控制和裸金屬網絡的管理。

OVN控制器：負責與Neutron進行通信，并根據網絡需求配置OVS，實現裸金屬服務器與虛擬機之間的網絡連接。

Ironic-dpu-agent：這是Ironic服務的一個代理，它通過控制和配置OVS上的端口，管理DPU網絡資源，負責為裸金屬服務器分配和管理網絡接口。

在這個架構下，DPU卡上提供的PF、VF等網絡設備通過其代表接口（pfRep和vfRep）連接到OVS。裸金屬服務器通過這些網絡設備與DPU卡通信，進而連接到整個虛擬網絡系統中。OVS通過在SOC上運行的p0和p1端口負責管理所有的網絡流量，從而使裸金屬服務器能夠無縫地加入虛擬網絡。

這種架構極大地提升了裸金屬服務器的網絡性能，同時減少了對外部交換機的依賴，降低了部署成本和復雜度。在實際應用中，這種基于DPU的網絡架構可以大幅提高數據中心的資源利用率，并為多租戶環(huán)境下的虛擬機和裸金屬服務器提供高效、安全的網絡隔離和互通。

裸金屬node節(jié)點綁定創(chuàng)建的虛擬port，Neutron Server 通過 OVN Plugin 將端口信息寫入 OVN NB DB，當Ironic-dpu-agent 獲得node綁定port信息后，配置OVS的interface中的iface-id，然后通過ovn-controller下發(fā)流表，跟虛擬機網絡流標下發(fā)方式一致。

網卡熱插拔

在原生Ironic中，可以實現一定程度網卡熱插拔，但是要求機器上有冗余的網卡設備，這些網卡設備可以在需要的時候被啟用/禁用。這種方式也有一些缺陷，一方面這不夠靈活，不同的用戶需求不一樣，冗余多少塊網卡不便于確定。另一方面，如果冗余的網卡沒有得到使用，造成了資源浪費。

在基于 DPU 的方案中，如前文所述，裸金屬的網卡是由DPU的 PF/VF/SF 設備提供的，而 DPU 往往提供了大量的 VF/SF（數百個以上），足夠滿足用戶的需求。那么網卡的熱插拔就變成了 PF/VF/SF 設備的動態(tài)插拔和配置問題，這仍然是由 Ironic-dpu-agent組件完成的。

3.? 測試與驗證

3.1.? 網絡拓撲

以下是示例網絡拓撲：

其中，普通業(yè)務流量和存儲流量最好劃分VLAN。BMC 帶外管理網和千兆管理網需要打通，測試時也可簡單用同一個網絡。

3.2.? 軟件環(huán)境

依賴以下軟件環(huán)境：

3.3.? 測試用例及結果

3.3.1.??創(chuàng)建資源

• 創(chuàng)建網絡、子網、路由器、鏈接路由器和子網

• 創(chuàng)建flavor

• 創(chuàng)建鏡像

• 創(chuàng)建node

3.3.2.? 創(chuàng)建裸金屬服務器實例

創(chuàng)建裸金屬實例與創(chuàng)建虛擬機操作流程一致，選擇裸金屬的flavor即可：

3.3.3.??安全組

創(chuàng)建裸金屬實例與創(chuàng)建虛擬機安全組添加一樣，創(chuàng)建port的時候選擇一個安全組即可：

3.3.4.??連通性驗證

在同一個net01下創(chuàng)建VM、BM，然后驗證BM和VM的網絡互通情況

創(chuàng)建VM：

登錄通過bmc登錄裸機bm-01驗證：

3.3.5.??網卡熱插拔

先卸載port，再添加port：

4.? 方案總結

DPU賦能的Openstack裸金屬網絡解決方案，在以下幾個方面具有顯著優(yōu)勢：

1)Overlay網絡終結在DPU側，降低網絡的復雜性：通過在DPU側終結Overlay網絡，可以減少中間網絡元素，擺脫了對物理交換機的依賴，簡化整體網絡拓撲架構。這種方式不僅降低了網絡的復雜性，提高了網絡的可管理性，還減少了設備成本和運維成本，使整個網絡更加經濟高效。

2)支持統一的SDN控制器，提升網絡靈活性和響應速度：采用統一的SDN控制器實現策略下發(fā)和調度，SDN網絡不僅支持VLAN還可以使用Vxlan和Geneve，擺脫VLAN網絡4096的限制。同時，有效簡化SDN軟件架構，提高網絡的靈活性和響應速度，降低維護和管理的復雜性。

3)通過SDN實現安全組，降低運維成本：通過SDN網絡的ACL功能，可以在不依賴物理交換機的情況下實現安全組功能。這樣可以直接在DPU上應用安全規(guī)則，而不需要通過物理交換機的防火墻規(guī)則，從而避免對其他業(yè)務的影響并降低運維成本。

4)支持網絡接口熱插拔，提升網絡設備靈活性：利用DPU的動態(tài)特性，可以實現網絡接口的熱插拔。這意味著在不影響服務器運行的情況下，可以增加新的網絡接口或移除現有接口，從而提高系統的靈活性和服務的可用性。

綜上所述，DPU驅動的Openstack裸金屬網絡方案通過一系列創(chuàng)新設計，不僅提高了網絡的可管理性、可擴展性和安全性，還增強了系統的靈活性和服務的可用性，從而為裸金屬服務器提供了更加強大和高效的網絡支持。

本方案來自于中科馭數軟件研發(fā)團隊，團隊核心由一群在云計算、數據中心架構、高性能計算領域深耕多年的業(yè)界資深架構師和技術專家組成，不僅擁有豐富的實戰(zhàn)經驗，還對行業(yè)趨勢具備敏銳的洞察力，該團隊致力于探索、設計、開發(fā)、推廣可落地的高性能云計算解決方案，幫助最終客戶加速數字化轉型，提升業(yè)務效能，同時降低運營成本。