intel FPGA 可編程加速卡 N3000 用戶指南

介紹

背景

虛擬化無線電接入網絡 (vRAN) 中的英特爾 FPGA 可編程加速卡 N3000 需要支持 IEEE1588v2 作為精確時間協議 (PTP) 電信從時鐘 (T-TSC) 以適當地安排軟件任務。 英特爾® FPGA PAC N710 中的英特爾以太網控制器 XL3000 提供 IEEE1588v2 支持。 然而，FPGA 數據路徑引入了影響 PTP 性能的抖動。 添加透明時鐘 (T-TC) 電路使英特爾 FPGA PAC N3000 能夠補償其 FPGA 內部延遲並減輕抖動的影響，從而使 T-TSC 能夠高效地近似大師的時間 (ToD)。

客觀的

這些測試驗證了英特爾 FPGA PAC N3000 在開放無線電接入網絡 (O-RAN) 中用作 IEEE1588v2 從站的使用。 本文檔描述：

• 測試設定
• 驗證流程
• Intel FPGA PAC N3000 FPGA路徑透明時鐘機制性能評估
• Intel FPGA PAC N3000的PTP性能支持透明時鐘的Intel FPGA PAC N3000性能為
  在各種流量條件和 PTP 配置下，與沒有透明時鐘的英特爾 FPGA PAC N3000 以及另一個以太網卡 XXV710 進行比較。

特點和限制

英特爾 FPGA PAC N3000 IEEE1588v2 支持的特性和驗證限制如下：

• 使用的軟件堆棧：Linux PTP 項目 (PTP4l)
• 支持以下電信專業files:
  •  1588v2（默認）
  • G.8265.1
  • G.8275.1
• 支持兩步PTP從時鐘。

英特爾公司。 版權所有。 英特爾、英特爾徽標和其他英特爾標誌是英特爾公司或其子公司的商標。 英特爾根據英特爾的標准保修保證其 FPGA 和半導體產品的性能符合當前規格，但保留隨時更改任何產品和服務的權利，恕不另行通知。 英特爾不承擔因應用或使用此處描述的任何信息、產品或服務而產生的任何責任或義務，除非英特爾明確書面同意。 建議英特爾客戶在依賴任何已發布信息和下訂單購買產品或服務之前獲取最新版本的設備規格。 *其他名稱和品牌可能被認為是他人的財產。

• 支持端到端組播模式。
• 支持高達 128 Hz 的 PTP 消息交換頻率。
  • 這是驗證計劃和受僱大師的限制。 PTP 消息的 PTP 配置可能高於每秒 128 個數據包。
• 由於驗證設置中使用的 Cisco* Nexus* 93180YC-FX 交換機的限制，iperf3 流量條件下的性能結果指的是 8 Hz 的 PTP 消息交換率。
• 封裝支持：
  • 通過 L2（原始以太網）和 L3（UDP/IPv4/IPv6）傳輸
    筆記： 在本文檔中，所有結果都使用單個 25Gbps 以太網鏈路。

工具和驅動程序版本

工具	版本
BIOS	英特爾服務器主板 S2600WF 00.01.0013
OS	CentOS 7.6
核心	內核-rt-3.10.0-693.2.2.rt56.623.el7.src。
數據平面開發套件 (DPDK)	18.08
英特爾 C 編譯器	19.0.3
Intel XL710驅動（i40e驅動）	2.8.432.9.21
PTP4l	2.0
探索者	8.51.1800.7 EA-補丁1
性能3	3.0.11
流量	Netsniff-ng 0.6.6 工具包

 IXIA 流量測試

英特爾 FPGA PAC N3000 的第一組 PTP 性能基準測試利用 IXIA* 解決方案進行網絡和 PTP 一致性測試。 IXIA XGS2 機箱包括一個 IXIA 40 端口 NOVUS-R100GE8Q28 卡和 IxExplorer，它提供了一個圖形界面，用於通過單個 3000 Gbps 直接以太網連接設置到 DUT（英特爾 FPGA PAC N25）的虛擬 PTP 主控。 下面的框圖說明了基於 IXIA 的基準測試的目標測試拓撲。 所有結果都使用 IXIA 生成的流量進行入口流量測試，並利用英特爾 FPGA PAC N3000 主機上的 trafgen 工具進行出口流量測試，其中入口或出口方向始終從 DUT 的角度（英特爾 FPGA PAC N3000 ） 主持人。 在這兩種情況下，平均流量速率均為 24 Gbps。 此測試設置提供了啟用 T-TC 機制的英特爾 FPGA PAC N3000 的 PTP 性能的基線特徵，並將其與 ITU-T G.3000 PTP pro 下的非 TC 英特爾 FPGA PAC N8275.1 出廠映像進行了比較file.

IXIA Virtual Grandmaster 下英特爾 FPGA PAC N3000 流量測試的拓撲

IXIA 流量測試結果

以下分析捕獲了啟用 TC 的英特爾 FPGA PAC N3000 在入口和出口流量條件下的 PTP 性能。 在本節中，PTP profile 所有流量測試和數據採集均採用G.8275.1。

主偏移的大小

下圖顯示了英特爾 FPGA PAC N4 主機的 PTP3000l 從客戶端觀察到的主偏移量作為入口、出口和雙向流量（平均吞吐量為 24.4Gbps）下經過時間的函數。

平均路徑延遲 (MPD)

下圖顯示了平均路徑延遲，由使用英特爾 FPGA PAC N4 作為網絡接口卡的 PTP3000 從機計算得出，用於與上圖相同的測試。 三個流量測試中的每一個的總持續時間至少為 16 小時。

下表列出了三個流量測試的統計分析。 在接近通道容量的流量負載下，使用英特爾 FPGA PAC N4 的 PTP3000l 從設備在所有流量測試中將其與 IXIA 虛擬主時鐘的相位偏移保持在 53 納秒以內。 此外，主偏移幅度的標準偏差低於 5 ns。

PTP 性能的統計細節

G.8275.1 PTP 臨file	入口流量 (24Gbps)	出口流量 (24Gbps)	雙向流量 (24Gbps)
有效值	6.35納秒	8.4納秒	9.2納秒
StdDev（絕對（最大）偏移）	3.68納秒	3.78納秒	4.5納秒
StdDev（MPD 的）	1.78納秒	2.1納秒	2.38納秒
最大偏移量	36納秒	33納秒	53納秒

 

下圖表示在針對不同 PTP 封裝的 16 小時長 24 Gbps 雙向流量測試下，主偏移量和平均路徑延遲 (MPD) 的大小。 這些圖中的左圖是指 IPv4/UDP 封裝下的 PTP 基準，而右圖的 PTP 消息封裝是在 L2（原始以太網）中。 PTP4l 從性能非常相似，對於 IPv53/UDP 和 L45 封裝，最壞情況下的主偏移幅度分別為 4 ns 和 2 ns。 對於 IPv4.49/UDP 和 L4.55 封裝，幅度偏移的標準偏差分別為 4 ns 和 2 ns。

主偏移的大小

下圖是24Gbps雙向流量下master offset的大小，IPv4（左）和L2（右）封裝，G8275.1 Profile.

平均路徑延遲 (MPD)

下圖為Intel FPGA PAC N3000主機PTP4l從機在24Gbps雙向流量下的平均路徑延遲，IPv4（左）和L2（右）封裝，G8275.1 Profile.

MPD 的絕對值並不能明確表示 PTP 一致性，因為它取決於電纜長度、數據路徑延遲等； 然而，查看低 MPD 變化（IPv2.381 和 L2.377 情況下分別為 4 ns 和 2 ns）可以明顯看出，PTP MPD 計算在兩種封裝中始終準確。 它驗證兩種封裝模式下 PTP 性能的一致性。 L2 圖中計算出的 MPD 的水平變化（上圖中右圖）是由於應用流量的增量效應。 首先，通道空閒（MPD rms 為 55.3 ns），然後應用入口流量（第二個增量步驟，MPD rms 為 85.44 ns），然後是同時出口流量，計算出的 MPD 為 108.98 ns。 下圖疊加了雙向流量測試的主偏移量和計算的 MPD，該測試適用於使用具有 T-TC 機制的英特爾 FPGA PAC N4 的 PTP3000l 從屬設備，以及另一個使用不帶 TC 的英特爾 FPGA PACN3000 的從屬設備功能。 T-TC 英特爾 FPGA PAC N3000 測試（橙色）從零開始，而使用非 TC 英特爾 FPGA PAC N3000（藍色）的 PTP 測試在 T = 2300 秒左右開始。

主偏移的大小

下圖顯示了入口流量 (24 Gbps) 下的主偏移量，有和沒有 TTC 支持，G.8275.1 Profile.

在上圖中，啟用 TC 的英特爾 FPGA PAC N3000 在流量下的 PTP 性能在前 3000 秒與未啟用 TC 的英特爾 FPGA PAC N2300 相似。 英特爾 FPGA PAC N3000 中 T-TC 機制的有效性在測試部分（第 2300 秒之後）得到了突出顯示，其中對兩個卡的接口應用了相等的流量負載。 同樣在下圖中，在通道上應用流量之前和之後觀察 MPD 計算。 T-TC 機制的有效性在補償數據包的停留時間方面得到了突出，這是通過 25G 和 40G MAC 之間的 FPGA 路徑的數據包延遲。

平均路徑延遲 (MPD)

下圖顯示了英特爾 FPGA PAC N3000 主機 PTP4l 從站在入口流量 (24 Gbps) 下的平均路徑延遲，有和沒有 T-TC 支持，G.8275.1 Profile.

這些圖顯示了 PTP4l 從站的伺服算法，由於 TC 的停留時間校正，我們看到平均路徑延遲計算存在微小差異。 因此，減少了延遲波動對主偏移近似的影響。 下表列出了 PTP 性能的統計分析，其中包括主偏移的 RMS 和標準偏差、平均路徑延遲的標準偏差，以及帶和不帶 T- 的英特爾 FPGA PAC N3000 的最壞情況主偏移TC支持。

入口流量下 PTP 性能的統計細節

入口流量 (24Gbps) G.8275.1 PTP Profile	帶 T-TC 的英特爾 FPGA PAC N3000	不帶 T-TC 的英特爾 FPGA PAC N3000
有效值	6.34納秒	40.5納秒
StdDev（絕對（最大）偏移）	3.65納秒	15.5納秒
StdDev（MPD 的）	1.79納秒	18.1納秒
最大偏移量	34納秒	143納秒

直接比較支持 TC 的英特爾 FPGA PAC N3000 與非 TC 版本
顯示 PTP 性能比任何統計數據低 4 到 6 倍
指標（最壞情況，RMS 或主偏移的標準偏差）。 最壞的情況
T-TC 英特爾 FPGA PAC N8275.1 的 G.3000 PTP 配置的主偏移為 34
ns 在通道帶寬限制 (24.4Gbps) 的入口流量條件下。

lperf3 流量測試

本節介紹 iperf3 流量基準測試，以進一步評估英特爾 FPGA PAC N3000 的 PTP 性能。 iperf3 工具已被用於模擬活躍的交通狀況。 下圖所示的 iperf3 流量基準測試的網絡拓撲涉及將兩台服務器連接到 Cisco Nexus 3000YC FX 交換機，每台服務器都使用 DUT 卡（英特爾 FPGA PAC N710 和 XXV93180）。 Cisco 交換機充當兩個 DUT PTP 從站和 Calnex Paragon-NEO Grandmaster 之間的邊界時鐘 (T-BC)。

英特爾 FPGA PAC N3000 lperf3 流量測試的網絡拓撲

每個 DUT 主機上的 PTP4l 輸出為設置中的每個從屬設備（英特爾 FPGA PAC N3000 和 XXV710）提供 PTP 性能的數據測量。 對於iperf3流量測試，以下條件和配置適用於所有圖表和性能分析：

• 17 Gbps 聚合流量帶寬（TCP 和 UDP），出口或入口或雙向到英特爾 FPGA PAC N3000。
• 由於 Cisco Nexus 4YC-FX 交換機的配置限制，PTP 數據包的 IPv93180 封裝。
• 由於 Cisco Nexus 8YC-FX 交換機的配置限制，PTP 消息交換速率限制為 93180 個數據包/秒。

perf3 流量測試結果

以下分析捕獲了英特爾 FPGA PAC N3000 和 XXV710 卡的性能，它們都通過 T-BC Cisco 交換機同時充當 PTP 從站 (T-TSC) Calnex Paragon NEO Grandmaster 的網絡接口卡。

下圖顯示了使用帶 T-TC 和 XXV3000 卡的英特爾 FPGA PAC N710 進行的三種不同流量測試的主偏移量和 MPD 隨時間變化的幅度。 在這兩種卡中，雙向流量對 PTP4l 性能的影響最大。 流量測試持續時間為 10 小時。 在下圖中，圖表的尾部標記了一個時間點，在該時間點，由於空閒通道，流量停止並且 PTP 主偏移量降至其低水平。

英特爾 FPGA PAC N3000 的主偏移量級

下圖顯示了具有 T TC 的英特爾 FPGA PAC N3000 在入口、出口和雙向 iperf3 流量下的平均路徑延遲。

英特爾 FPGA PAC N3000 的平均路徑延遲 (MPD)

下圖顯示了具有 T TC 的英特爾 FPGA PAC N3000 在入口、出口和雙向 iperf3 流量下的平均路徑延遲。

XXV710 的主偏移量

下圖顯示了 XXV710 在入口、出口和雙向 iperf3 流量下的主偏移量。

XXV710 的平均路徑延遲 (MPD)

下圖顯示了 XXV710 在入口、出口和雙向 iperf3 流量下的平均路徑延遲。

關於英特爾 FPGA PAC N3000 PTP 性能，任何流量條件下的最壞情況主偏移都在 90 ns 以內。 在相同的雙向流量條件下，英特爾 FPGA PAC N3000 主偏移的 RMS 比 XXV5.6 卡好 710 倍。

	英特爾 FPGA PAC N3000			XXV710卡
	入口流量10G	出口流量 18G	雙向流量18G	入口流量18G	出口流量 10G	雙向流量18G
有效值	27.6納秒	14.2納秒	27.2納秒	93.96納秒	164.2納秒	154.7納秒
StdDev（絕對值（最大）偏移量）	9.8納秒	8.7納秒	14.6納秒	61.2納秒	123.8納秒	100納秒
StdDev（MPD 的）	21.6納秒	9.2納秒	20.6納秒	55.58納秒	55.3納秒	75.9納秒
最大偏移量	84納秒	62納秒	90納秒	474納秒	1,106納秒	958納秒

值得注意的是，英特爾 FPGA PAC N3000 的主偏移具有較低的標準偏差，
至少比 XXV5 卡小 710 倍，表示 PTP 近似於
Grandmaster 時鐘對網絡中流量下的延遲或噪聲變化不太敏感
英特爾 FPGA PAC N3000。
與第 5 頁的 IXIA 流量測試結果相比，最壞情況下的幅度
啟用 T-TC 的英特爾 FPGA PAC N3000 的主偏移似乎更高。 除了
網絡拓撲和通道帶寬的差異，這是由於英特爾
在 G.3000 PTP pro 下捕獲的 FPGA PAC N8275.1file （16 赫茲同步率），而
在這種情況下，同步消息速率被限制在每秒 8 個數據包。

主偏移比較的大小

下圖是雙向iperf3流量下master offset大小對比。

平均路徑延遲 (MPD) 比較

下圖顯示了雙向 iperf3 流量下的平均路徑延遲比較。

與 XXV3000 卡相比，英特爾 FPGA PAC N710 的卓越 PTP 性能也得到了 XXV710 和英特爾 FPGA PAC N3000 在每個目標流量測試中計算的平均路徑延遲 (MPD) 明顯更高偏差的支持，對於前任ample 雙向 iperf3 流量。 忽略每個 MPD 案例中的平均值，該平均值可能因多種原因而不同，例如不同的以太網電纜和不同的核心延遲。 英特爾 FPGA PAC N710 中不存在觀察到的 XXV3000 卡值差異和尖峰。

8 個連續主偏移比較的 RMS

結論

QSFP28 (25G MAC) 和 Intel XL710 (40G MAC) 之間的 FPGA 數據路徑增加了可變數據包延遲，這會影響 PTP 從站的近似精度。 在英特爾 FPGA PAC N3000 的 FPGA 軟邏輯中添加透明時鐘 (T-TC) 支持，通過在封裝 PTP 消息的校正字段中附加其駐留時間來補償此數據包延遲。 結果證實 T-TC 機制提高了 PTP4l 從機的精度性能。

此外，第 5 頁的 IXIA 流量測試結果表明，與不支持 T-TC 的英特爾 FPGA PAC N4 相比，FPGA 數據路徑中的 T-TC 支持將 PTP 性能提高了至少 3000 倍。 具有 T-TC 的英特爾 FPGA PAC N3000 在通道容量限制 (53 Gbps) 的入口、出口或雙向流量負載下呈現 25 ns 的最壞情況主偏移。 因此，借助 T-TC 支持，英特爾 FPGA PAC N3000 PTP 性能更加準確且不易受噪聲變化的影響。

在第 3 頁的 lperf10 流量測試中，將啟用 T-TC 的英特爾 FPGA PAC N3000 的 PTP 性能與 XXV710 卡進行了比較。 該測試在英特爾 FPGA PAC N4 和 XXV3000 卡的兩個主機之間交換的入口或出口流量下捕獲了兩個從時鐘的 PTP710l 數據。 在英特爾 FPGA PAC N3000 中觀察到的最壞情況主偏移至少比 XXV5 卡低 710 倍。 此外，捕獲的偏移量的標準偏差也證明英特爾 FPGA PAC N3000 的 T-TC 支持允許更平滑地逼近 Grandmaster 時鐘。

為了進一步驗證英特爾 FPGA PAC N3000 的 PTP 性能，潛在的測試選項包括：

• 不同PTP pro下的驗證file多個以太網鏈路的 s 和消息速率。
• 第 3 頁的 lperf10 流量測試評估，使用更高級的開關，允許更高的 PTP 消息速率。
• 根據 G.8273.2 一致性測試評估 T-SC 功能及其 PTP 定時精度。

IEEE 1588 V2 測試的文檔修訂歷史

 

文件 版本	變化
2020.05.30	初次發布。

 

文件/資源

intel FPGA可編程加速卡N3000 [pdf] 使用者指南 FPGA可編程加速卡N3000 可編程加速卡N3000 FPGA可編程加速卡N3000 FPGA IEEE 1588 V2測試

參考

• 使用者手冊