intel FPGA 可编程加速卡 N3000 用户指南

介绍

背景

虚拟化无线电接入网络 (vRAN) 中的英特尔 FPGA 可编程加速卡 N3000 需要支持 IEEE1588v2 作为精确时间协议 (PTP) 电信从时钟 (T-TSC) 以适当地安排软件任务。 英特尔® FPGA PAC N710 中的英特尔以太网控制器 XL3000 提供 IEEE1588v2 支持。 然而，FPGA 数据路径引入了影响 PTP 性能的抖动。 添加透明时钟 (T-TC) 电路使英特尔 FPGA PAC N3000 能够补偿其 FPGA 内部延迟并减轻抖动的影响，从而使 T-TSC 能够高效地近似大师的时间 (ToD)。

客观的

这些测试验证了英特尔 FPGA PAC N3000 在开放无线电接入网络 (O-RAN) 中用作 IEEE1588v2 从站的使用。 本文档描述：

• 测试设置
• 验证过程
• Intel FPGA PAC N3000 FPGA路径透明时钟机制性能评估
• Intel FPGA PAC N3000的PTP性能支持透明时钟的Intel FPGA PAC N3000性能为
  在各种流量条件和 PTP 配置下，与没有透明时钟的英特尔 FPGA PAC N3000 以及另一个以太网卡 XXV710 进行比较。

功能和限制

英特尔 FPGA PAC N3000 IEEE1588v2 支持的特性和验证限制如下：

• 使用的软件堆栈：Linux PTP 项目 (PTP4l)
• 支持以下电信专业files:
  •  1588v2（默认）
  • G.8265.1
  • G.8275.1
• 支持两步PTP从时钟。

英特尔公司。 版权所有。 英特尔、英特尔徽标和其他英特尔标志是英特尔公司或其子公司的商标。 英特尔根据英特尔的标准保修保证其 FPGA 和半导体产品的性能符合当前规格，但保留随时更改任何产品和服务的权利，恕不另行通知。 英特尔不承担因应用或使用此处描述的任何信息、产品或服务而产生的任何责任或义务，除非英特尔明确书面同意。 建议英特尔客户在依赖任何已发布信息和下订单购买产品或服务之前获取最新版本的设备规格。 *其他名称和品牌可能被认为是他人的财产。

• 支持端到端组播模式。
• 支持高达 128 Hz 的 PTP 消息交换频率。
  • 这是验证计划和受雇大师的限制。 PTP 消息的 PTP 配置可能高于每秒 128 个数据包。
• 由于验证设置中使用的 Cisco* Nexus* 93180YC-FX 交换机的限制，iperf3 流量条件下的性能结果指的是 8 Hz 的 PTP 消息交换率。
• 封装支持：
  • 通过 L2（原始以太网）和 L3（UDP/IPv4/IPv6）传输
    笔记： 在本文档中，所有结果都使用单个 25Gbps 以太网链路。

工具和驱动程序版本

工具	版本
BIOS	英特尔服务器主板 S2600WF 00.01.0013
OS	CentOS 7.6
核心	内核-rt-3.10.0-693.2.2.rt56.623.el7.src。
数据平面开发套件 (DPDK)	18.08
英特尔 C 编译器	19.0.3
Intel XL710驱动（i40e驱动）	2.8.432.9.21
PTP4l	2.0
探索者	8.51.1800.7 EA-补丁1
性能3	3.0.11
流量	Netsniff-ng 0.6.6 工具包

 IXIA 流量测试

英特尔 FPGA PAC N3000 的第一组 PTP 性能基准测试利用 IXIA* 解决方案进行网络和 PTP 一致性测试。 IXIA XGS2 机箱包括一个 IXIA 40 端口 NOVUS-R100GE8Q28 卡和 IxExplorer，它提供了一个图形界面，用于通过单个 3000 Gbps 直接以太网连接设置到 DUT（英特尔 FPGA PAC N25）的虚拟 PTP 主控。 下面的框图说明了基于 IXIA 的基准测试的目标测试拓扑。 所有结果都使用 IXIA 生成的流量进行入口流量测试，并利用英特尔 FPGA PAC N3000 主机上的 trafgen 工具进行出口流量测试，其中入口或出口方向始终从 DUT 的角度（英特尔 FPGA PAC N3000 ） 主持人。 在这两种情况下，平均流量速率均为 24 Gbps。 此测试设置提供了启用 T-TC 机制的英特尔 FPGA PAC N3000 的 PTP 性能的基线特征，并将其与 ITU-T G.3000 PTP pro 下的非 TC 英特尔 FPGA PAC N8275.1 出厂映像进行了比较file.

IXIA Virtual Grandmaster 下英特尔 FPGA PAC N3000 流量测试的拓扑

IXIA 流量测试结果

以下分析捕获了启用 TC 的英特尔 FPGA PAC N3000 在入口和出口流量条件下的 PTP 性能。 在本节中，PTP profile 所有流量测试和数据采集均采用G.8275.1。

主偏移的大小

下图显示了英特尔 FPGA PAC N4 主机的 PTP3000l 从客户端观察到的主偏移量作为入口、出口和双向流量（平均吞吐量为 24.4Gbps）下经过时间的函数。

平均路径延迟 (MPD)

下图显示了平均路径延迟，由使用英特尔 FPGA PAC N4 作为网络接口卡的 PTP3000 从机计算得出，用于与上图相同的测试。 三个流量测试中的每一个的总持续时间至少为 16 小时。

下表列出了三个流量测试的统计分析。 在接近通道容量的流量负载下，使用英特尔 FPGA PAC N4 的 PTP3000l 从设备在所有流量测试中将其与 IXIA 虚拟主时钟的相位偏移保持在 53 纳秒以内。 此外，主偏移幅度的标准偏差低于 5 ns。

PTP 性能的统计细节

G.8275.1 PTP 临file	入口流量 (24Gbps)	出口流量 (24Gbps)	双向流量 (24Gbps)
有效值	6.35纳秒	8.4纳秒	9.2纳秒
StdDev（绝对（最大）偏移）	3.68纳秒	3.78纳秒	4.5纳秒
StdDev（MPD 的）	1.78纳秒	2.1纳秒	2.38纳秒
最大偏移量	36纳秒	33纳秒	53纳秒

 

下图表示在针对不同 PTP 封装的 16 小时长 24 Gbps 双向流量测试下，主偏移量和平均路径延迟 (MPD) 的大小。 这些图中的左图是指 IPv4/UDP 封装下的 PTP 基准，而右图的 PTP 消息封装是在 L2（原始以太网）中。 PTP4l 从性能非常相似，对于 IPv53/UDP 和 L45 封装，最坏情况下的主偏移幅度分别为 4 ns 和 2 ns。 对于 IPv4.49/UDP 和 L4.55 封装，幅度偏移的标准偏差分别为 4 ns 和 2 ns。

主偏移的大小

下图是24Gbps双向流量下master offset的大小，IPv4（左）和L2（右）封装，G8275.1 Profile.

平均路径延迟 (MPD)

下图为Intel FPGA PAC N3000主机PTP4l从机在24Gbps双向流量下的平均路径延迟，IPv4（左）和L2（右）封装，G8275.1 Profile.

MPD 的绝对值并不能明确表示 PTP 一致性，因为它取决于电缆长度、数据路径延迟等； 然而，查看低 MPD 变化（IPv2.381 和 L2.377 情况下分别为 4 ns 和 2 ns）可以明显看出，PTP MPD 计算在两种封装中始终准确。 它验证两种封装模式下 PTP 性能的一致性。 L2 图中计算出的 MPD 的水平变化（上图中右图）是由于应用流量的增量效应。 首先，通道空闲（MPD rms 为 55.3 ns），然后应用入口流量（第二个增量步骤，MPD rms 为 85.44 ns），然后是同时出口流量，计算出的 MPD 为 108.98 ns。 下图叠加了双向流量测试的主偏移量和计算的 MPD，该测试适用于使用具有 T-TC 机制的英特尔 FPGA PAC N4 的 PTP3000l 从属设备，以及另一个使用不带 TC 的英特尔 FPGA PACN3000 的从属设备功能。 T-TC 英特尔 FPGA PAC N3000 测试（橙色）从零开始，而使用非 TC 英特尔 FPGA PAC N3000（蓝色）的 PTP 测试在 T = 2300 秒左右开始。

主偏移的大小

下图显示了入口流量 (24 Gbps) 下的主偏移量，有和没有 TTC 支持，G.8275.1 Profile.

在上图中，启用 TC 的英特尔 FPGA PAC N3000 在流量下的 PTP 性能在前 3000 秒与未启用 TC 的英特尔 FPGA PAC N2300 相似。 英特尔 FPGA PAC N3000 中 T-TC 机制的有效性在测试部分（第 2300 秒之后）得到了突出显示，其中对两个卡的接口应用了相等的流量负载。 同样在下图中，在通道上应用流量之前和之后观察 MPD 计算。 T-TC 机制的有效性在补偿数据包的停留时间方面得到了突出，这是通过 25G 和 40G MAC 之间的 FPGA 路径的数据包延迟。

平均路径延迟 (MPD)

下图显示了英特尔 FPGA PAC N3000 主机 PTP4l 从站在入口流量 (24 Gbps) 下的平均路径延迟，有和没有 T-TC 支持，G.8275.1 Profile.

这些图显示了 PTP4l 从站的伺服算法，由于 TC 的停留时间校正，我们看到平均路径延迟计算存在微小差异。 因此，减少了延迟波动对主偏移近似的影响。 下表列出了 PTP 性能的统计分析，其中包括主偏移的 RMS 和标准偏差、平均路径延迟的标准偏差，以及带和不带 T- 的英特尔 FPGA PAC N3000 的最坏情况主偏移TC支持。

入口流量下 PTP 性能的统计细节

入口流量 (24Gbps) G.8275.1 PTP Profile	带 T-TC 的英特尔 FPGA PAC N3000	不带 T-TC 的英特尔 FPGA PAC N3000
有效值	6.34纳秒	40.5纳秒
StdDev（绝对（最大）偏移）	3.65纳秒	15.5纳秒
StdDev（MPD 的）	1.79纳秒	18.1纳秒
最大偏移量	34纳秒	143纳秒

直接比较支持 TC 的英特尔 FPGA PAC N3000 与非 TC 版本
显示 PTP 性能比任何统计数据低 4 到 6 倍
指标（最坏情况，RMS 或主偏移的标准偏差）。 最坏的情况
T-TC 英特尔 FPGA PAC N8275.1 的 G.3000 PTP 配置的主偏移为 34
ns 在通道带宽限制 (24.4Gbps) 的入口流量条件下。

lperf3 流量测试

本节介绍 iperf3 流量基准测试，以进一步评估英特尔 FPGA PAC N3000 的 PTP 性能。 iperf3 工具已被用于模拟活跃的交通状况。 下图所示的 iperf3 流量基准测试的网络拓扑涉及将两台服务器连接到 Cisco Nexus 3000YC FX 交换机，每台服务器都使用 DUT 卡（英特尔 FPGA PAC N710 和 XXV93180）。 Cisco 交换机充当两个 DUT PTP 从站和 Calnex Paragon-NEO Grandmaster 之间的边界时钟 (T-BC)。

英特尔 FPGA PAC N3000 lperf3 流量测试的网络拓扑

每个 DUT 主机上的 PTP4l 输出为设置中的每个从属设备（英特尔 FPGA PAC N3000 和 XXV710）提供 PTP 性能的数据测量。 对于iperf3流量测试，以下条件和配置适用于所有图表和性能分析：

• 17 Gbps 聚合流量带宽（TCP 和 UDP），出口或入口或双向到英特尔 FPGA PAC N3000。
• 由于 Cisco Nexus 4YC-FX 交换机的配置限制，PTP 数据包的 IPv93180 封装。
• 由于 Cisco Nexus 8YC-FX 交换机的配置限制，PTP 消息交换速率限制为 93180 个数据包/秒。

perf3 流量测试结果

以下分析捕获了英特尔 FPGA PAC N3000 和 XXV710 卡的性能，它们都通过 T-BC Cisco 交换机同时充当 PTP 从站 (T-TSC) Calnex Paragon NEO Grandmaster 的网络接口卡。

下图显示了使用带 T-TC 和 XXV3000 卡的英特尔 FPGA PAC N710 进行的三种不同流量测试的主偏移量和 MPD 随时间变化的幅度。 在这两种卡中，双向流量对 PTP4l 性能的影响最大。 流量测试持续时间为 10 小时。 在下图中，图表的尾部标记了一个时间点，在该时间点，由于空闲通道，流量停止并且 PTP 主偏移量降至其低水平。

英特尔 FPGA PAC N3000 的主偏移量级

下图显示了具有 T TC 的英特尔 FPGA PAC N3000 在入口、出口和双向 iperf3 流量下的平均路径延迟。

英特尔 FPGA PAC N3000 的平均路径延迟 (MPD)

下图显示了具有 T TC 的英特尔 FPGA PAC N3000 在入口、出口和双向 iperf3 流量下的平均路径延迟。

XXV710 的主偏移量

下图显示了 XXV710 在入口、出口和双向 iperf3 流量下的主偏移量。

XXV710 的平均路径延迟 (MPD)

下图显示了 XXV710 在入口、出口和双向 iperf3 流量下的平均路径延迟。

关于英特尔 FPGA PAC N3000 PTP 性能，任何流量条件下的最坏情况主偏移都在 90 ns 以内。 在相同的双向流量条件下，英特尔 FPGA PAC N3000 主偏移的 RMS 比 XXV5.6 卡好 710 倍。

	英特尔 FPGA PAC N3000			XXV710卡
	入口流量10G	出口流量 18G	双向流量18G	入口流量18G	出口流量 10G	双向流量18G
有效值	27.6纳秒	14.2纳秒	27.2纳秒	93.96纳秒	164.2纳秒	154.7纳秒
StdDev（绝对值（最大）偏移量）	9.8纳秒	8.7纳秒	14.6纳秒	61.2纳秒	123.8纳秒	100纳秒
StdDev（MPD 的）	21.6纳秒	9.2纳秒	20.6纳秒	55.58纳秒	55.3纳秒	75.9纳秒
最大偏移量	84纳秒	62纳秒	90纳秒	474纳秒	1,106纳秒	958纳秒

值得注意的是，英特尔 FPGA PAC N3000 的主偏移具有较低的标准偏差，
至少比 XXV5 卡小 710 倍，表示 PTP 近似于
Grandmaster 时钟对网络中流量下的延迟或噪声变化不太敏感
英特尔 FPGA PAC N3000。
与第 5 页的 IXIA 流量测试结果相比，最坏情况下的幅度
启用 T-TC 的英特尔 FPGA PAC N3000 的主偏移似乎更高。 除了
网络拓扑和通道带宽的差异，这是由于英特尔
在 G.3000 PTP pro 下捕获的 FPGA PAC N8275.1file （16 赫兹同步率），而
在这种情况下，同步消息速率被限制在每秒 8 个数据包。

主偏移比较的大小

下图是双向iperf3流量下master offset大小对比。

平均路径延迟 (MPD) 比较

下图显示了双向 iperf3 流量下的平均路径延迟比较。

与 XXV3000 卡相比，英特尔 FPGA PAC N710 的卓越 PTP 性能也得到了 XXV710 和英特尔 FPGA PAC N3000 在每个目标流量测试中计算的平均路径延迟 (MPD) 明显更高偏差的支持，对于前任ample 双向 iperf3 流量。 忽略每个 MPD 案例中的平均值，该平均值可能因多种原因而不同，例如不同的以太网电缆和不同的核心延迟。 英特尔 FPGA PAC N710 中不存在观察到的 XXV3000 卡值差异和尖峰。

8 个连续主偏移比较的 RMS

结论

QSFP28 (25G MAC) 和 Intel XL710 (40G MAC) 之间的 FPGA 数据路径增加了可变数据包延迟，这会影响 PTP 从站的近似精度。 在英特尔 FPGA PAC N3000 的 FPGA 软逻辑中添加透明时钟 (T-TC) 支持，通过在封装 PTP 消息的校正字段中附加其驻留时间来补偿此数据包延迟。 结果证实 T-TC 机制提高了 PTP4l 从机的精度性能。

此外，第 5 页的 IXIA 流量测试结果表明，与不支持 T-TC 的英特尔 FPGA PAC N4 相比，FPGA 数据路径中的 T-TC 支持将 PTP 性能提高了至少 3000 倍。 具有 T-TC 的英特尔 FPGA PAC N3000 在通道容量限制 (53 Gbps) 的入口、出口或双向流量负载下呈现 25 ns 的最坏情况主偏移。 因此，借助 T-TC 支持，英特尔 FPGA PAC N3000 PTP 性能更加准确且不易受噪声变化的影响。

在第 3 页的 lperf10 流量测试中，将启用 T-TC 的英特尔 FPGA PAC N3000 的 PTP 性能与 XXV710 卡进行了比较。 该测试在英特尔 FPGA PAC N4 和 XXV3000 卡的两个主机之间交换的入口或出口流量下捕获了两个从时钟的 PTP710l 数据。 在英特尔 FPGA PAC N3000 中观察到的最坏情况主偏移至少比 XXV5 卡低 710 倍。 此外，捕获的偏移量的标准偏差也证明英特尔 FPGA PAC N3000 的 T-TC 支持允许更平滑地逼近 Grandmaster 时钟。

为了进一步验证英特尔 FPGA PAC N3000 的 PTP 性能，潜在的测试选项包括：

• 不同PTP pro下的验证file多个以太网链路的 s 和消息速率。
• 第 3 页的 lperf10 流量测试评估，使用更高级的开关，允许更高的 PTP 消息速率。
• 根据 G.8273.2 一致性测试评估 T-SC 功能及其 PTP 定时精度。

IEEE 1588 V2 测试的文档修订历史

 

文档 版本	更改
2020.05.30	初始版本。

 

文件/资源

intel FPGA可编程加速卡N3000 [pdf] 用户指南 FPGA可编程加速卡N3000 可编程加速卡N3000 FPGA可编程加速卡N3000 FPGA IEEE 1588 V2测试

参考

• 用户手册