Intel FPGA Programmable Acceleration Card N3000 Руководство пользователя

Введение

Фон

Программируемая карта ускорения Intel FPGA N3000 в виртуализированной сети радиодоступа (vRAN) требует поддержки IEEE1588v2 в качестве ведомых часов Telecom (T-TSC) протокола точного времени (PTP) для надлежащего планирования программных задач. Контроллер Intel Ethernet XL710 в Intel® FPGA PAC N3000 обеспечивает поддержку IEEE1588v2. Однако путь данных FPGA вносит дрожание, которое влияет на производительность PTP. Добавление схемы прозрачных часов (T-TC) позволяет Intel FPGA PAC N3000 компенсировать внутреннюю задержку FPGA и смягчать эффекты джиттера, что позволяет T-TSC эффективно аппроксимировать время суток Grandmaster (ToD).

Цель

Эти тесты подтверждают использование Intel FPGA PAC N3000 в качестве ведомого устройства IEEE1588v2 в сети открытого радиодоступа (O-RAN). Этот документ описывает:

• Испытательная установка
• Процесс проверки
• Оценка производительности механизма прозрачных часов в тракте ПЛИС Intel FPGA PAC N3000
• Производительность PTP Intel FPGA PAC N3000 Производительность Intel FPGA PAC N3000, поддерживающая прозрачные часы, составляет
  по сравнению с Intel FPGA PAC N3000 без прозрачных часов, а также с другой картой Ethernet XXV710 при различных условиях трафика и конфигурациях PTP.

Особенности и ограничения

Функции и ограничения проверки для поддержки Intel FPGA PAC N3000 IEEE1588v2 следующие:

• Используемый программный стек: Linux PTP Project (PTP4l)
• Поддерживает следующие телекоммуникационные проfiles:
  •  1588v2 (по умолчанию)
  • G.8265.1
  • G.8275.1
• Поддерживает двухшаговые подчиненные часы PTP.

Корпорация Интел. Все права защищены. Intel, логотип Intel и другие товарные знаки Intel являются товарными знаками корпорации Intel или ее дочерних компаний. Корпорация Intel гарантирует производительность своих FPGA и полупроводниковых продуктов в соответствии с текущими спецификациями в соответствии со стандартной гарантией Intel, но оставляет за собой право вносить изменения в любые продукты и услуги в любое время без предварительного уведомления. Intel не принимает на себя никакой ответственности или обязательств, возникающих в связи с применением или использованием какой-либо информации, продуктов или услуг, описанных в настоящем документе, за исключением случаев, когда это прямо согласовано с корпорацией Intel в письменной форме. Клиентам Intel рекомендуется получить последнюю версию спецификаций устройств, прежде чем полагаться на какую-либо опубликованную информацию и размещать заказы на продукты или услуги. *Другие названия и торговые марки могут быть заявлены как собственность других лиц.

• Поддерживает сквозной многоадресный режим.
• Поддерживает частоту обмена сообщениями PTP до 128 Гц.
  • Это ограничение плана проверки и нанятого гроссмейстера. Возможны конфигурации PTP со скоростью более 128 пакетов в секунду для сообщений PTP.
• Из-за ограничений коммутатора Cisco* Nexus* 93180YC-FX, используемого при настройке проверки, результаты производительности в условиях трафика iperf3 относятся к скорости обмена сообщениями PTP 8 Гц.
• Поддержка инкапсуляции:
  • Транспорт через L2 (необработанный Ethernet) и L3 (UDP/IPv4/IPv6)
    Примечание: В этом документе во всех результатах используется один канал Ethernet 25 Гбит/с.

Инструменты и версии драйверов

Инструменты	Версия
БИОС	Серверная плата Intel S2600WF 00.01.0013
OS	CentOS 7.6
Ядро	ядро-rt-3.10.0-693.2.2.rt56.623.el7.src.
Комплект для разработки плоскости данных (DPDK)	18.08
Компилятор Intel C	19.0.3
Драйвер Intel XL710 (драйвер i40e)	2.8.432.9.21
ПТП4л	2.0
иксэксплорер	8.51.1800.7 EA-исправление1
lperf3	3.0.11
трафген	Набор инструментов Netsniff-ng 0.6.6

 IXIA Тест трафика

В первом наборе тестов производительности PTP для Intel FPGA PAC N3000 используется решение IXIA* для тестирования сети и PTP на соответствие. Шасси IXIA XGS2 включает в себя карту IXIA 40 PORT NOVUS-R100GE8Q28 и IxExplorer, который предоставляет графический интерфейс для настройки виртуального PTP Grandmaster на DUT (Intel FPGA PAC N3000) через одно прямое соединение Ethernet 25 Гбит/с. Блок-схема ниже иллюстрирует целевую топологию тестирования для эталонных тестов на основе IXIA. Во всех результатах используется сгенерированный IXIA трафик для тестов входящего трафика и инструмент trafgen на хосте Intel FPGA PAC N3000 для тестов исходящего трафика, где направление входа или выхода всегда определяется с точки зрения DUT (Intel FPGA PAC N3000). ) хозяин. В обоих случаях средняя скорость трафика составляет 24 Гбит/с. Эта тестовая установка обеспечивает базовую характеристику производительности PTP для Intel FPGA PAC N3000 с включенным механизмом T-TC, а также сравнение ее с заводским образом Intel FPGA PAC N3000 без TC в соответствии с ITU-T G.8275.1 PTP pro.file.

Топология для тестов трафика Intel FPGA PAC N3000 в рамках IXIA Virtual Grandmaster

Результат теста трафика IXIA

В следующем анализе показана производительность PTP для Intel FPGA PAC N3000 с поддержкой TC в условиях входящего и исходящего трафика. В этом разделе PTP profile G.8275.1 был принят для всех тестов трафика и сбора данных.

Величина основного смещения

На следующем рисунке показана величина смещения главного устройства, наблюдаемая подчиненным клиентом PTP4l хоста Intel FPGA PAC N3000, в зависимости от времени, прошедшего при входном, исходящем и двунаправленном трафике (средняя пропускная способность 24.4 Гбит/с).

Средняя задержка пути (MPD)

На следующем рисунке показана средняя задержка пути, рассчитанная ведомым устройством PTP4, использующим Intel FPGA PAC N3000 в качестве сетевой карты, для того же теста, что и на рисунке выше. Общая продолжительность каждого из трех тестов трафика составляет не менее 16 часов.

В следующей таблице представлен статистический анализ трех тестов трафика. При нагрузке трафика, близкой к пропускной способности канала, ведомое устройство PTP4l, использующее Intel FPGA PAC N3000, сохраняет фазовый сдвиг относительно виртуального главного устройства IXIA в пределах 53 нс для всех тестов трафика. Кроме того, стандартное отклонение величины основного смещения составляет менее 5 нс.

Статистические данные о производительности PTP

G.8275.1 ПТР Проfile	Входящий трафик (24 Гбит/с)	Исходящий трафик (24 Гбит/с)	Двунаправленный трафик (24 Гбит/с)
СКО	6.35 нс	8.4 нс	9.2 нс
StdDev (абс.(макс.) смещения)	3.68 нс	3.78 нс	4.5 нс
StdDev (MPD)	1.78 нс	2.1 нс	2.38 нс
Максимальное смещение	36 нс	33 нс	53 нс

 

На следующих рисунках представлена ​​величина основного смещения и средней задержки пути (MPD) при 16-часовом тесте двунаправленного трафика 24 Гбит/с для различных инкапсуляций PTP. Левые графики на этих рисунках относятся к эталонным тестам PTP при инкапсуляции IPv4/UDP, а инкапсуляция сообщений PTP на правых графиках — в L2 (необработанный Ethernet). Производительность ведомого устройства PTP4l очень похожа, величина смещения ведущего в наихудшем случае составляет 53 нс и 45 нс для инкапсуляции IPv4/UDP и L2 соответственно. Стандартное отклонение смещения величины составляет 4.49 нс и 4.55 нс для инкапсуляции IPv4/UDP и L2 соответственно.

Величина основного смещения

На следующем рисунке показана величина основного смещения при двунаправленном трафике 24 Гбит/с, инкапсуляции IPv4 (слева) и L2 (справа), G8275.1 Pro.file.

Средняя задержка пути (MPD)

На следующем рисунке показана средняя задержка на пути хоста Intel FPGA PAC N3000 PTP4l slave при двунаправленном трафике 24 Гбит/с, инкапсуляции IPv4 (слева) и L2 (справа), G8275.1 Pro.file.

Абсолютные значения MPD не являются четким показателем согласованности PTP, поскольку они зависят от длины кабелей, задержки пути передачи данных и т. д.; тем не менее, глядя на низкие вариации MPD (2.381 нс и 2.377 нс для случаев IPv4 и L2 соответственно), становится очевидным, что расчет MPD PTP неизменно точен для обеих инкапсуляций. Он проверяет согласованность производительности PTP в обоих режимах инкапсуляции. Изменение уровня рассчитанного MPD на графике L2 (на рисунке выше, правый график) связано с добавочным эффектом приложенного трафика. Сначала канал простаивает (среднеквадратичное значение MPD составляет 55.3 нс), затем применяется входящий трафик (второй шаг приращения, среднеквадратичное значение MPD составляет 85.44 нс), после чего следует одновременный исходящий трафик, в результате чего расчетное значение MPD равно 108.98 нс. На следующих рисунках показаны величина главного смещения и рассчитанный MPD теста двунаправленного трафика, примененного как к подчиненному устройству PTP4l, использующему Intel FPGA PAC N3000 с механизмом T-TC, так и к другому, использующему Intel FPGA PACN3000 без TC. функциональность. Тесты T-TC Intel FPGA PAC N3000 (оранжевые) начинаются с нулевого времени, в то время как тест PTP, в котором используется не-TC Intel FPGA PAC N3000 (синий), начинается примерно через T = 2300 секунд.

Величина основного смещения

На следующем рисунке показана величина основного смещения для входящего трафика (24 Гбит/с) с поддержкой TTC и без нее, G.8275.1 Pro.file.

На приведенном выше рисунке производительность PTP Intel FPGA PAC N3000 с поддержкой TC в условиях трафика аналогична производительности Intel FPGA PAC N3000 без TC в течение первых 2300 секунд. Эффективность механизма T-TC в Intel FPGA PAC N3000 проявляется на тестовом отрезке (после 2300-й секунды), где на интерфейсы обеих карт приходится одинаковая нагрузка трафика. Точно так же на рисунке ниже показаны расчеты MPD до и после применения трафика на канале. Эффективность механизма T-TC подчеркивается компенсацией времени пребывания пакетов, которое представляет собой задержку пакета на пути FPGA между MAC-адресами 25G и 40G.

Средняя задержка пути (MPD)

На следующем рисунке показана средняя задержка на пути ведомого узла PTP3000l хоста Intel FPGA PAC N4 при входящем трафике (24 Гбит/с) с поддержкой T-TC и без нее, G.8275.1 Pro.file.

На этих рисунках показан алгоритм сервопривода ведомого устройства PTP4l. Из-за коррекции времени пребывания TC мы видим небольшие различия в расчетах средней задержки пути. Следовательно, влияние флуктуаций задержки на аппроксимацию основного смещения уменьшается. В следующей таблице приведен статистический анализ производительности PTP, который включает среднеквадратичное значение и стандартное отклонение основного смещения, стандартное отклонение средней задержки пути, а также основное смещение для наихудшего случая для Intel FPGA PAC N3000 с T- и без него. поддержка ТС.

Статистические данные о производительности PTP при входящем трафике

Входящий трафик (24 Гбит/с) G.8275.1 PTP Profile	Intel FPGA PAC N3000 с T-TC	Intel FPGA PAC N3000 без T-TC
СКО	6.34 нс	40.5 нс
StdDev (абс.(макс.) смещения)	3.65 нс	15.5 нс
StdDev (MPD)	1.79 нс	18.1 нс
Максимальное смещение	34 нс	143 нс

Прямое сравнение Intel FPGA PAC N3000 с поддержкой TC с версией без TC.
Показывает, что производительность PTP в 4-6 раз ниже по сравнению с любым из статистических показателей.
метрики (наихудший случай, среднеквадратичное значение или стандартное отклонение основного смещения). Худший случай
основное смещение для конфигурации G.8275.1 PTP T-TC Intel FPGA PAC N3000 равно 34.
ns в условиях входящего трафика на пределе пропускной способности канала (24.4 Гбит/с).

lperf3 Тест трафика

В этом разделе описывается тест производительности трафика iperf3 для дальнейшей оценки производительности PTP Intel FPGA PAC N3000. Инструмент iperf3 использовался для имитации условий активного трафика. Топология сети тестов трафика iperf3, показанная на рисунке ниже, включает подключение двух серверов, каждый из которых использует карту DUT (Intel FPGA PAC N3000 и XXV710), к коммутатору Cisco Nexus 93180YC FX. Коммутатор Cisco действует как граничный таймер (T-BC) между двумя ведомыми устройствами DUT PTP и главным мастером Calnex Paragon-NEO.

Топология сети для теста трафика Intel FPGA PAC N3000 lperf3

Выходные данные PTP4l на каждом из хостов DUT предоставляют данные измерений производительности PTP для каждого ведомого устройства в установке (Intel FPGA PAC N3000 и XXV710). Для теста трафика iperf3 ко всем графикам и анализу производительности применяются следующие условия и конфигурации:

• Совокупная пропускная способность трафика (как TCP, так и UDP) 17 Гбит/с, исходящего или входящего или двунаправленного на Intel FPGA PAC N3000.
• Инкапсуляция пакетов PTP в IPv4 из-за ограничений конфигурации коммутатора Cisco Nexus 93180YC-FX.
• Скорость обмена сообщениями PTP ограничена 8 пакетами в секунду из-за ограничений конфигурации коммутатора Cisco Nexus 93180YC-FX.

Результат теста трафика perf3

В следующем анализе показана производительность платы Intel FPGA PAC N3000 и платы XXV710, которые одновременно действуют как сетевые карты ведомых устройств PTP (T-TSC) Calnex Paragon NEO Grandmaster через коммутатор Cisco T-BC.

На следующих рисунках показана величина основного смещения и MPD во времени для трех различных тестов трафика с использованием Intel FPGA PAC N3000 с картой T-TC и XXV710. В обеих картах двунаправленный трафик оказывает наибольшее влияние на производительность PTP4l. Продолжительность тестов трафика составляет 10 часов. На следующих рисунках хвост графика отмечает момент времени, когда трафик останавливается, а величина главного смещения PTP снижается до низких уровней из-за незанятого канала.

Величина главного смещения для Intel FPGA PAC N3000

На следующем рисунке показана средняя задержка пути для Intel FPGA PAC N3000 с T TC при входном, исходящем и двунаправленном трафике iperf3.

Средняя задержка пути (MPD) для Intel FPGA PAC N3000

На следующем рисунке показана средняя задержка пути для Intel FPGA PAC N3000 с T TC при входном, исходящем и двунаправленном трафике iperf3.

Величина основного смещения для XXV710

На следующем рисунке показана величина основного смещения для XXV710 при входящем, исходящем и двунаправленном трафике iperf3.

Средняя задержка пути (MPD) для XXV710

На следующем рисунке показана средняя задержка пути для XXV710 при входящем, исходящем и двунаправленном трафике iperf3.

Что касается производительности Intel FPGA PAC N3000 PTP, наихудшее смещение мастера при любых условиях трафика находится в пределах 90 нс. При тех же условиях двунаправленного трафика среднеквадратичное значение смещения главного устройства Intel FPGA PAC N3000 в 5.6 раз лучше, чем у платы XXV710.

	Intel ПЛИС PAC N3000			Карта XXV710
	Входящий трафик10G	Исходящий трафик 18G	Двунаправленный трафик18G	Входящий трафик18G	Исходящий трафик 10G	Двунаправленный трафик18G
СКО	27.6 нс	14.2 нс	27.2 нс	93.96 нс	164.2 нс	154.7 нс
StdDev (абс. (макс.) смещения)	9.8 нс	8.7 нс	14.6 нс	61.2 нс	123.8 нс	100 нс
StdDev (MPD)	21.6 нс	9.2 нс	20.6 нс	55.58 нс	55.3 нс	75.9 нс
Максимальное смещение	84 нс	62 нс	90 нс	474 нс	1,106 нс	958 нс

Примечательно, что основное смещение Intel FPGA PAC N3000 имеет более низкое стандартное отклонение,
по крайней мере в 5 раз меньше, чем у карты XXV710, означает, что приближение PTP
Часы Grandmaster менее чувствительны к задержке или колебаниям шума при трафике в сети.
Intel ПЛИС PAC N3000.
По сравнению с результатами теста IXIA Traffic Test на стр. 5, наихудшая величина
основное смещение с Intel FPGA PAC N3000 с поддержкой T-TC кажется выше. Кроме
различия в топологии сети и пропускной способности канала, это связано с Intel
FPGA PAC N3000 захвачен под G.8275.1 PTP profile (частота синхронизации 16 Гц), а
скорость сообщений синхронизации в этом случае ограничена 8 пакетами в секунду.

Величина основного сравнения смещения

На следующем рисунке показана величина сравнения основного смещения при двунаправленном трафике iperf3.

Сравнение средней задержки пути (MPD)

На следующем рисунке показано сравнение средних задержек пути при двунаправленном трафике iperf3.

Превосходная производительность PTP платы Intel FPGA PAC N3000 по сравнению с картой XXV710 также подтверждается явно более высоким отклонением расчетной средней задержки пути (MPD) для XXV710 и Intel FPGA PAC N3000 в каждом из тестов целевого трафика, для бывшийampдвунаправленный трафик iperf3. Игнорируйте среднее значение в каждом случае MPD, которое может различаться по ряду причин, таких как разные кабели Ethernet и разная задержка ядра. Наблюдаемое несоответствие и всплеск значений для карты XXV710 отсутствуют в Intel FPGA PAC N3000.

Среднеквадратичное значение 8 последовательных основных сравнений смещения

Заключение

Путь данных FPGA между QSFP28 (25G MAC) и Intel XL710 (40G MAC) добавляет переменную задержку пакета, которая влияет на точность аппроксимации подчиненного PTP. Добавление поддержки Transparent Clock (T-TC) в программную логику FPGA Intel FPGA PAC N3000 обеспечивает компенсацию этой задержки пакета путем добавления времени его пребывания в поле коррекции инкапсулированных сообщений PTP. Результаты подтверждают, что механизм T-TC улучшает характеристики точности ведомого устройства PTP4l.

Кроме того, результаты теста трафика IXIA на стр. 5 показывают, что поддержка T-TC в тракте данных FPGA повышает производительность PTP как минимум в 4 раза по сравнению с Intel FPGA PAC N3000 без поддержки T-TC. Intel FPGA PAC N3000 с T-TC обеспечивает наихудшее ведущее смещение 53 нс при входном, исходящем или двунаправленном трафике на пределе пропускной способности канала (25 Гбит/с). Следовательно, с поддержкой T-TC производительность Intel FPGA PAC N3000 PTP является более точной и менее подверженной колебаниям шума.

В тесте трафика lperf3 на стр. 10 производительность PTP платы Intel FPGA PAC N3000 с включенным T-TC сравнивается с картой XXV710. Этот тест зафиксировал данные PTP4l для обоих ведомых часов при входном или исходящем трафике, которым обмениваются два хоста Intel FPGA PAC N3000 и плата XXV710. В наихудшем случае основное смещение, наблюдаемое в Intel FPGA PAC N3000, как минимум в 5 раз ниже, чем у карты XXV710. Кроме того, стандартное отклонение захваченных смещений также доказывает, что поддержка T-TC в Intel FPGA PAC N3000 обеспечивает более плавную аппроксимацию часов гроссмейстера.

Для дальнейшей проверки производительности PTP Intel FPGA PAC N3000 возможные варианты тестирования включают:

• Валидация под разными PTP profiles и скорость передачи сообщений для более чем одного канала Ethernet.
• Оценка lperf3 Traffic Test на стр. 10 с более продвинутым коммутатором, обеспечивающим более высокую скорость передачи сообщений PTP.
• Оценка функциональных возможностей T-SC и его точности синхронизации PTP в соответствии с G.8273.2 Проверка на соответствие.

История изменений документа для теста IEEE 1588 V2

 

Документ Версия	Изменения
2020.05.30	Первоначальный выпуск.

 

Документы/Ресурсы

Плата программируемого ускорения Intel FPGA N3000 [pdf] Руководство пользователя Плата программируемого ускорения FPGA, N3000, Плата программируемого ускорения N3000, Плата программируемого ускорения FPGA N3000, FPGA, тест IEEE 1588 V2

Ссылки

• Руководство пользователя