Intel FPGA Programmable Acceleration Card N3000 Посібник користувача

вступ

Фон

Intel FPGA Programmable Acceleration Card N3000 у віртуалізованій мережі радіодоступу (vRAN) вимагає підтримки IEEE1588v2 як телекомунікаційних підлеглих годинників (T-TSC) протоколу точного часу (Precision Time Protocol, PTP) для відповідного планування програмних завдань. Контролер Intel Ethernet XL710 в Intel® FPGA PAC N3000 забезпечує підтримку IEEE1588v2. Однак шлях даних FPGA викликає тремтіння, що впливає на продуктивність PTP. Додавання схеми прозорого годинника (T-TC) дозволяє Intel FPGA PAC N3000 компенсувати внутрішню затримку FPGA та пом’якшує вплив тремтіння, що дозволяє T-TSC ефективно наближати час доби (ToD).

Мета

Ці тести підтверджують використання Intel FPGA PAC N3000 як підлеглого пристрою IEEE1588v2 у мережі відкритого радіодоступу (O-RAN). Цей документ описує:

• Тестове налаштування
• Процес перевірки
• Оцінка продуктивності механізму прозорого годинника в тракті FPGA Intel FPGA PAC N3000
• Продуктивність PTP Intel FPGA PAC N3000 Продуктивність Intel FPGA PAC N3000, що підтримує прозорий годинник, становить
  порівняно з Intel FPGA PAC N3000 без прозорого годинника, а також з іншою картою Ethernet XXV710 за різних умов трафіку та конфігурацій PTP.

Особливості та обмеження

Функції та обмеження перевірки для підтримки Intel FPGA PAC N3000 IEEE1588v2 такі:

• Використаний стек програмного забезпечення: Linux PTP Project (PTP4l)
• Підтримує такі телекомунікаційні професіоналиfiles:
  •  1588v2 (за замовчуванням)
  • G.8265.1
  • G.8275.1
• Підтримує двоступеневий ведений годинник PTP.

Корпорація Intel. Всі права захищені. Intel, логотип Intel та інші знаки Intel є товарними знаками корпорації Intel або її дочірніх компаній. Intel гарантує роботу своїх FPGA та напівпровідникових продуктів відповідно до поточних специфікацій відповідно до стандартної гарантії Intel, але залишає за собою право вносити зміни в будь-які продукти та послуги в будь-який час без попередження. Корпорація Intel не бере на себе жодної відповідальності чи зобов’язань, що виникають у зв’язку із застосуванням або використанням будь-якої інформації, продукту чи послуги, описаних у цьому документі, за винятком випадків, чітко наданих корпорацією Intel у письмовій формі. Клієнтам Intel рекомендується отримати останню версію специфікацій пристрою, перш ніж покладатися на будь-яку опубліковану інформацію та перед тим, як розміщувати замовлення на продукти чи послуги. *Інші назви та бренди можуть бути власністю інших осіб.

• Підтримує наскрізний багатоадресний режим.
• Підтримує частоту обміну повідомленнями PTP до 128 Гц.
  • Це обмеження плану перевірки та найнятого гросмейстера. Для повідомлень PTP можуть бути можливі конфігурації PTP вище 128 пакетів на секунду.
• Через обмеження комутатора Cisco* Nexus* 93180YC-FX, який використовується в налаштуваннях перевірки, результати продуктивності в умовах трафіку iperf3 стосуються швидкості обміну повідомленнями PTP 8 Гц.
• Підтримка інкапсуляції:
  • Транспорт через L2 (необроблений Ethernet) і L3 (UDP/IPv4/IPv6)
    Примітка: У цьому документі всі результати використовують одне з’єднання Ethernet 25 Гбіт/с.

Інструменти та версії драйверів

Інструменти	Версія
BIOS	Серверна плата Intel S2600WF 00.01.0013
OS	CentOS 7.6
Ядро	kernel-rt-3.10.0-693.2.2.rt56.623.el7.src.
Data Plane Development Kit (DPDK)	18.08
Компілятор Intel C	19.0.3
Драйвер Intel XL710 (драйвер i40e)	2.8.432.9.21
PTP4l	2.0
IxExplorer	8.51.1800.7 EA-Patch1
lperf3	3.0.11
trafgen	Набір інструментів Netsniff-ng 0.6.6

 Тест IXIA Traffic

Перший набір тестів продуктивності PTP для Intel FPGA PAC N3000 використовує рішення IXIA* для тестування мережі та сумісності PTP. Шасі IXIA XGS2 містить плату IXIA 40 PORT NOVUS-R100GE8Q28 і IxExplorer, який забезпечує графічний інтерфейс для налаштування віртуального PTP Grandmaster на DUT (Intel FPGA PAC N3000) через одне пряме з’єднання Ethernet 25 Гбіт/с. Блок-схема нижче ілюструє топологію цільового тестування для тестів на основі IXIA. Усі результати використовують трафік, згенерований IXIA, для тестів вхідного трафіку та використовують інструмент trafgen на хості Intel FPGA PAC N3000 для тестів вихідного трафіку, де вхідний або вихідний напрямок завжди визначається з точки зору DUT (Intel FPGA PAC N3000 ) господар. В обох випадках середня швидкість трафіку становить 24 Гбіт/с. Ця тестова установка забезпечує базову характеристику PTP-продуктивності Intel FPGA PAC N3000 із увімкненим механізмом T-TC, а також порівнює її з заводським образом Intel FPGA PAC N3000, що не є TC, відповідно до ITU-T G.8275.1 PTP profile.

Топологія для тестів трафіку Intel FPGA PAC N3000 під IXIA Virtual Grandmaster

Результат тесту IXIA Traffic

Наступний аналіз фіксує продуктивність PTP Intel FPGA PAC N3000 із підтримкою TC за умов вхідного та вихідного трафіку. У цьому розділі PTP profile G.8275.1 був прийнятий для всіх тестів трафіку та збору даних.

Величина головного зміщення

На наступному малюнку показано величину основного зсуву, спостережувану підлеглим клієнтом PTP4l хоста Intel FPGA PAC N3000, як функцію часу, що минув під час вхідного, вихідного та двонаправленого трафіку (середня пропускна здатність 24.4 Гбіт/с).

Середня затримка на шляху (MPD)

На наступному малюнку показано середню затримку шляху, розраховану веденим PTP4, який використовує Intel FPGA PAC N3000 як плату мережевого інтерфейсу, для того самого тесту, що й на малюнку вище. Загальна тривалість кожного з трьох іспитів трафіку становить не менше 16 годин.

У наступній таблиці наведено статистичний аналіз трьох тестів трафіку. Під навантаженням трафіку, близьким до пропускної здатності каналу, підлеглий пристрій PTP4l, який використовує Intel FPGA PAC N3000, зберігає зсув фази до віртуального гросмейстера IXIA в межах 53 нс для всіх тестів трафіку. Крім того, стандартне відхилення величини основного зсуву менше 5 нс.

Статистичні відомості про продуктивність PTP

G.8275.1 PTP Profile	Вхідний трафік (24 Гбіт/с)	Вихідний трафік (24 Гбіт/с)	Двонаправлений трафік (24 Гбіт/с)
RMS	6.35 нс	8.4 нс	9.2 нс
StdDev (зміщення abs(max))	3.68 нс	3.78 нс	4.5 нс
Стандартне відхилення (від MPD)	1.78 нс	2.1 нс	2.38 нс
Максимальне зміщення	36 нс	33 нс	53 нс

 

Наступні цифри представляють величину головного зміщення та середньої затримки шляху (MPD) під час 16-годинного тесту двонаправленого трафіку 24 Гбіт/с для різних інкапсуляцій PTP. Ліві графіки на цих малюнках стосуються контрольних тестів PTP під інкапсуляцією IPv4/UDP, а інкапсуляція обміну повідомленнями PTP на правих графіках – у L2 (необроблений Ethernet). Продуктивність підлеглого PTP4l досить схожа, величина основного зсуву в найгіршому випадку становить 53 нс і 45 нс для інкапсуляції IPv4/UDP і L2 відповідно. Стандартне відхилення зміщення величини становить 4.49 нс і 4.55 нс для інкапсуляції IPv4/UDP і L2 відповідно.

Величина головного зміщення

На наступному малюнку показано величину основного зміщення при двонаправленому трафіку 24 Гбіт/с, інкапсуляції IPv4 (ліворуч) і L2 (праворуч), G8275.1 Profile.

Середня затримка на шляху (MPD)

На наступному малюнку показано середню затримку шляху підлеглого хоста PTP3000l Intel FPGA PAC N4 під двонаправленим трафіком 24 Гбіт/с, інкапсуляцією IPv4 (ліворуч) і L2 (праворуч), G8275.1 Profile.

Абсолютні значення MPD не є чітким показником сумісності PTP, оскільки вони залежать від довжини кабелів, затримки шляху передачі даних тощо; однак, дивлячись на низькі варіації MPD (2.381 нс і 2.377 нс для випадку IPv4 і L2 відповідно), стає очевидним, що розрахунок PTP MPD незмінно точний для обох інкапсуляцій. Він перевіряє узгодженість продуктивності PTP в обох режимах інкапсуляції. Зміна рівня обчисленої MPD на графіку L2 (на малюнку вище, правий графік) зумовлена ​​додатковим ефектом застосованого трафіку. Спочатку канал перебуває в режимі очікування (середньоквадратичне значення MPD становить 55.3 нс), потім застосовується вхідний трафік (другий наростаючий крок, середньоквадратичне значення MPD становить 85.44 нс), а потім одночасний вихідний трафік, що призводить до розрахованого MPD 108.98 нс. На наступних малюнках показано величину основного зміщення та обчислену MPD тесту двонаправленого трафіку, застосованого до підлеглого PTP4l, що використовує Intel FPGA PAC N3000 із механізмом T-TC, а також до іншого, який використовує Intel FPGA PACN3000 без TC функціональність. Тести T-TC Intel FPGA PAC N3000 (помаранчевий) починаються з нульового часу, тоді як тест PTP, у якому використовується не-TC Intel FPGA PAC N3000 (синій), починається близько T = 2300 секунд.

Величина головного зміщення

На наступному малюнку показано величину основного зміщення під трафік Ingress (24 Гбіт/с), із підтримкою TTC і без неї, G.8275.1 Profile.

На наведеному вище малюнку продуктивність PTP Intel FPGA PAC N3000 із підтримкою TC під час трафіку подібна до Intel FPGA PAC N3000 без TC протягом перших 2300 секунд. Ефективність механізму T-TC в Intel FPGA PAC N3000 підкреслюється в сегменті тесту (після 2300-ї секунди), де однакове трафікове навантаження застосовується до інтерфейсів обох карт. Подібним чином на малюнку нижче спостерігаються обчислення MPD до та після застосування трафіку на каналі. Підкреслюється ефективність механізму T-TC у компенсації часу перебування пакетів, який є затримкою пакетів через шлях FPGA між 25G і 40G MAC.

Середня затримка на шляху (MPD)

На наступному малюнку показано середню затримку шляху підлеглого хоста PTP3000l Intel FPGA PAC N4 під вхідним трафіком (24 Гбіт/с), із підтримкою T-TC і без неї, G.8275.1 Profile.

На цих малюнках показано сервоалгоритм підлеглого PTP4l, завдяки корекції часу перебування TC ми бачимо невеликі відмінності в обчисленнях середньої затримки шляху. Таким чином, вплив коливань затримки на апроксимацію основного зсуву зменшується. У наведеній нижче таблиці наведено статистичний аналіз продуктивності PTP, який включає середньоквадратичне значення та стандартне відхилення основного зміщення, стандартне відхилення середньої затримки шляху, а також найгірше головне зміщення для Intel FPGA PAC N3000 із T- і без нього. Підтримка TC.

Статистичні відомості про продуктивність PTP під час вхідного трафіку

Вхідний трафік (24 Гбіт/с) G.8275.1 PTP Profile	Intel FPGA PAC N3000 з T-TC	Intel FPGA PAC N3000 без T-TC
RMS	6.34 нс	40.5 нс
StdDev (зміщення abs(max))	3.65 нс	15.5 нс
Стандартне відхилення (від MPD)	1.79 нс	18.1 нс
Максимальне зміщення	34 нс	143 нс

Пряме порівняння Intel FPGA PAC N3000 із підтримкою TC та версією без TC
Показує, що продуктивність PTP у 4-6 разів нижча за будь-яку статистику
метрики (найгірший випадок, RMS або стандартне відхилення основного зміщення). Найгірший випадок
головне зміщення для конфігурації G.8275.1 PTP T-TC Intel FPGA PAC N3000 становить 34
ns в умовах вхідного трафіку на межі пропускної здатності каналу (24.4 Гбіт/с).

Тест трафіку lperf3

У цьому розділі описано порівняльний тест трафіку iperf3 для подальшої оцінки продуктивності PTP Intel FPGA PAC N3000. Інструмент iperf3 використовувався для емуляції активних умов руху. Топологія мережі контрольних тестів трафіку iperf3, показана на малюнку нижче, передбачає підключення двох серверів, кожен з яких використовує плату DUT (Intel FPGA PAC N3000 і XXV710), до комутатора Cisco Nexus 93180YC FX. Комутатор Cisco діє як граничний годинник (T-BC) між двома підлеглими DUT PTP і Calnex Paragon-NEO Grandmaster.

Топологія мережі для перевірки трафіку lperf3000 Intel FPGA PAC N3

Вихід PTP4l на кожному з хостів DUT забезпечує вимірювання продуктивності PTP для кожного підлеглого пристрою в налаштуванні (Intel FPGA PAC N3000 і XXV710). Для перевірки трафіку iperf3 наступні умови та конфігурації застосовуються до всіх графіків і аналізу продуктивності:

• Сукупна пропускна здатність 17 Гбіт/с (як TCP, так і UDP), вихідна, вхідна або двонаправлена ​​для Intel FPGA PAC N3000.
• Інкапсуляція IPv4 пакетів PTP через обмеження конфігурації комутатора Cisco Nexus 93180YC-FX.
• Швидкість обміну повідомленнями PTP обмежена до 8 пакетів/секунду через обмеження конфігурації комутатора Cisco Nexus 93180YC-FX.

perf3 результат перевірки трафіку

Наступний аналіз фіксує продуктивність карт Intel FPGA PAC N3000 і XXV710, які одночасно діють як карти мережевого інтерфейсу підлеглих пристроїв PTP (T-TSC) Calnex Paragon NEO Grandmaster через комутатор T-BC Cisco.

На наступних малюнках показано величину основного зміщення та MPD протягом часу для трьох різних тестів трафіку з використанням Intel FPGA PAC N3000 із картою T-TC і XXV710. В обох картах двонаправлений трафік найбільше впливає на продуктивність PTP4l. Тривалість перевірки трафіку становить 10 годин. На наступних малюнках хвіст графіка позначає момент часу, коли трафік припиняється, а величина головного зсуву PTP знижується до низьких рівнів через неактивний канал.

Величина основного зсуву для Intel FPGA PAC N3000

На наступному малюнку показано середню затримку шляху для Intel FPGA PAC N3000 із T TC під час вхідного, вихідного та двонаправленого трафіку iperf3.

Середня затримка шляху (MPD) для Intel FPGA PAC N3000

На наступному малюнку показано середню затримку шляху для Intel FPGA PAC N3000 із T TC під час вхідного, вихідного та двонаправленого трафіку iperf3.

Величина основного зсуву для XXV710

На наступному малюнку показано величину основного зсуву для XXV710 під час вхідного, вихідного та двонаправленого трафіку iperf3.

Середня затримка на шляху (MPD) для XXV710

На наступному малюнку показано середню затримку шляху для XXV710 під час вхідного, вихідного та двонаправленого трафіку iperf3.

Що стосується продуктивності Intel FPGA PAC N3000 PTP, найгірший вихід основного зсуву за будь-яких умов трафіку становить 90 нс. Хоча за тих самих умов двонаправленого трафіку RMS основного зміщення Intel FPGA PAC N3000 у 5.6 разів краще, ніж у карти XXV710.

	Intel FPGA PAC N3000			XXV710 Картка
	Вхідний трафік10G	Вихідний трафік 18G	Двонаправлений трафік18G	Вхідний трафік18G	Вихідний трафік 10G	Двонаправлений трафік18G
RMS	27.6 нс	14.2 нс	27.2 нс	93.96 нс	164.2 нс	154.7 нс
StdDev(від abs(max) offset)	9.8 нс	8.7 нс	14.6 нс	61.2 нс	123.8 нс	100 нс
Стандартне відхилення (від MPD)	21.6 нс	9.2 нс	20.6 нс	55.58 нс	55.3 нс	75.9 нс
Максимальне зміщення	84 нс	62 нс	90 нс	474 нс	1,106 нс	958 нс

Примітно, що основне зміщення Intel FPGA PAC N3000 має нижче стандартне відхилення,
принаймні в 5 разів менше, ніж карта XXV710, означає, що наближення PTP
Годинник Grandmaster менш чутливий до затримки або зміни шуму під час трафіку
Intel FPGA PAC N3000.
Порівняно з результатами тесту IXIA Traffic Test Result на сторінці 5, найгірша величина
основне зміщення з підтримкою T-TC Intel FPGA PAC N3000 виглядає вищим. Крім того
відмінності в топології мережі та пропускній здатності каналів, це пов’язано з Intel
FPGA PAC N3000 записується під G.8275.1 PTP profile (частота синхронізації 16 Гц), поки
швидкість повідомлення синхронізації в цьому випадку обмежена 8 пакетами на секунду.

Величина порівняння основного зміщення

На наступному малюнку показано величину порівняння основного зміщення під час двонаправленого трафіку iperf3.

Порівняння середньої затримки на шляху (MPD).

На наступному малюнку показано порівняння середньої затримки шляху за двонаправленого трафіку iperf3.

Краща продуктивність PTP Intel FPGA PAC N3000 порівняно з картою XXV710 також підтверджується явно вищим відхиленням обчисленої середньої затримки шляху (MPD) для XXV710 і Intel FPGA PAC N3000 у кожному з тестів цільового трафіку, для прampдвонаправлений трафік iperf3. Ігноруйте середнє значення в кожному випадку MPD, яке може відрізнятися через ряд причин, наприклад різні кабелі Ethernet і різна затримка ядра. Спостережувані розбіжності та стрибки значень для карти XXV710 відсутні в Intel FPGA PAC N3000.

Середньоквадратичне порівняння 8 послідовних основних зміщень

Висновок

Шлях даних FPGA між QSFP28 (25G MAC) і Intel XL710 (40G MAC) додає змінну затримку пакетів, яка впливає на точність наближення PTP Slave. Додавання підтримки Transparent Clock (T-TC) у програмну логіку FPGA Intel FPGA PAC N3000 забезпечує компенсацію цієї затримки пакета шляхом додавання часу його перебування в полі корекції інкапсульованих повідомлень PTP. Результати підтверджують, що механізм T-TC покращує точність підлеглого пристрою PTP4l.

Крім того, результати тестування трафіку IXIA на сторінці 5 показують, що підтримка T-TC у тракті даних FPGA підвищує продуктивність PTP принаймні в 4 рази порівняно з Intel FPGA PAC N3000 без підтримки T-TC. Intel FPGA PAC N3000 з T-TC представляє основне зміщення в найгіршому випадку 53 нс при навантаженні вхідного, вихідного або двонаправленого трафіку на межі пропускної здатності каналу (25 Гбіт/с). Отже, завдяки підтримці T-TC продуктивність Intel FPGA PAC N3000 PTP є точнішою та менш схильною до коливань шуму.

У тесті трафіку lperf3 на сторінці 10 продуктивність PTP Intel FPGA PAC N3000 із увімкненим T-TC порівнюється з картою XXV710. Цей тест захопив дані PTP4l для обох підпорядкованих годинників під час вхідного та вихідного трафіку, яким обмінюються два хости Intel FPGA PAC N3000 і карта XXV710. Основне зміщення в найгіршому випадку, яке спостерігається в Intel FPGA PAC N3000, принаймні в 5 разів нижче, ніж у карти XXV710. Крім того, стандартне відхилення отриманих зсувів також доводить, що підтримка T-TC Intel FPGA PAC N3000 дозволяє більш плавно наближати годинник Grandmaster.

Для подальшої перевірки продуктивності PTP Intel FPGA PAC N3000 можливі варіанти тестування включають:

• Перевірка під різними PTP profiles і швидкість повідомлень для кількох каналів Ethernet.
• Оцінка тесту трафіку lperf3 на сторінці 10 із вдосконаленим перемикачем, який забезпечує вищу швидкість повідомлень PTP.
• Оцінка функціональних можливостей T-SC і його точності синхронізації PTP за тестуванням на відповідність G.8273.2.

Історія версій документа для тесту IEEE 1588 V2

 

документ Версія	Зміни
2020.05.30	Початковий випуск.

 

Документи / Ресурси

Intel FPGA Programmable Acceleration Card N3000 [pdfПосібник користувача Програмована карта прискорення FPGA, N3000, Програмована карта прискорення N3000, Програмована карта прискорення FPGA N3000, FPGA, Тест IEEE 1588 V2

Список літератури

• Посібник користувача