Uživatelská příručka programovatelné akcelerační karty intel FPGA N3000

Zavedení

Pozadí

Intel FPGA Programmable Acceleration Card N3000 ve virtualizované rádiové přístupové síti (vRAN) vyžaduje podporu IEEE1588v2 jako Precision Time Protocol (PTP) Telecom Slave Clock (T-TSC) pro správné plánování softwarových úloh. Intel Ethernet Controller XL710 v Intel® FPGA PAC N3000 poskytuje podporu IEEE1588v2. Datová cesta FPGA však zavádí jitter, který ovlivňuje výkon PTP. Přidání obvodu transparentních hodin (T-TC) umožňuje Intel FPGA PAC N3000 kompenzovat jeho vnitřní latenci FPGA a zmírňuje účinky jitteru, což umožňuje T-TSC efektivně aproximovat velmistrův denní čas (ToD).

Objektivní

Tyto testy ověřují použití Intel FPGA PAC N3000 jako IEEE1588v2 slave v Open Radio Access Network (O-RAN). Tento dokument popisuje:

• Testovací nastavení
• Ověřovací proces
• Hodnocení výkonu transparentního hodinového mechanismu v FPGA cestě Intel FPGA PAC N3000
• Výkon PTP Intel FPGA PAC N3000 Výkon Intel FPGA PAC N3000 podporující transparentní takt je
  ve srovnání s Intel FPGA PAC N3000 bez transparentního taktu i s jinou ethernetovou kartou XXV710 za různých podmínek provozu a konfigurací PTP.

Vlastnosti a omezení

Funkce a omezení ověření pro podporu Intel FPGA PAC N3000 IEEE1588v2 jsou následující:

• Použitý softwarový zásobník: Linux PTP Project (PTP4l)
• Podporuje následující telekomunikační profesionályfiles:
  •  1588v2 (výchozí)
  • G.8265.1
  • G.8275.1
• Podporuje dvoukrokové podřízené hodiny PTP.

Intel Corporation. Všechna práva vyhrazena. Intel, logo Intel a další značky Intel jsou ochranné známky společnosti Intel Corporation nebo jejích dceřiných společností. Společnost Intel zaručuje výkon svých FPGA a polovodičových produktů podle aktuálních specifikací v souladu se standardní zárukou společnosti Intel, ale vyhrazuje si právo provádět změny jakýchkoli produktů a služeb kdykoli bez upozornění. Společnost Intel nepřebírá žádnou odpovědnost nebo závazky vyplývající z aplikace nebo použití jakýchkoli informací, produktů nebo služeb popsaných v tomto dokumentu, pokud to není výslovně písemně odsouhlaseno společností Intel. Zákazníkům společnosti Intel se doporučuje získat nejnovější verzi specifikací zařízení dříve, než se budou spoléhat na jakékoli zveřejněné informace a než zadají objednávky na produkty nebo služby. *Jiná jména a značky mohou být nárokovány jako vlastnictví jiných.

• Podporuje end-to-end režim vícesměrového vysílání.
• Podporuje frekvenci výměny zpráv PTP až do 128 Hz.
  • Toto je omezení plánu validace a zaměstnaného velmistra. Mohou být možné konfigurace PTP vyšší než 128 paketů za sekundu pro zprávy PTP.
• Vzhledem k omezením přepínače Cisco* Nexus* 93180YC-FX použitého v nastavení ověřování se výsledky výkonu za podmínek provozu iperf3 vztahují k směnnému kurzu zpráv PTP 8 Hz.
• Podpora zapouzdření:
  • Transport přes L2 (raw Ethernet) a L3 (UDP/IPv4/IPv6)
    Poznámka: V tomto dokumentu všechny výsledky používají jediné 25Gbps ethernetové spojení.

Nástroje a verze ovladačů

Nástroje	Verze
BIOS	Serverová deska Intel S2600WF 00.01.0013
OS	CentOS 7.6
Jádro	kernel-rt-3.10.0-693.2.2.rt56.623.el7.src.
Sada pro vývoj datové roviny (DPDK)	18.08
Kompilátor Intel C	19.0.3
Ovladač Intel XL710 (ovladač i40e)	2.8.432.9.21
PTP4l	2.0
IxExplorer	8.51.1800.7 EA-Patch1
lperf3	3.0.11
trafgen	Netsniff-ng 0.6.6 Toolkit

 Dopravní test IXIA

První sada výkonnostních testů PTP pro Intel FPGA PAC N3000 využívá řešení IXIA* pro testování sítě a PTP. Krabice šasi IXIA XGS2 obsahuje kartu IXIA 40 PORT NOVUS-R100GE8Q28 a IxExplorer, který poskytuje grafické rozhraní pro nastavení virtuálního PTP Grandmastera do DUT (Intel FPGA PAC N3000) přes jediné 25 Gbps přímé ethernetové připojení. Níže uvedený blokový diagram ukazuje topologii cíleného testování pro benchmarky založené na IXIA. Všechny výsledky využívají provoz generovaný IXIA pro testy vstupního provozu a využívají nástroj trafgen na hostiteli Intel FPGA PAC N3000 pro testy výstupního provozu, kde je směr vstupu nebo výstupu vždy z pohledu DUT (Intel FPGA PAC N3000 ) hostitel. V obou případech je průměrná rychlost provozu 24 Gbps. Toto testovací nastavení poskytuje základní charakteristiku PTP výkonu Intel FPGA PAC N3000 s aktivovaným mechanismem T-TC a také srovnání s továrním obrazem Intel FPGA PAC N3000 bez TC podle ITU-T G.8275.1 PTP profile.

Topologie pro provozní testy Intel FPGA PAC N3000 pod IXIA Virtual Grandmaster

Výsledek testu provozu IXIA

Následující analýza zachycuje výkon PTP procesoru Intel FPGA PAC N3000 s podporou TC za podmínek vstupního a výstupního provozu. V této sekci je PTP profile G.8275.1 byla přijata pro všechny dopravní testy a sběr dat.

Velikost hlavního offsetu

Následující obrázek ukazuje velikost hlavního offsetu pozorovaného PTP4l slave klientem hostitele Intel FPGA PAC N3000 jako funkci uplynulého času při příchozím, odchozím a obousměrném provozu (průměrná propustnost 24.4 Gb/s).

Střední zpoždění cesty (MPD)

Následující obrázek ukazuje střední zpoždění cesty, jak je vypočítáno zařízením PTP4 slave, které používá Intel FPGA PAC N3000 jako kartu síťového rozhraní, pro stejný test jako na obrázku výše. Celková doba trvání každé ze tří dopravních zkoušek je minimálně 16 hodin.

Následující tabulka uvádí statistickou analýzu tří dopravních testů. Při provozním zatížení blízkém kapacitě kanálu si slave PTP4l, který používá Intel FPGA PAC N3000, udržuje fázový posun vůči virtuálnímu velmistrovi IXIA do 53 ns pro všechny provozní testy. Kromě toho je standardní odchylka velikosti hlavního offsetu pod 5 ns.

Statistické podrobnosti o výkonu PTP

G.8275.1 PTP Profile	Vstupní provoz (24 Gb/s)	Odchozí provoz (24 Gb/s)	Obousměrný provoz (24 Gb/s)
RMS	6.35 ns	8.4 ns	9.2 ns
StdDev (offsetu abs(max))	3.68 ns	3.78 ns	4.5 ns
StdDev (z MPD)	1.78 ns	2.1 ns	2.38 ns
Maximální offset	36 ns	33 ns	53 ns

 

Následující obrázky představují velikost hlavního offsetu a středního zpoždění cesty (MPD) při 16hodinovém testu obousměrného provozu 24 Gb/s pro různá zapouzdření PTP. Levé grafy na těchto obrázcích odkazují na benchmarky PTP pod zapouzdřením IPv4/UDP, zatímco zapouzdření zpráv PTP na pravých grafech je v L2 (raw Ethernet). Výkon slave PTP4l je docela podobný, nejhorší případ master offsetu je 53 ns a 45 ns pro zapouzdření IPv4/UDP a L2. Standardní odchylka posunu velikosti je 4.49 ns a 4.55 ns pro zapouzdření IPv4/UDP a L2.

Velikost hlavního offsetu

Následující obrázek ukazuje velikost hlavního offsetu při obousměrném provozu 24 Gb/s, zapouzdření IPv4 (vlevo) a L2 (vpravo), G8275.1 Profile.

Střední zpoždění cesty (MPD)

Následující obrázek ukazuje střední zpoždění cesty hostitelského podřízeného zařízení Intel FPGA PAC N3000 PTP4l při obousměrném provozu 24 Gb/s, zapouzdření IPv4 (vlevo) a L2 (vpravo), G8275.1 Profile.

Absolutní hodnoty MPD nejsou jasným ukazatelem konzistence PTP, protože závisí na délce kabelů, latenci datové cesty a tak dále; nicméně při pohledu na nízké variace MPD (2.381 ns a 2.377 ns pro případ IPv4 a L2) je zřejmé, že výpočet PTP MPD je konzistentně přesný napříč oběma zapouzdřeními. Ověřuje konzistenci výkonu PTP v obou režimech zapouzdření. Změna úrovně ve vypočteném MPD v grafu L2 (na obrázku nahoře, pravý graf) je způsobena přírůstkovým efektem aplikovaného provozu. Nejprve je kanál nečinný (MPD rms je 55.3 ns), pak je aplikován příchozí provoz (druhý přírůstkový krok, MPD rms je 85.44 ns), následovaný simultánním výstupním provozem, výsledkem je vypočtená MPD 108.98 ns. Následující obrázky překrývají velikost hlavního offsetu a vypočtený MPD testu obousměrného provozu aplikovaného jak na PTP4l slave s Intel FPGA PAC N3000 s mechanismem T-TC, tak na další, který používá Intel FPGA PACN3000 bez TC. funkčnost. Testy T-TC Intel FPGA PAC N3000 (oranžové) začínají od času nula, zatímco test PTP, který využívá neTC Intel FPGA PAC N3000 (modrý), začíná kolem T = 2300 sekund.

Velikost hlavního offsetu

Následující obrázek ukazuje velikost hlavního offsetu při příchozím provozu (24 Gb/s), s podporou TTC a bez ní, G.8275.1 Profile.

Na výše uvedeném obrázku je výkon PTP Intel FPGA PAC N3000 s podporou TC během provozu podobný jako u jiného než TC Intel FPGA PAC N3000 po dobu prvních 2300 sekund. Efektivita mechanismu T-TC v Intel FPGA PAC N3000 je vyzdvižena v segmentu testů (po 2300 sekundách), kdy je na rozhraní obou karet aplikována stejná provozní zátěž. Podobně na obrázku níže jsou výpočty MPD pozorovány před a po aplikaci provozu na kanálu. Efektivita mechanismu T-TC je zdůrazněna při kompenzaci doby zdržení paketů, což je latence paketu přes cestu FPGA mezi 25G a 40G MAC.

Střední zpoždění cesty (MPD)

Následující obrázek ukazuje průměrné zpoždění cesty hostitelského podřízeného zařízení Intel FPGA PAC N3000 PTP4l při příchozím provozu (24 Gb/s), s podporou T-TC a bez ní, G.8275.1 Profile.

Tyto obrázky ukazují servo algoritmus PTP4l slave, díky korekci doby zdržení TC vidíme malé rozdíly ve výpočtech průměrného zpoždění cesty. Proto je vliv kolísání zpoždění na aproximaci hlavního offsetu snížen. Následující tabulka uvádí statistickou analýzu výkonu PTP, která zahrnuje RMS a směrodatnou odchylku hlavního offsetu, standardní odchylku středního zpoždění cesty a také nejhorší případ hlavního offsetu pro Intel FPGA PAC N3000 s a bez T- podpora TC.

Statistické podrobnosti o výkonu PTP v rámci příchozího provozu

Ingress Traffic (24Gbps) G.8275.1 PTP Profile	Intel FPGA PAC N3000 s T-TC	Intel FPGA PAC N3000 bez T-TC
RMS	6.34 ns	40.5 ns
StdDev (offsetu abs(max))	3.65 ns	15.5 ns
StdDev (z MPD)	1.79 ns	18.1 ns
Maximální offset	34 ns	143 ns

Přímé srovnání Intel FPGA PAC N3000 s podporou TC s verzí bez TC
Ukazuje, že výkon PTP je 4x až 6x nižší ve srovnání s jakoukoli statistikou
metriky (nejhorší případ, RMS nebo standardní odchylka hlavního offsetu). Nejhorší případ
master offset pro konfiguraci G.8275.1 PTP T-TC Intel FPGA PAC N3000 je 34
ns za podmínek příchozího provozu na hranici šířky pásma kanálu (24.4 Gb/s).

Test provozu lperf3

Tato část popisuje srovnávací test provozu iperf3 pro další vyhodnocení výkonu PTP Intel FPGA PAC N3000. K emulaci aktivních dopravních podmínek byl použit nástroj iperf3. Síťová topologie srovnávacích testů provozu iperf3, znázorněná na obrázku níže, zahrnuje připojení dvou serverů, každý pomocí karty DUT (Intel FPGA PAC N3000 a XXV710), k přepínači Cisco Nexus 93180YC FX. Přepínač Cisco funguje jako Boundary Clock (T-BC) mezi dvěma DUT PTP slave a Calnex Paragon-NEO Grandmaster.

Topologie sítě pro test provozu Intel FPGA PAC N3000 lperf3

Výstup PTP4l na každém z hostitelů DUT poskytuje data měření výkonu PTP pro každé podřízené zařízení v nastavení (Intel FPGA PAC N3000 a XXV710). Pro test provozu iperf3 platí pro všechny grafy a analýzu výkonu následující podmínky a konfigurace:

• 17 Gbps agregovaná šířka pásma provozu (jak TCP, tak UDP), buď odchozí nebo příchozí nebo obousměrný na Intel FPGA PAC N3000.
• IPv4 zapouzdření PTP paketů kvůli omezení konfigurace na přepínači Cisco Nexus 93180YC-FX.
• Rychlost výměny zpráv PTP je omezena na 8 paketů za sekundu z důvodu omezení konfigurace přepínače Cisco Nexus 93180YC-FX.

perf3 Výsledek testu provozu

Následující analýza zachycuje výkon karet Intel FPGA PAC N3000 a XXV710, které obě současně fungují jako karta síťového rozhraní PTP slave (T-TSC) Calnex Paragon NEO Grandmaster prostřednictvím T-BC Cisco switche.

Následující obrázky ukazují velikost hlavního offsetu a MPD v průběhu času pro tři různé provozní testy s použitím Intel FPGA PAC N3000 s kartou T-TC a XXV710. U obou karet má obousměrný provoz největší vliv na výkon PTP4l. Doba trvání dopravního testu je 10 hodin. Na následujících obrázcích konec grafu označuje časový bod, kdy se provoz zastaví a velikost hlavního offsetu PTP klesne na nízkou úroveň v důsledku nečinného kanálu.

Velikost hlavního offsetu pro Intel FPGA PAC N3000

Následující obrázek ukazuje střední zpoždění cesty pro Intel FPGA PAC N3000 s T TC při příchozím, odchozím a obousměrném provozu iperf3.

Střední zpoždění cesty (MPD) pro Intel FPGA PAC N3000

Následující obrázek ukazuje střední zpoždění cesty pro Intel FPGA PAC N3000 s T TC při příchozím, odchozím a obousměrném provozu iperf3.

Velikost hlavního offsetu pro XXV710

Následující obrázek ukazuje velikost hlavního offsetu pro XXV710 při příchozím, odchozím a obousměrném provozu iperf3.

Střední zpoždění cesty (MPD) pro XXV710

Následující obrázek ukazuje střední zpoždění cesty pro XXV710 při příchozím, odchozím a obousměrném provozu iperf3.

Pokud jde o výkon Intel FPGA PAC N3000 PTP, nejhorší případ hlavního offsetu za jakýchkoli provozních podmínek je do 90 ns. Při stejných obousměrných provozních podmínkách je RMS hlavního offsetu Intel FPGA PAC N3000 5.6x lepší než u karty XXV710.

	Intel FPGA PAC N3000			Karta XXV710
	Vstupní provoz10G	Odchozí provoz 18G	Obousměrný provoz18G	Vstupní provoz18G	Odchozí provoz 10G	Obousměrný provoz18G
RMS	27.6 ns	14.2 ns	27.2 ns	93.96 ns	164.2 ns	154.7 ns
StdDev(of abs(max) offset)	9.8 ns	8.7 ns	14.6 ns	61.2 ns	123.8 ns	100 ns
StdDev (z MPD)	21.6 ns	9.2 ns	20.6 ns	55.58 ns	55.3 ns	75.9 ns
Maximální offset	84 ns	62 ns	90 ns	474 ns	1,106 ns	958 ns

Je pozoruhodné, že hlavní offset Intel FPGA PAC N3000 má nižší standardní odchylku,
alespoň 5x menší než u karty XXV710, znamená, že PTP aproximace
Velmistrovské hodiny jsou méně citlivé na zpoždění nebo kolísání hluku při provozu v
Intel FPGA PAC N3000.
Ve srovnání s výsledkem testu provozu IXIA na straně 5 je nejhorší případ
hlavní offset s Intel FPGA PAC N3000 s povoleným T-TC se zdá vyšší. kromě
rozdíly v topologii sítě a šířce pásma kanálů, to je způsobeno Intelem
FPGA PAC N3000 zachycený pod G.8275.1 PTP profile (synchronizační frekvence 16 Hz), zatímco
rychlost synchronizačních zpráv je v tomto případě omezena na 8 paketů za sekundu.

Porovnání velikosti hlavního offsetu

Následující obrázek ukazuje velikost porovnání hlavního offsetu při obousměrném provozu iperf3.

Porovnání střední dráhy zpoždění (MPD).

Následující obrázek ukazuje srovnání středního zpoždění cesty při obousměrném provozu iperf3.

Vynikající výkon PTP karty Intel FPGA PAC N3000 ve srovnání s kartou XXV710 je podpořen také evidentně vyšší odchylkou vypočítaného středního zpoždění cesty (MPD) pro XXV710 a Intel FPGA PAC N3000 v každém z cílených testů provozu, např. napřampobousměrný provoz iperf3. Ignorujte střední hodnotu v každém případě MPD, která se může lišit z mnoha důvodů, jako jsou různé ethernetové kabely a různá latence jádra. Pozorované rozdíly a špičky v hodnotách pro kartu XXV710 nejsou u Intel FPGA PAC N3000 přítomny.

RMS 8 po sobě jdoucích Master Offset srovnání

Závěr

Datová cesta FPGA mezi QSFP28 (25G MAC) a Intel XL710 (40G MAC) přidává proměnnou latenci paketů, která ovlivňuje přesnost aproximace PTP Slave. Přidání podpory Transparent Clock (T-TC) do soft logiky FPGA procesoru Intel FPGA PAC N3000 poskytuje kompenzaci této latence paketu přidáním doby zdržení do pole korekce zapouzdřených zpráv PTP. Výsledky potvrzují, že mechanismus T-TC zlepšuje přesnost výkonu PTP4l slave.

Výsledky testu provozu IXIA na straně 5 také ukazují, že podpora T-TC v datové cestě FPGA zvyšuje výkon PTP nejméně 4x ve srovnání s Intel FPGA PAC N3000 bez podpory T-TC. Intel FPGA PAC N3000 s T-TC představuje v nejhorším případě hlavní offset 53 ns při vstupním, výstupním nebo obousměrném provozním zatížení na hranici kapacity kanálu (25 Gbps). S podporou T-TC je tedy výkon Intel FPGA PAC N3000 PTP přesnější a méně náchylný k výkyvům šumu.

V lperf3 Traffic Test na straně 10 je výkon PTP procesoru Intel FPGA PAC N3000 s povoleným T-TC porovnán s kartou XXV710. Tento test zachytil data PTP4l pro obě podřízené hodiny při příchozím nebo odchozím provozu, který si vyměňují dva hostitelé karty Intel FPGA PAC N3000 a XXV710. Nejhorší případ master offset pozorovaný u Intel FPGA PAC N3000 je alespoň 5x nižší než u karty XXV710. Také standardní odchylka zachycených offsetů také dokazuje, že T-TC podpora Intel FPGA PAC N3000 umožňuje hladší aproximaci velmistrových hodin.

Pro další ověření výkonu PTP Intel FPGA PAC N3000 jsou možné možnosti testování:

• Ověření pod různými PTP profiles a rychlosti zpráv pro více než jednu ethernetovou linku.
• Vyhodnocení testu provozu lperf3 na straně 10 s pokročilejším přepínačem, který umožňuje vyšší rychlost zpráv PTP.
• Hodnocení funkčnosti T-SC a jeho přesnosti časování PTP podle G.8273.2 Testování shody.

Historie revizí dokumentu pro test IEEE 1588 V2

 

Dokument Verze	Změny
2020.05.30	Počáteční vydání.

 

Dokumenty / zdroje

Intel FPGA Programmable Acceleration Card N3000 [pdfUživatelská příručka FPGA Programmable Acceleration Card, N3000, Programmable Acceleration Card N3000, FPGA Programmable Acceleration Card N3000, FPGA, IEEE 1588 V2 Test

Reference

• Uživatelská příručka