Intel FPGA програмчлагдсан хурдатгалын карт D5005 хэрэглэгчийн гарын авлага

Энэхүү баримт бичиг нь санах ойн шууд хандалт (DMA) хурдасгагч функциональ нэгжийн (AFU) хэрэгжилт болон техник хангамж эсвэл симуляцид ажиллах дизайныг хэрхэн бүтээх талаар тайлбарладаг.

Зорилтот үзэгчид

Зорилтот үзэгчид нь Intel FPGA төхөөрөмжид холбогдсон санах ойд өгөгдлийг дотооддоо буфер болгохын тулд хурдасгагч функцийг (AF) шаарддаг техник хангамж эсвэл програм хангамж хөгжүүлэгчдийг багтаадаг.

Конвенцууд

Баримт бичгийн конвенц

Конвенци	Тодорхойлолт
#	Уг тушаалыг root болгон оруулахыг заасан командын өмнө байна.
$	Хэрэглэгчийн хувьд командыг оруулахыг заана.
Энэ фонт	Fileнэр, тушаал, түлхүүр үгсийг энэ фонтоор хэвлэнэ. Урт командын мөрүүдийг энэ фонтоор хэвлэв. Хэдийгээр урт командын мөрүүд дараагийн мөрөнд ороож болох ч буцах нь тушаалын нэг хэсэг биш юм; enter дарж болохгүй.
	Өнцгийн хаалтны хооронд гарч буй орлуулагчийн бичвэрийг зохих утгаар солих шаардлагатайг заана. Өнцгийн хаалтанд бүү оруул.

Товчлол

Товчлол	Өргөтгөл	Тодорхойлолт
AF	Хурдасгагч функц	Програмыг хурдасгах FPGA логикт хэрэгжсэн хөрвүүлсэн техник хангамжийн хурдасгуурын дүрс.
AFU	Хурдасгуурын функциональ нэгж	Тоног төхөөрөмжийн хурдасгуур нь FPGA логик дээр хэрэгжсэн бөгөөд гүйцэтгэлийг сайжруулахын тулд CPU-ээс програмын тооцооллын үйлдлийг буулгадаг.
API	Хэрэглээний програмчлалын интерфейс	Програм хангамжийн хэрэглээг бий болгох дэд программын тодорхойлолт, протокол, хэрэгслүүдийн багц.
CCI-P	Үндсэн кэш интерфейс	CCI-P нь AFU-ийн хосттой харилцахад ашигладаг стандарт интерфейс юм.
DFH	Төхөөрөмжийн онцлогийн толгой хэсэг	Онцлогуудыг нэмэхийн тулд өргөтгөх боломжтой арга замыг хангахын тулд онцлогуудын толгойн жагсаалтыг үүсгэнэ.
*үргэлжилсэн…*

Intel корпораци. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг ч аливаа бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна. *Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

Товчлол	Өргөтгөл	Тодорхойлолт
FIM	FPGA интерфейсийн менежер	FPGA интерфэйсийн нэгж (FIU) болон санах ой, сүлжээ гэх мэт гадаад интерфейсүүдийг агуулсан FPGA техник хангамж. Хурдасгагч функц (AF) нь ажиллах үед FIM-тэй холбогддог.
СМА	FPGA интерфейсийн нэгж	FIU нь платформ интерфейсийн давхарга бөгөөд PCIe*, UPI болон CCI-P зэрэг AFU талын интерфэйсүүдийн хооронд гүүр болж ажилладаг.
MPF	Санах ойн шинж чанаруудын үйлдвэр	MPF нь AFU-ууд СМА-тай хийх гүйлгээнд CCI-P-ийн хөдөлгөөнийг тодорхойлох үйл ажиллагааг хангахад ашиглаж болох үндсэн барилгын блок (BBB) юм.

Хурдасгах толь бичиг

FPGA толь бичиг бүхий Intel® Xeon® CPU-д зориулсан хурдатгалын стек

Хугацаа	Товчлол	Тодорхойлолт
FPGA-тай Intel Xeon® CPU-д зориулсан Intel® Acceleration Stack	Хурдатгалын стек	Intel FPGA болон Intel Xeon процессорын хооронд гүйцэтгэлийн оновчтой холболтыг хангадаг програм хангамж, програм хангамж, хэрэгслүүдийн цуглуулга.
Intel FPGA программчлагдах хурдатгалын карт	Intel FPGA PAC	PCIe FPGA хурдасгуур карт. PCIe автобусаар Intel Xeon процессортой хосолсон FPGA интерфэйсийн менежер (FIM) агуулсан.

DMA хурдасгуурын функциональ нэгжийн хэрэглэгчийн гарын авлага: Intel FPGA програмчлагдсан хурдатгалын карт D5005

DMA AFU-ийн тодорхойлолт

Танилцуулга

Шууд санах ойн хандалт (DMA) AFU өмнөхample нь хост процессор болон FPGA хооронд санах ойн шилжүүлгийг хэрхэн удирдахыг харуулж байна. Та хост санах ой болон FPGA дотоод санах ойн хооронд өгөгдөл шилжүүлэхийн тулд DMA AFU-г дизайндаа нэгтгэж болно. DMA AFU нь дараах дэд модулиудаас бүрдэнэ.

Санах ойн шинж чанаруудын үйлдвэр (MPF) үндсэн барилгын блок (BBB)

Core Cache Interface (CCI-P) нь Avalon® Memory-Mapped (Avalon-MM) адаптер
DMA BBB агуулсан DMA тестийн систем

Эдгээр дэд модулиудыг доорх DMA AFU Тоног төхөөрөмжийн бүрэлдэхүүн хэсгүүдийн сэдвээр илүү дэлгэрэнгүй тайлбарласан болно.

Холбогдох мэдээлэл

6-р хуудасны DMA AFU техник хангамжийн бүрэлдэхүүн хэсгүүд
Avalon интерфейсийн техникийн үзүүлэлтүүд

Унших, бичих гүйлгээний цаг хугацааны диаграм зэрэг Avalon-MM протоколын талаар нэмэлт мэдээлэл авахыг хүсвэл.

DMA AFU програм хангамжийн багц

FPGA багц бүхий Intel Xeon CPU-д зориулсан Intel Acceleration Stack file (*.tar.gz), DMA AFU ex-г агуулдагample. Энэ эксample нь хэрэглэгчийн зайны драйвераар хангадаг. DMA нь хост болон FPGA санах ойн хооронд өгөгдлийг зөөдөг тул хост програм нь энэ драйверийг ашигладаг. Техник хангамжийн хоёртын файлууд, эх сурвалжууд болон хэрэглэгчийн зайны драйвер нь дараах директорт байдаг: $OPAE_PLATFORM_ROOT/hw/samples/dma_afu . DMA AFU-тай туршилт хийхээсээ өмнө Open Programmable Acceleration Engine (OPAE) програм хангамжийн багцыг суулгах ёстой. Суулгах зааврыг Intel FPGA програмчлагдсан хурдатгалын карт D5005-д зориулсан Intel Acceleration Stack-д OPAE програм хангамжийн багцыг суулгах хурдан эхлүүлэх гарын авлагаас үзнэ үү. Энэхүү хурдан эхлүүлэх гарын авлага нь Нээлттэй программчлагдах хурдатгалын хөдөлгүүр (OPAE) болон AFU-г тохируулах талаархи үндсэн мэдээллийг агуулдаг. Open Programmable Acceleration Engine (OPAE) програм хангамжийн багцыг суулгасны дараа, гэх мэтample хост програм болон DMA AFU хэрэглэгчийн зайны драйверийг дараах лавлахаас авах боломжтой: $OPAE_PLATFORM_ROOT/hw/samples/dma_afu/sw. s-г ажиллуулахын тулдampӨөрийн Intel FPGA PAC D5005 тоног төхөөрөмж дээрх хост программыг fpga_dma_test, DMA AFU Ex-ийг ажиллуулах хэсгийн алхмуудыг үзнэ үү.ample. Intel корпораци. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг боловч ямар ч бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна. *Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

Холбогдох мэдээлэл

Intel FPGA програмчлагдсан хурдатгалын карт D5005-д зориулсан Intel Acceleration Stack-ийн хурдан эхлүүлэх гарын авлага
OPAE програм хангамжийн багцыг суулгаж байна

DMA AFU техник хангамжийн бүрэлдэхүүн хэсгүүд

DMA AFU нь FPGA интерфэйсийн нэгж (FIU) болон FPGA санах ойтой холбогддог. FPGA санах ойн нарийвчилсан үзүүлэлтүүдийг Intel FPGA програмчлагдсан хурдатгалын карт D5005-ийн FPGA интерфейсийн менежерийн мэдээллийн хуудаснаас үзнэ үү. Одоогийн байгаа техник хангамж нь санах ойн тохиргоог зааж өгдөг. Ирээдүйн техник хангамж өөр өөр санах ойн тохиргоог дэмжиж болно. Та дараах эх сурвалж болон очих газрын хооронд өгөгдлийг хуулахын тулд DMA AFU ашиглаж болно.

Хост төхөөрөмжөөс FPGA санах ой
Төхөөрөмжийн FPGA санах ойг хост руу шилжүүлнэ

Платформ дизайнерын систем, $OPAE_PLATFORM_ROOT/hw/samples/ dma_afu/hw/rtl/TEST_dma/ /dma_test_system.qsys нь DMA-ийн ихэнх хэсгийг хэрэгжүүлдэг

AFU. Platform Designer системд хэрэгжсэн DMA AFU-ийн нэг хэсгийг доороос олж болно

байршил:$OPAE_PLATFORM_ROOT/hw/samples/dma_afu/hw/rtl/TEST_dma/ Та DMA BBB-г дараах байршлаас олж болно.

$OPAE_PLATFORM_ROOT/hw/samples/dma_afu/hw/rtl/dma_bbb

DMA хурдасгуурын функциональ нэгжийн хэрэглэгчийн гарын авлага: Intel FPGA програмчлагдсан хурдатгалын карт D5005

DMA AFU тоног төхөөрөмжийн блок диаграмм

DMA AFU нь FPGA интерфэйсийн нэгж (FIU)-тай холбогдох дараах дотоод модулиудыг агуулдаг:

Санах ойд суурилсан IO (MMIO) декодер логик: MMIO унших, бичих гүйлгээг илрүүлж, тэдгээрийн ирсэн CCI-P RX 0 сувгаас тусгаарладаг. Энэ нь MMIO траффик хэзээ ч MPF BBB-д хүрэхгүй бөгөөд бие даасан MMIO командын сувгаар үйлчилдэг.
Санах ойн шинж чанаруудын үйлдвэр (MPF): Энэ модуль нь DMA-аас уншсан хариултуудыг гаргасан дарааллаар нь буцааж өгөхийг баталгаажуулдаг. Avalon-MM протокол нь зөв дарааллаар буцаахын тулд уншсан хариултуудыг шаарддаг.
CCI-P to Avalon-MM адаптер: Энэ модуль нь CCI-P болон Avalon-MM гүйлгээг дараах байдлаар хөрвүүлдэг.
CCI-P to Avalon-MMIO адаптер: Энэ зам нь CCI-P MMIO гүйлгээг Avalon-MM гүйлгээ болгон хөрвүүлдэг.
Avalon to CCI-P Host Adapter: Эдгээр замууд нь DMA-д хост санах ойд хандахын тулд зөвхөн унших болон зөвхөн бичих боломжтой тусдаа замыг бий болгодог.
DMA Туршилтын систем: Энэхүү модуль нь DMA BBB-ийн эргэн тойронд DMA мастеруудыг AFU дахь логикийн бусад хэсэгт илчлэх зорилгоор үйлчилдэг. Энэ нь DMA BBB болон CCI-P to Avalon адаптерийн хоорондох интерфейсийг хангадаг. Энэ нь мөн DMA BBB болон орон нутгийн FPGA SDRAM банкуудын хоорондох интерфейсийг хангадаг.

Холбогдох мэдээлэл
Intel FPGA програмчлагдсан хурдатгалын карт D5005-д зориулсан FPGA интерфейсийн менежерийн мэдээллийн хуудас

DMA туршилтын систем

DMA тестийн систем нь DMA BBB-ийг CCI-P дасан зохицох болон орон нутгийн FPGA санах ой зэрэг бусад FPGA дизайнтай холбодог.

DMA туршилтын системийн блок диаграмм
Энэхүү блок диаграмм нь DMA тестийн системийн дотоод хэсгүүдийг харуулж байна. DMA тестийн системийг 1-р хуудасны 7-р зурагт цул блок хэлбэрээр үзүүлэв.

DMA тестийн систем нь дараах дотоод модулиудыг агуулдаг.

Far Reach Bridge/ Pipeline Bridge: Топологийг хянах, Fmax дизайныг сайжруулах зорилгоор тохируулж болох хоцрогдолтой дамжуулах хоолойн гүүр.

DMA AFU төхөөрөмжийн онцлогийн толгой хэсэг (DFH): Энэ нь DMA AFU-д зориулсан DFH юм. Энэ DFH нь офсет 0x100 (DMA BBB DFH) дээр байрлах дараагийн DFH-ийг заадаг.
Null DFH: Энэ бүрэлдэхүүн хэсэг нь DFH холбосон жагсаалтыг зогсооно. Хэрэв та дизайнд илүү олон DMA BBB нэмбэл DFH-ийн үндсэн хаягийг DFH-тэй холбоотой жагсаалтын төгсгөлд байгаа эсэхийг шалгаарай.
MA Basic Building Block (BBB): Энэ блок нь хост болон локал FPGA санах ойн хооронд өгөгдлийг зөөдөг. Энэ нь мөн тодорхойлогч хэлхээнд хандахын тулд хост санах ойд ханддаг.

DMA BBB

DMA BBB дэд систем нь Avalon-MM гүйлгээг ашиглан мэдээллийг эх сурвалжаас очих хаяг руу шилжүүлдэг. DMA драйвер нь системийн доторх янз бүрийн бүрэлдэхүүн хэсгүүдийн хяналт, төлөвийн бүртгэлд хандах замаар DMA BBB-ийг удирддаг. DMA драйвер нь дамжуулалтын тодорхойлогчтой харилцахын тулд хуваалцсан санах ойг ашиглан DMA BBB-ийг хянадаг. DMA BBB нь FPGA санах ой дахь өгөгдөлд 0x0 офсетээр ханддаг. DMA BBB нь хост санах ой дахь өгөгдөл болон тодорхойлогчдод 0x1_0000_0000_0000 офсетээр ханддаг.

DMA BBB платформ дизайнерын блок диаграмм
Энэхүү блок диаграммд дамжуулах хоолойн гүүрний зарим дотоод IP цөмийг оруулаагүй болно.

DMA хурдасгуурын функциональ нэгжийн хэрэглэгчийн гарын авлага: Intel FPGA програмчлагдсан хурдатгалын карт D5005

DMA AFU-ийн тодорхойлолт

DMA BBB платформ дизайнерын бүрэлдэхүүн хэсгүүд нь дараах функцуудыг гүйцэтгэдэг.

Алс хүрэх гүүр/ Дамжуулах хоолойн гүүр: Топологийг хянах, Fmax дизайныг сайжруулах зорилгоор тохируулж болох хоцрогдолтой дамжуулах хоолойн гүүр.
MA BBB DFH: Энэ нь DMA BBB-д зориулсан төхөөрөмжийн онцлогийн толгой хэсэг юм. Энэ DFH нь офсет 0x100 (Null DFH) дээр байрлах дараагийн DFH-ийг заадаг.
Тодорхойлогч Frontend: Тодорхойлогчдыг авч, Диспетчер рүү шилжүүлэх үүрэгтэй. DMA дамжуулалтыг хийж дуусмагц урд тал нь Диспетчерээс статусыг хүлээн авч, хост санах ойд тодорхойлогчийг дарж бичдэг.

Диспетчер: Энэ блок нь унших, бичих мастер руу DMA шилжүүлэх хүсэлтийг хуваарьтай болгодог.
Мастер уншина уу: Энэ блок нь хост эсвэл локал FPGA санах ойноос өгөгдлийг уншиж, Write Master руу урсгал өгөгдөл болгон илгээх үүрэгтэй.
Мастер бичих: Энэ блок нь Read Master-аас дамжуулалтын өгөгдлийг хүлээн авч, агуулгыг хост эсвэл локал FPGA санах ойд бичих үүрэгтэй.

Газрын зураг, хаягийн орон зайг бүртгэх

DMA AFU нь хоёр санах ойг дэмждэг views: DMA view болон хост view. DMA view 49 битийн хаягийн зайг дэмждэг. DMA-ийн доод тал view локал FPGA санах ой руу газрын зураг. DMA-ийн дээд тал view санах ойд зориулсан газрын зураг. Хөтлөгч view DFH хүснэгтүүд гэх мэт MMIO хандалтаар дамжуулан хандах боломжтой бүх бүртгэлүүд болон DMA AFU дотор ашиглагддаг төрөл бүрийн IP цөмүүдийн хяналт/төлөвийн бүртгэлүүд багтана. MMIO нь DMA BBB-д бүртгүүлдэг бөгөөд AFU нь 32 ба 64 битийн хандалтыг дэмждэг. DMA AFU нь 512 битийн MMIO хандалтыг дэмждэггүй. DMA BBB доторх диспетчерийн бүртгэлд хандах хандалт нь 32 бит байх ёстой (Дискрипторын урд хэсэг нь 64 битийн бүртгэлийг хэрэгжүүлдэг).

DMA AFU бүртгэлийн газрын зураг

DMA AFU бүртгэлийн газрын зураг нь нэгж доторх бүх байршлын үнэмлэхүй хаягийг өгдөг. Эдгээр бүртгэлүүд нь хост дотор байдаг view Учир нь зөвхөн хост л тэдгээрт хандах боломжтой.

DMA AFU санах ойн газрын зураг

Байт хаягийн зөрүү	Нэр	Байтаар хүрээлэх	Тодорхойлолт
0х0	DMA AFU DFH	0х40	DMA AFU-д зориулсан төхөөрөмжийн онцлогийн толгой хэсэг. ID_L-г 0x9081f88b8f655caa, ID_H-г 0x331db30c988541ea гэж тохируулсан. Дараагийн DFH (DMA BBB DFH) -ийг олохын тулд DMA AFU DFH-ийг 0x100-ийн зөрүүг зааж өгөхийн тулд параметрчилсэн. Та DMA AFU DFH-ийн үндсэн хаягийг өөрчлөх ёсгүй, учир нь энэ нь CCIP тодорхойлолтоор тодорхойлогдсон 0x0 хаягт байрлах ёстой.
0х100	DMA BBB	0х100	DMA BBB хяналт болон статус бүртгэлийн интерфейсийг зааж өгнө. Дэлгэрэнгүй мэдээллийг DMA BBB бүртгэлийн газрын зургаас авч болно. DMA BBB-ийн 0-ээр офсетийн хүрээнд DMA BBB нь өөрийн DFH-г агуулдаг. Энэ DFH нь дараагийн DFH-ийг 0x100 (NULL DFH) офсетээр олохоор тохируулагдсан. Хэрэв та илүү олон DMA BBB нэмбэл тэдгээрийг 0x100 зайд байрлуулж, NULL DFH нь сүүлийн DMA-г 0x100-аар дагаж байгаа эсэхийг шалгаарай.
0х200	NULL DFH	0х40	DFH холбосон жагсаалтыг дуусгана. ID_L-г 0x90fe6aab12a0132f, ID_H-г 0xda1182b1b3444e23 гэж тохируулсан. NULL DFH нь техник хангамжийн хамгийн сүүлийн DFH байхаар параметрлэгдсэн. Ийм учраас NULL DFH нь 0x200 хаяг дээр байрладаг. Хэрэв та нэмэлт DMA BBB-г системд нэмбэл NULL DFH үндсэн хаягийг нэмэгдүүлэх шаардлагатай бөгөөд ингэснээр энэ нь хамгийн өндөр хаяг дээр үлдэх болно. DMA драйвер болон туршилтын программ нь энэ техник хангамжийг ашигладаггүй.

Газрын зураг, хаягийн орон зайг бүртгэх

DMA BBB санах ойн газрын зураг
Дараах байт хаягууд нь DMA AFU систем дэх (0x100) DMA BBB үндсэн хаягаас харьцангуй зөрүүтэй байна.

Байт хаягийн зөрүү	Нэр	Байтаар хүрээлэх	Тодорхойлолт
0х0	DMA BBB DFH	0х40	DMA AFU-д зориулсан төхөөрөмжийн онцлогийн толгой хэсэг. ID_L-г 0xa9149a35bace01ea, ID_H-г 0xef82def7f6ec40fc гэж тохируулсан. DMA BBB DFH-ийг дараагийн DFH офсетийн хувьд 0x100 гэж зааж өгсөн байна. Энэ дараагийн офсет нь өөр DMA BBB, өөр DFH (энэ загварт ороогүй) эсвэл NULL DFH байж болно.
0х40	Диспетчер	0х40	Диспетчерийн хяналтын порт. DMA драйвер нь энэ байршлыг ашиглан DMA-г удирдах эсвэл статусыг нь асуухад ашигладаг.
0х80	Тодорхойлогч Frontend	0х40	Тодорхойлогчийн урд хэсэг нь хост санах ойноос тодорхойлогчдыг уншиж, DMA дамжуулалт дуусахад тодорхойлогчийг дарж бичдэг захиалгат бүрэлдэхүүн хэсэг юм. Драйвер нь эхний тодорхойлогч нь хост санах ойд хаана байрлаж байгааг frontend-д заадаг ба дараа нь үндсэн санах ойд хадгалагдсан тодорхойлогчдын хувьд урд талын техник хангамж нь драйвертай холбогддог.

DMA AFU хаягийн орон зай

Хост нь 4-р хуудасны 12-р хүснэгт болон 5-р хуудасны 13-р хүснэгтэд жагсаасан регистрүүдэд хандах боломжтой. DMA BBB дэд систем нь 49 битийн хаягийн бүрэн орон зайд хандах боломжтой. Энэ хаягийн зайны доод тал нь орон нутгийн FPGA санах ойг агуулдаг. Энэ хаягийн зайны дээд тал нь 48 битийн хост хаягийн санах ойг агуулдаг. Дараах зурагт хост болон DMA-г харуулав viewсанах ой.

DMA AFU болон хост Viewсанах ойн s

Төхөөрөмжийн онцлогийн толгой холбоостой жагсаалт

DMA AFU дизайн өмнөхample нь холбогдсон жагсаалтыг бүрдүүлдэг гурван төхөөрөмжийн онцлогийн толгой (DFH) агуулдаг. Энэ холбогдсон жагсаалт нь s-г зөвшөөрдөгample DMA AFU-г тодорхойлох програм, түүнчлэн DMA BBB-ийг тодорхойлох драйвер. DFH жагсаалтын төгсгөлд NULL DFH орно. Холбогдсон жагсаалтын төгсгөлд хоосон DFH-г оруулсан нь дизайндаа илүү олон DMA BBB нэмэх боломжийг олгоно. Та зүгээр л NULL DFH-г бусад BBB-ийн дараа байгаа хаяг руу шилжүүлэх хэрэгтэй. DMA BBB бүр дараагийн DFH нь BBB-ийн үндсэн хаягаас 0x100 байт зайд байрлана гэж найдаж байна. Дараах зурагт DMA AFU загварын хуучин загварт холбогдох жагсаалтыг харуулавample.

Газрын зураг, хаягийн орон зайг бүртгэх

DMA AFU Device Feature Header (DFH) Chaining

Програм хангамжийн програмчлалын загвар

DMA AFU нь та өөрийн хост програмд ашиглах боломжтой програм хангамжийн драйверийг агуулдаг. fpga_dma.cpp болон fpga_dma.h fileДараах байршилд байрлах s програм хангамжийн драйверийг хэрэгжүүлнэ:$OPAE_PLATFORM_ROOT/hw/samples/dma_afu/sw Энэ драйвер нь дараах функцуудыг дэмждэг:

API	Тодорхойлолт
fpgaCountDMAC сувгууд	Төхөөрөмжийн онцлогийн хэлхээг DMA BBB-д сканнердаж, боломжтой бүх сувгийг тоолно.
fpgaDMAOpen	DMA сувгийн бариулыг нээнэ.
fpgaDMAClose	DMA сувгийн бариулыг хаадаг.
fpgaDMATtransferInit	DMA дамжуулалтыг илэрхийлэх объектыг эхлүүлнэ.
fpgaDMATtransferReset	DMA шилжүүлгийн атрибутын объектыг анхдагч утгуудад дахин тохируулна.
fpgaDMATtransferDestroy	DMA дамжуулалтын шинж чанарын объектыг устгадаг.
fpgaDMATransferSetSrc	Шилжүүлгийн эх хаягийг тохируулна. Энэ хаяг нь 64 байт хэмжээтэй байх ёстой.
fpgaDMATtransferSetDst	Шилжүүлгийн очих хаягийг тохируулна. Энэ хаяг нь 64 байт хэмжээтэй байх ёстой.
fpgaDMATtransferSetLen	Дамжуулах уртыг байтаар тохируулна. Пакет бус шилжүүлгийн хувьд та дамжуулалтын уртыг 64 байтаар олон болгох ёстой. Пакет шилжүүлгийн хувьд энэ нь шаардлага биш юм.
fpgaDMATtransferSetTransferType	Шилжүүлгийн төрлийг тохируулна. Хууль эрх зүйн үнэ цэнэ нь: • HOST_MM_TO_FPGA_MM = TX (AFU-д зориулсан хост) • FPGA_MM_TO_HOST_MM = RX (AFU нь хост)
fpgaDMATransferSetTransferCallback	Асинхрон дамжуулалтыг дуусгах тухай мэдэгдлийн буцаан дуудлагыг бүртгэдэг. Хэрэв та буцаан дуудлагыг зааж өгвөл fpgaDMATransfer шууд буцаана (асинхрон дамжуулалт). Хэрэв та буцаан дуудлагыг заагаагүй бол шилжүүлэг дууссаны дараа fpgaDMATransfer буцаана (синхрон/блоклох дамжуулалт).
fpgaDMATtransferSetLast	Сүүлийн шилжүүлгийг заадаг тул DMA урьдчилан татсан шилжүүлгийг боловсруулж эхлэх боломжтой. Өгөгдмөл утга нь DMA дамжуулалт дээр ажиллаж эхлэхээс өмнө дамжуулах хоолойд 64 шилжүүлэг байна.
fpgaDMATtransfer	DMA дамжуулалтыг гүйцэтгэдэг.

API, оролт, гаралтын аргументуудын талаар нэмэлт мэдээлэл авахыг хүсвэл толгой хэсгээс үзнэ үү file байрладаг $OPAE_PLATFORM_ROOT/hw/samples/dma_afu/sw/fpga_dma.hIntel корпораци. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг боловч ямар ч бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна. Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

Програм хангамжийн програмчлалын загвар

Програм хангамжийн драйвер ашиглах загварын талаар илүү ихийг мэдэхийг хүсвэл README-г үзнэ үү file $OPAE_PLATFORM_ROOT/hw/s-д байрладагamples/dma_afu/README.md

DMA AFU Ex ажиллуулж байнаample

Эхлэхээсээ өмнө:

Та хуучин хүнтэй танилцах хэрэгтэйampIntel FPGA программчлагдах хурдатгалын карт D5005-д зориулсан Intel Acceleration Stack Quick Start гарын авлага дахь les.
Та орчны хувьсагчийг тодорхойлох ёстой. Орчны хувьсагч нь таны ашиглаж буй Intel Acceleration Stack хувилбараас хамаарна:
- Одоогийн хувилбарын хувьд орчны хувьсагчийг $OPAE_PLATFORM_ROOT болгож тохируулна уу
DMA драйвер нь үүнд тулгуурладаг тул та Intel Threading Building Blocks (TBB) номын санг суулгах ёстой.
Та мөн s-г ажиллуулахын тулд 1 ГБ хэмжээтэй хоёр том хуудас тохируулах ёстойampпрограм. $ sudo sh -c “echo 2 > /sys/kernel/mm/hugepages/hugepages-1048576kB/ nr_hugepages”

DMA Accelerator Function (AF) бит урсгалыг татаж авах, програм болон драйверийг бүтээх, дизайны өмнөх хувилбарыг ажиллуулахын тулд дараах алхмуудыг хийгээрэй.ampле:

DMA програм болон драйверын лавлах руу өөрчлөх: cd $OPAE_PLATFORM_ROOT/hw/samples/dma_afu/sw
Драйвер болон програмыг бүтээх: хийх

DMA AFU бит урсгалыг татаж авах: sudo fpgasupdate ../bin/dma_afu_unsigned.gbs
Хост санах ойноос FPGA төхөөрөмжийн санах ой руу 100 МБ-ыг 1 МБ-аар бичихийн тулд хост програмыг ажиллуулаад буцааж уншина уу: ./ fpga_dma_test -s 104857600 -p 1048576 -r mtom

Холбогдох мэдээлэл
Intel FPGA програмчлагдсан хурдатгалын карт D5005 Intel корпорацид зориулсан Intel Acceleration Stack хурдан эхлүүлэх гарын авлага. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг боловч ямар ч бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна. *Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

DMA AFU Ex-ийг эмхэтгэж байнаample

AF-ийг эмхэтгэх синтез бүтээх орчинг үүсгэхийн тулд afu_synth_setup командыг дараах байдлаар ашиглана уу.

DMA AFU-д шилжихample лавлах: $OPAE_PLATFORM_ROOT/hw/samples/dma_afu
Дизайн бүтээх лавлахыг үүсгэнэ үү: afu_synth_setup –source hw/rtl/filelist.txt build_synth

afu_synth_setup-ийн үүсгэсэн синтез бүтээх лавлахаас зорилтот техник хангамжийн платформд AF үүсгэхийн тулд терминалын цонхноос дараах тушаалуудыг оруулна уу: cd build_synth run.sh run.sh AF үүсгэх скрипт нь ижил суурьтай AF дүрсийг үүсгэдэг. fileAFU-ийн платформын тохиргоо гэж нэрлэнэ file (.json) байршилд .gbs дагавартай:$OPAE_PLATFORM_ROOT/hw/samples/build_synth/dma_afu_s10.gbs Intel корпораци. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг боловч ямар ч бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна. *Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

AFU Ex-ийг дуурайж байнаample

Intel танд ижил төстэй хуучныг дуурайж сурахын тулд Intel FPGA PAC-д зориулсан Intel Accelerator Functional Unit (AFU) Simulation Environment (ASE) хурдан эхлүүлэх гарын авлагаас лавлахыг зөвлөж байна.amples болон өөрийн орчныг тохируулах. Дараах алхмуудыг хийхээсээ өмнө OPAE_PLATFORM_ROOT орчны хувьсагчийг OPAE SDK суулгацын лавлах руу тохируулсан эсэхийг шалгана уу. DMA AFU-д зориулсан техник хангамжийн симуляторыг тохируулахын тулд дараах алхмуудыг гүйцэтгэнэ үү.

DMA AFU-д шилжихample лавлах: cd $OPAE_PLATFORM_ROOT/hw/samples/dma_afu

Шинэ лавлахад ASE орчин үүсгэж, AFU-г дуурайхаар тохируулна уу: afu_sim_setup –source hw/rtl/filelist.txt build_ase_dir
ASE бүтээх лавлах руу өөрчлөх: cd build_ase_dir
Драйвер болон програмыг бүтээх: хийх

Симуляци хийх: сим хийх

SampТехник хангамжийн симуляторын гаралт:

[SIM] ** АНХААРУУЛГА: Програм хангамжийг ажиллуулахын өмнө ** [SIM] Аппликешн ажиллах терминалд env(ASE_WORKDIR)-г тохируулна уу (хуулбар буулгах) => [SIM] $SHELL | Ажиллуулах:[SIM] ———+————————————————— [SIM] bash/zsh | ASE_WORKDIR=$OPAE_PLATFORM_ROOT/hw/s экспортлохamples/dma_afu/ase_mkdir/work [SIM] tcsh/csh | setenv ASE_WORKDIR $OPAE_PLATFORM_ROOT/hw/samples/dma_afu/ase_mkdir/work [SIM] Бусад $SHELL-ийн хувьд Линукс администратороосоо лавлана уу [SIM] [SIM] Симуляцид бэлэн… [SIM] Симуляторыг хаахын тулд CTRL-C дарна уу…

Симуляцийн орчинд DMA AFU программ хангамжийг эмхэтгэн ажиллуулахын тулд дараах алхмуудыг гүйцэтгэнэ үү.

Шинэ терминалын цонх нээнэ үү.
Лавлахыг өөрчлөх: cd $OPAE_PLATFORM_ROOT/hw/samples/dma_afu/sw

AFU Ex-ийг дуурайж байнаample

Техник хангамжийн симуляцийн дээрх алхмуудаас орчны тохиргооны мөрийг (өөрийн бүрхүүлд тохирох мөрийг сонго) терминалын цонх руу хуулна уу. s дахь дараах мөрүүдийг харна ууampтехник хангамжийн симулятораас гаралт. [SIM] bash/zsh | ASE_WORKDIR=$OPAE_PLATFORM_ROOT/hw/s экспортлохamples/dma_afu/build_ase_dir/work [SIM] tcsh/csh | setenv ASE_WORKDIR $OPAE_PLATFORM_ROOT/hw/samples/dma_afu/build_ase_dir/work
Програм хангамжийг эмхэтгэх: $ USE_ASE=1 болгоно

Хост санах ойноос FPGA төхөөрөмжийн санах ой руу 4 КБ хэмжээтэй 1 КБ-ыг буцаах горимд бичихийн тулд хост програмыг ажиллуулна уу: ./ fpga_dma_test -s 4096 -p 1024 -r mtom

Холбогдох мэдээлэл
Intel Accelerator Functional Unit (AFU) Simulation Environment (ASE) хурдан эхлүүлэх хэрэглэгчийн гарын авлага

Сайжруулсан DMA гүйцэтгэлийн оновчлол

fpga_dma_test.cpp доторх NUMA (нэгдмэл санах ойн хандалт) оновчлолыг хэрэгжүүлснээр процессор нь орон нутгийн бус санах ой (санах ойг өөр процессор руу локал) хандахаас илүү хурдан өөрийн дотоод санах ойд хандах боломжийг олгодог. NUMA-ийн ердийн тохиргоог доорх диаграммд харуулав. Орон нутгийн хандалт нь цөмөөс дотоод санах ой руу ижил цөм рүү нэвтрэх хандалтыг илэрхийлдэг. Алсын хандалт нь зангилааны 0-ийн дотоод санах ойд байрлах 1-р зангилааны цөм нь санах ойд хандах үед авсан замыг дүрсэлдэг.

Ердийн NUMA тохиргоо

Туршилтын программдаа NUMA оновчлолыг хэрэгжүүлэхийн тулд дараах кодыг ашиглана уу:

// Хэрэв (cpu_affinity || memory_affinity) {unsigned dom = 0, bus = 0, dev = 0, func = 0; fpga_properties тулгуур;int retval; #if(FPGA_DMA_DEBUG)char str[4096]; #endifres = fpgaGetProperties(afc_token, & props); ON_ERR_GOTO(res, out_destroy_tok, “fpgaGetProperties”); res = fpgaPropertiesGetBus(таяг, (uint8_t *) & автобус);ON_ERR_GOTO(res, out_destroy_tok, “fpgaPropertiesGetBus”); res = fpgaPropertiesGetDevice(props, (uint8_t *) & dev);ON_ERR_GOTO(res, out_destroy_tok, “fpgaPropertiesGetDevice”) res = fpgaPropertiesGetFunction(props, (uint8_t *) & func);ON_ERR_outtok,”Res_GetFunc(y)); // hwloc_topology_t топологиас төхөөрөмжийг олох; hwloc_topology_init(&топологи); hwloc_topology_set_flags(топологи, HWLOC_TOPOLOGY_FLAG_IO_DEVICES);Intel корпораци. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг боловч ямар ч бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна. *Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

Сайжруулсан DMA гүйцэтгэлийн оновчлол

hwloc_topology_load(топологи); hwloc_obj_t obj = hwloc_get_pcidev_by_busid(топологи, дом, автобус, dev, func); hwloc_obj_t obj2 = hwloc_get_non_io_ancestor_obj(топологи, объект); #if (FPGA_DMA_DEBUG) hwloc_obj_type_snprintf(str, 4096, obj2, 1); printf(“%s\n”, str);hwloc_obj_attr_snprintf(str, 4096, obj2, ” :: “, 1);printf(“%s\n”, str); hwloc_bitmap_taskset_snprintf(str, 4096, obj2->cpuset); printf(“CPUSET нь %s\n”, str); hwloc_bitmap_taskset_snprintf(str, 4096, obj2->nodeset); printf(“NODESET бол %s\n”, str);#endif if (санах ойн_хамаарал) { #if HWLOC_API_VERSION > 0x00020000 retval = hwloc_set_membind(топологи, obj2->nodeset,HWLOC_MEMBIND_LOMBIND_MBIND_MEMBIND_MEMBIND_MB | YNODESET); #else retval =hwloc_set_membind_nodeset(топологи, obj2->nodeset, HWLOC_MEMBIND_THREAD,HWLOC_MEMBIND_MIGRATE); #endifON_ERR_GOTO(retval, out_destroy_tok, “hwloc_set_membind”); } if (cpu_affinity) {retval = hwloc_set_cpubind(топологи, obj2->cpuset, HWLOC_CPUBIND_STRICT); ON_ERR_GOTO(retval, out_destroy_tok, “hwloc_set_cpubind”); } }

DMA Accelerator функциональ нэгжийн хэрэглэгчийн гарын авлага архив

Intel Acceleration Stack хувилбар	Хэрэглэгчийн гарын авлага (PDF)
2.0	DMA Accelerator Functional Unit (AFU) хэрэглэгчийн гарын авлага

DMA хурдасгуурын функциональ нэгжийн хэрэглэгчийн гарын авлагын баримт бичгийн засварын түүх

Баримт бичгийн хувилбар

Intel хурдатгал Стек хувилбар

Өөрчлөлтүүд

2020.08.03

2.0.1 (Intel дэмждэг

Quartus® Prime Pro Edition Edition 19.2)

AF дүрсийг зассан file хэсэгт нэр DMA AFU Ex-ийг эмхэтгэж байнаample.

2020.04.17

2.0.1 (Intel дэмждэг

Quartus Prime Pro Edition Edition 19.2)

дахь мэдэгдлийг зассан Зорилтот үзэгчид хэсэг.

2020.02.20

2.0.1 (Intel дэмждэг

Quartus Prime Pro Edition Edition 19.2)

Үсгийн алдаа зассан.

2019.11.04

2.0.1 (Intel дэмждэг

Quartus Prime Pro Edition Edition 19.2)

• Хэсэг дэх урьдчилан бүтээгдсэн AFU-тай FPGA-г тохируулах үед fpgaconf-г fpgasupdate-р сольсон. DMA AFU Ex-ийг ажиллуулж байнаample.

• Хадмал орчуулга нэмсэн Intel FPGA программчлагдах хурдатгалын карт D5005 баримт бичгийн гарчиг руу.

• Орчны хувьсагч $OPAE_PLATFORM_ROOT нэмсэн.

• Өөрчлөгдсөн хэсэг Програм хангамжийн програмчлалын загвар жижиг засварын хувьд.

• Шинэ хэсэг нэмсэн DMA AFU Ex-ийг эмхэтгэж байнаample.

• Өөрчлөгдсөн хэсэг Сайжруулсан DMA гүйцэтгэлийн оновчлол жижиг засварын хувьд.

2019.08.05

2.0 (Intel дэмждэг

Quartus Prime Pro Edition 18.1.2)

Анхны хувилбар.

Intel корпораци. Бүх эрх хуулиар хамгаалагдсан. Intel, Intel лого болон бусад Intel тэмдэг нь Intel корпораци эсвэл түүний охин компаниудын худалдааны тэмдэг юм. Intel нь өөрийн FPGA болон хагас дамжуулагч бүтээгдэхүүнүүдээ Intel-ийн стандарт баталгааны дагуу одоогийн техникийн үзүүлэлтүүдэд нийцүүлэн ажиллуулах баталгаа өгдөг боловч ямар ч бүтээгдэхүүн, үйлчилгээнд ямар ч үед мэдэгдэлгүйгээр өөрчлөлт оруулах эрхтэй. Intel нь бичгээр тохиролцсоноос бусад тохиолдолд энд дурдсан аливаа мэдээлэл, бүтээгдэхүүн, үйлчилгээг ашиглах, ашиглахаас үүдэн гарах хариуцлага, хариуцлага хүлээхгүй. Intel-ийн хэрэглэгчид нийтлэгдсэн мэдээлэлд найдах, бүтээгдэхүүн, үйлчилгээний захиалга өгөхөөс өмнө төхөөрөмжийн техникийн үзүүлэлтүүдийн хамгийн сүүлийн хувилбарыг авахыг зөвлөж байна.

Бусад нэр, брэндийг бусдын өмч гэж үзэж болно.

Баримт бичиг / нөөц

Intel FPGA программчлагдах хурдатгалын карт D5005 [pdf] Хэрэглэгчийн гарын авлага
FPGA програмчлагдах хурдатгалын карт, D5005, FPGA програмчлагдах хурдатгалын карт D5005, DMA хурдасгуурын функциональ нэгж

Лавлагаа

Хэрэглэгчийн гарын авлага

Intel FPGA программчлагдах хурдатгалын карт D5005

Энэ баримт бичгийн тухай

DMA AFU-ийн тодорхойлолт

Газрын зураг, хаягийн орон зайг бүртгэх

DMA AFU бүртгэлийн газрын зураг

Газрын зураг, хаягийн орон зайг бүртгэх

Програм хангамжийн програмчлалын загвар

DMA AFU Ex ажиллуулж байнаample

DMA AFU Ex-ийг эмхэтгэж байнаample

AFU Ex-ийг дуурайж байнаample

Сайжруулсан DMA гүйцэтгэлийн оновчлол

DMA Accelerator функциональ нэгжийн хэрэглэгчийн гарын авлага архив

DMA хурдасгуурын функциональ нэгжийн хэрэглэгчийн гарын авлагын баримт бичгийн засварын түүх

Баримт бичиг / нөөц

Лавлагаа

Сэтгэгдэл үлдээгээрэй

Хариултыг цуцлах