Texas Instruments AM6x ພັດທະນາຄູ່ມືຜູ້ໃຊ້ກ້ອງຖ່າຍຮູບຫຼາຍອັນ

ການເຝົ້າລະວັງຄວາມປອດໄພ: ປັບປຸງການຄຸ້ມຄອງການເຝົ້າລະວັງ, ການຕິດຕາມວັດຖຸ ແລະຄວາມຖືກຕ້ອງຂອງການຮັບຮູ້.
ອ້ອມຮອບ View: ເປີດໃຊ້ວິໄສທັດສະເຕີຣິໂອສຳລັບວຽກຕ່າງໆ ເຊັ່ນ: ການກວດຫາອຸປະສັກ ແລະ ການໝູນໃຊ້ວັດຖຸ.

Cabin Recorder ແລະ Camera Mirror System: ສະຫນອງການຄຸ້ມຄອງຂະຫຍາຍແລະກໍາຈັດຈຸດຕາບອດ.
ຮູບພາບທາງການແພດ: ສະເໜີໃຫ້ປັບປຸງຄວາມຊັດເຈນໃນການນໍາທາງການຜ່າຕັດ ແລະ endoscopy.

Drones ແລະຮູບພາບທາງອາກາດ: ບັນທຶກຮູບພາບທີ່ມີຄວາມລະອຽດສູງຈາກມຸມທີ່ແຕກຕ່າງກັນສໍາລັບຄໍາຮ້ອງສະຫມັກຕ່າງໆ.

ການເຊື່ອມຕໍ່ກ້ອງ CSI-2 ຫຼາຍໜ່ວຍກັບ SoC:
ເພື່ອເຊື່ອມຕໍ່ກ້ອງ CSI-2 ຫຼາຍໜ່ວຍກັບ SoC, ປະຕິບັດຕາມຄຳແນະນຳທີ່ລະບຸໄວ້ໃນຄູ່ມືຜູ້ໃຊ້. ຮັບປະກັນການຈັດວາງທີ່ຖືກຕ້ອງ ແລະການເຊື່ອມຕໍ່ຂອງແຕ່ລະກ້ອງກັບພອດທີ່ກຳນົດໄວ້ໃນ SoC.

ຫມາຍເຫດຄໍາຮ້ອງສະຫມັກ
ການພັດທະນາແອັບພລິເຄຊັນຫຼາຍກ້ອງຖ່າຍຮູບໃນ AM6x

Jianzhong Xu, Qutaiba Saleh

ບົດຄັດຫຍໍ້
ບົດລາຍງານນີ້ອະທິບາຍການພັດທະນາແອັບພລິເຄຊັນໂດຍໃຊ້ກ້ອງຖ່າຍຮູບ CSI-2 ຫຼາຍໜ່ວຍໃນອຸປະກອນຄອບຄົວ AM6x. ການອອກແບບການອ້າງອິງຂອງການກວດຫາວັດຖຸດ້ວຍການຮຽນຮູ້ຢ່າງເລິກເຊິ່ງໃນ 4 ກ້ອງໃນ AM62A SoC ໄດ້ຖືກນໍາສະເຫນີດ້ວຍການວິເຄາະປະສິດທິພາບ. ຫຼັກການທົ່ວໄປຂອງການອອກແບບໃຊ້ກັບ SoCs ອື່ນໆທີ່ມີການໂຕ້ຕອບ CSI-2, ເຊັ່ນ AM62x ແລະ AM62P.

ແນະນຳ

ກ້ອງຖ່າຍຮູບຝັງຕົວມີບົດບາດສໍາຄັນໃນລະບົບສາຍຕາທີ່ທັນສະໄຫມ. ການໃຊ້ກ້ອງຖ່າຍຮູບຫຼາຍຕົວໃນລະບົບຈະຂະຫຍາຍຄວາມສາມາດຂອງລະບົບເຫຼົ່ານີ້ ແລະເຮັດໃຫ້ຄວາມສາມາດທີ່ບໍ່ເປັນໄປໄດ້ດ້ວຍກ້ອງຖ່າຍຮູບດຽວ. ຂ້າງລຸ່ມນີ້ແມ່ນບາງ examples ຂອງການນໍາໃຊ້ກ້ອງຖ່າຍຮູບຝັງຫຼາຍ:

ການເຝົ້າລະວັງຄວາມປອດໄພ: ກ້ອງຫຼາຍໜ່ວຍທີ່ວາງຍຸດທະສາດໃຫ້ການຄຸ້ມຄອງການເຝົ້າລະວັງຢ່າງຮອບດ້ານ. ພວກເຂົາເຈົ້າເປີດໃຊ້ panoramic views, ຫຼຸດຜ່ອນຈຸດຕາບອດ, ແລະເສີມຂະຫຍາຍຄວາມຖືກຕ້ອງຂອງການຕິດຕາມແລະການຮັບຮູ້ວັດຖຸ, ການປັບປຸງມາດຕະການຄວາມປອດໄພໂດຍລວມ.
ອ້ອມຮອບ View: ກ້ອງຖ່າຍຮູບຫຼາຍອັນຖືກນໍາໃຊ້ເພື່ອສ້າງການຕັ້ງຄ່າວິໄສທັດສະເຕີລິໂອ, ເຮັດໃຫ້ຂໍ້ມູນສາມມິຕິລະດັບແລະການປະເມີນຄວາມເລິກ. ນີ້ແມ່ນສິ່ງສໍາຄັນສໍາລັບວຽກງານເຊັ່ນ: ການກວດສອບອຸປະສັກໃນຍານພາຫະນະອັດຕະໂນມັດ, ການຫມູນໃຊ້ວັດຖຸທີ່ຊັດເຈນໃນຫຸ່ນຍົນ, ແລະການເພີ່ມປະສິດທິພາບຂອງປະສົບການຄວາມເປັນຈິງທີ່ເພີ່ມຂຶ້ນ.

Cabin Recorder ແລະ Camera Mirror System: ເຄື່ອງບັນທຶກໃນຫ້ອງໂດຍສານໃນລົດທີ່ມີກ້ອງຖ່າຍຮູບຫຼາຍຕົວສາມາດໃຫ້ການຄຸ້ມຄອງໄດ້ຫຼາຍຂຶ້ນໂດຍໃຊ້ໂປເຊດເຊີດຽວ. ເຊັ່ນດຽວກັນ, ລະບົບກະຈົກກ້ອງຖ່າຍຮູບທີ່ມີກ້ອງຖ່າຍຮູບສອງຫຼືຫຼາຍກວ່ານັ້ນສາມາດຂະຫຍາຍພາກສະຫນາມຂອງຜູ້ຂັບຂີ່ໄດ້ view ແລະກໍາຈັດຈຸດຕາບອດຈາກທຸກດ້ານຂອງລົດ.
ການຖ່າຍຮູບທາງການແພດ: ກ້ອງຖ່າຍຮູບຫຼາຍອັນສາມາດໃຊ້ໃນການຖ່າຍຮູບທາງການແພດສໍາລັບວຽກງານຕ່າງໆເຊັ່ນການນໍາທາງການຜ່າຕັດ, ໃຫ້ແພດຜ່າຕັດມີທັດສະນະທີ່ຫຼາກຫຼາຍສໍາລັບຄວາມຊັດເຈນທີ່ເພີ່ມຂຶ້ນ. ໃນການ endoscopy, ກ້ອງຖ່າຍຮູບຫຼາຍອັນເຮັດໃຫ້ການກວດສອບອະໄວຍະວະພາຍໃນຢ່າງລະອຽດ.

Drones ແລະຮູບພາບທາງອາກາດ: Drones ມັກຈະມາພ້ອມກັບກ້ອງຖ່າຍຮູບຫຼາຍຕົວເພື່ອບັນທຶກຮູບພາບຫຼືວິດີໂອທີ່ມີຄວາມລະອຽດສູງຈາກມຸມທີ່ແຕກຕ່າງກັນ. ນີ້ແມ່ນເປັນປະໂຫຍດໃນຄໍາຮ້ອງສະຫມັກເຊັ່ນ: ການຖ່າຍຮູບທາງອາກາດ, ການຕິດຕາມກະສິກໍາ, ແລະການສໍາຫຼວດທີ່ດິນ.
ດ້ວຍຄວາມກ້າວຫນ້າຂອງໂປເຊດເຊີ microprocessors, ກ້ອງຖ່າຍຮູບຫຼາຍຕົວສາມາດຖືກລວມເຂົ້າໃນລະບົບດຽວກັບຊິບ.
(SoC) ເພື່ອສະຫນອງການແກ້ໄຂທີ່ຫນາແຫນ້ນແລະປະສິດທິພາບ. AM62Ax SoC, ດ້ວຍການປະມວນຜົນວິດີໂອ/ວິໄສທັດທີ່ມີປະສິດທິພາບສູງ ແລະ ການເລັ່ງການຮຽນຮູ້ທີ່ເລິກເຊິ່ງ, ເປັນອຸປະກອນທີ່ເໝາະສົມສຳລັບກໍລະນີການນຳໃຊ້ທີ່ກ່າວມາຂ້າງເທິງ. ອຸປະກອນ AM6x ອື່ນ, AM62P, ຖືກສ້າງຂຶ້ນສໍາລັບຄໍາຮ້ອງສະຫມັກການສະແດງ 3D ທີ່ມີປະສິດຕິພາບສູງ. ມາພ້ອມກັບການເລັ່ງກາຟິກ 3D, AM62P ສາມາດຕິດຮູບພາບຈາກຫຼາຍກ້ອງເຂົ້າກັນໄດ້ຢ່າງງ່າຍດາຍ ແລະສ້າງພາບພາໂນຣາມິກຄວາມລະອຽດສູງ. view. ຄຸນສົມບັດນະວັດຕະກໍາຂອງ AM62A/AM62P SoC ໄດ້ຖືກນໍາສະເຫນີຢູ່ໃນສິ່ງພິມຕ່າງໆ, ເຊັ່ນ [4], [5], [6], ແລະອື່ນໆ. ບັນທຶກແອັບພລິເຄຊັນນີ້ຈະບໍ່ເຮັດຊ້ໍາຄໍາອະທິບາຍລັກສະນະເຫຼົ່ານັ້ນ, ແຕ່ແທນທີ່ຈະສຸມໃສ່ການລວມເອົາກ້ອງຖ່າຍຮູບ CSI-2 ຫຼາຍໆຕົວເຂົ້າໄປໃນແອັບພລິເຄຊັນວິໄສທັດຝັງຢູ່ໃນ AM62A / AM62P.

ຕາຕະລາງ 1-1 ສະແດງໃຫ້ເຫັນຄວາມແຕກຕ່າງຕົ້ນຕໍລະຫວ່າງ AM62A ແລະ AM62P ເທົ່າທີ່ການປະມວນຜົນຮູບພາບກ່ຽວຂ້ອງ.

ຕາຕະລາງ 1-1. ຄວາມແຕກຕ່າງລະຫວ່າງ AM62A ແລະ AM62P ໃນການປະມວນຜົນຮູບພາບ

SoC	AM62A	AM62P
ປະເພດກ້ອງຖ່າຍຮູບທີ່ຮອງຮັບ	ມີ ຫຼືບໍ່ມີ ISP ທີ່ມີໃນຕົວ	ດ້ວຍ ISP ໃນຕົວ
ຂໍ້ມູນຜົນຜະລິດຂອງກ້ອງຖ່າຍຮູບ	ດິບ/YUV/RGB	YUV/RGB
ISP HWA	ແມ່ນແລ້ວ	ບໍ່
ການຮຽນຮູ້ເລິກເຊິ່ງ HWA	ແມ່ນແລ້ວ	ບໍ່
ກຣາບຟິກ 3 ມິຕິ HWA	ບໍ່	ແມ່ນແລ້ວ

ການເຊື່ອມຕໍ່ກ້ອງ CSI-2 ຫຼາຍໜ່ວຍກັບ SoC
ລະບົບຍ່ອຍກ້ອງຖ່າຍຮູບໃນ AM6x SoC ມີອົງປະກອບຕໍ່ໄປນີ້, ດັ່ງທີ່ສະແດງຢູ່ໃນຮູບ 2-1:

MIPI D-PHY Receiver: ຮັບສາຍວິດີໂອຈາກກ້ອງພາຍນອກ, ຮອງຮັບໄດ້ເຖິງ 1.5 Gbps ຕໍ່ຊ່ອງຂໍ້ມູນສໍາລັບ 4 ເລນ.

CSI-2 Receiver (RX): ຮັບສະຕຣີມວິດີໂອຈາກເຄື່ອງຮັບ D-PHY ແລະສົ່ງກະແສໂດຍກົງໄປຫາ ISP ຫຼື dumps ຂໍ້ມູນໄປຍັງ DDR memory. ໂມດູນນີ້ສະຫນັບສະຫນູນເຖິງ 16 ຊ່ອງ virtual.
SHIM: ຕົວຫໍ່ DMA ທີ່ສາມາດສົ່ງກະແສທີ່ຈັບໄດ້ໄປຫາຄວາມຊົງຈໍາຜ່ານ DMA. ບໍລິບົດ DMA ຫຼາຍສາມາດຖືກສ້າງຂື້ນໂດຍ wrapper ນີ້, ໂດຍແຕ່ລະບໍລິບົດທີ່ສອດຄ້ອງກັບຊ່ອງທາງ virtual ຂອງ CSI-2 Receiver.

ກ້ອງຖ່າຍຮູບຫຼາຍຕົວສາມາດໄດ້ຮັບການສະຫນັບສະຫນູນຢູ່ໃນ AM6x ຜ່ານການນໍາໃຊ້ຊ່ອງ virtual ຂອງ CSI-2 RX, ເຖິງແມ່ນວ່າມີພຽງແຕ່ຫນຶ່ງການໂຕ້ຕອບ CSI-2 RX ໃນ SoC. ອົງປະກອບການລວບລວມ CSI-2 ພາຍນອກແມ່ນຈໍາເປັນເພື່ອສົມທົບການຖ່າຍທອດກ້ອງຖ່າຍຮູບຫຼາຍອັນແລະສົ່ງພວກມັນໄປຫາ SoC ດຽວ. ສອງປະເພດຂອງການແກ້ໄຂການລວບລວມ CSI-2 ສາມາດຖືກນໍາໃຊ້, ອະທິບາຍໃນພາກຕໍ່ໄປນີ້.

CSI-2 Aggregator ໃຊ້ SerDes
ວິທີໜຶ່ງຂອງການລວມເອົາກະແສກ້ອງຫຼາຍອັນແມ່ນການໃຊ້ການແກ້ໄຂການເປັນ serializing ແລະ deserializing (SerDes). ຂໍ້ມູນ CSI-2 ຈາກແຕ່ລະກ້ອງຖ່າຍຮູບຖືກແປງໂດຍ serializer ແລະໂອນຜ່ານສາຍ. deserializer ໄດ້ຮັບຂໍ້ມູນ serialized ທັງຫມົດທີ່ຖືກໂອນຈາກສາຍເຄເບີນ (ຫນຶ່ງສາຍຕໍ່ກ້ອງຖ່າຍຮູບ), ປ່ຽນສາຍນ້ໍາກັບຄືນໄປບ່ອນເປັນຂໍ້ມູນ CSI-2, ແລະຫຼັງຈາກນັ້ນສົ່ງສະຕຣີມ CSI-2 interleaved ອອກໄປຫາການໂຕ້ຕອບ CSI-2 RX ດຽວໃນ SoC. ແຕ່ລະສະຕຣີມກ້ອງຖ່າຍຮູບຖືກລະບຸໂດຍຊ່ອງສະເໝືອນທີ່ເປັນເອກະລັກ. ການແກ້ໄຂການລວບລວມນີ້ໃຫ້ຜົນປະໂຫຍດເພີ່ມເຕີມຂອງການອະນຸຍາດໃຫ້ເຊື່ອມຕໍ່ທາງໄກໄດ້ເຖິງ 15m ຈາກກ້ອງຖ່າຍຮູບໄປຫາ SoC.

FPD-Link ຫຼື V3-Link serializers ແລະ deserializers (SerDes), ສະຫນັບສະຫນຸນໃນ AM6x Linux SDK, ເປັນເຕັກໂນໂລຢີທີ່ນິຍົມທີ່ສຸດສໍາລັບປະເພດຂອງການແກ້ໄຂການລວບລວມ CSI-2 ນີ້. ທັງ FPD-Link ແລະ V3-Link deserializers ມີຊ່ອງທາງກັບຄືນໄປບ່ອນທີ່ສາມາດຖືກນໍາໃຊ້ເພື່ອສົ່ງສັນຍານ synchronize ກອບເພື່ອ synchronize ກ້ອງຖ່າຍຮູບທັງຫມົດ, ດັ່ງທີ່ອະທິບາຍໄວ້ໃນ [7].
ຮູບທີ 2-2 ສະແດງຕົວຢ່າງample ຂອງການນໍາໃຊ້ SerDes ເພື່ອເຊື່ອມຕໍ່ກ້ອງຖ່າຍຮູບຫຼາຍອັນກັບ AM6x SoC ດຽວ.

ອະດີດample ຂອງການແກ້ໄຂການລວບລວມນີ້ສາມາດພົບໄດ້ໃນ Arducam V3Link Camera Solution Kit. ຊຸດນີ້ມີ deserializer hub ເຊິ່ງລວມ 4 ສາຍກ້ອງຖ່າຍຮູບ CSI-2, ເຊັ່ນດຽວກັນກັບ 4 ຄູ່ຂອງ V3link serializers ແລະກ້ອງຖ່າຍຮູບ IMX219, ລວມທັງສາຍ FAKRA coaxial ແລະສາຍ FPC 22-pin. ການອອກແບບອ້າງອີງທີ່ສົນທະນາຕໍ່ມາແມ່ນສ້າງຂຶ້ນໃນຊຸດນີ້.

CSI-2 Aggregator ໂດຍບໍ່ຕ້ອງໃຊ້ SerDes
ຕົວລວບລວມຂໍ້ມູນປະເພດນີ້ສາມາດຕິດຕໍ່ພົວພັນໂດຍກົງກັບກ້ອງຖ່າຍຮູບ MIPI CSI-2 ຫຼາຍໜ່ວຍ ແລະລວບລວມຂໍ້ມູນຈາກກ້ອງທັງໝົດໄປສູ່ກະແສຜົນຜະລິດ CSI-2 ດຽວ.

ຮູບທີ 2-3 ສະແດງຕົວຢ່າງample ຂອງລະບົບດັ່ງກ່າວ. ປະເພດຂອງການແກ້ໄຂການລວບລວມນີ້ບໍ່ໄດ້ໃຊ້ serializer / deserializer ໃດໆແຕ່ຖືກຈໍາກັດໂດຍໄລຍະສູງສຸດຂອງການໂອນຂໍ້ມູນ CSI-2, ເຊິ່ງສູງເຖິງ 30cm. AM6x Linux SDK ບໍ່ຮອງຮັບ CSI-2 aggregator ປະເພດນີ້

ເປີດໃຊ້ກ້ອງຖ່າຍຮູບຫຼາຍອັນໃນຊອບແວ

ສະຖາປັດຕະຍະກຳຊອບແວລະບົບຍ່ອຍກ້ອງຖ່າຍຮູບ
ຮູບທີ 3-1 ສະແດງແຜນຜັງບລັອກລະດັບສູງຂອງຊອບແວລະບົບການຈັບພາບກ້ອງໃນ AM62A/AM62P Linux SDK, ທີ່ສອດຄ້ອງກັບລະບົບ HW ໃນຮູບ 2-2.

ສະຖາປັດຕະຍະກຳຊອບແວນີ້ເຮັດໃຫ້ SoC ໄດ້ຮັບການຖ່າຍທອດກ້ອງຖ່າຍຮູບຫຼາຍອັນດ້ວຍການໃຊ້ SerDes, ດັ່ງທີ່ສະແດງໃນຮູບ 2-2. FPD-Link/V3-Link SerDes ກຳນົດທີ່ຢູ່ I2C ແລະຊ່ອງສະເໝືອນສະເພາະໃຫ້ກັບແຕ່ລະກ້ອງ. ການວາງຊ້ອນຕົ້ນໄມ້ທີ່ເປັນເອກະລັກຄວນຖືກສ້າງຂື້ນດ້ວຍທີ່ຢູ່ I2C ທີ່ເປັນເອກະລັກສໍາລັບທຸກໆກ້ອງຖ່າຍຮູບ. ໄດເວີ CSI-2 RX ຮັບຮູ້ແຕ່ລະກ້ອງຖ່າຍຮູບໂດຍໃຊ້ໝາຍເລກຊ່ອງສະເໝືອນທີ່ເປັນເອກະລັກ ແລະສ້າງບໍລິບົດ DMA ຕໍ່ການຖ່າຍທອດກ້ອງຖ່າຍຮູບ. ໂຫນດວິດີໂອຖືກສ້າງຂື້ນສໍາລັບທຸກໆສະພາບການ DMA. ຂໍ້ມູນຈາກແຕ່ລະກ້ອງຈະຖືກຮັບ ແລະເກັບໄວ້ໂດຍໃຊ້ DMA ໄປທີ່ໜ່ວຍຄວາມຈຳຕາມຄວາມເໝາະສົມ. ແອັບພລິເຄຊັນພື້ນທີ່ຜູ້ໃຊ້ໃຊ້ໂນດວິດີໂອທີ່ສອດຄ້ອງກັບແຕ່ລະກ້ອງເພື່ອເຂົ້າເຖິງຂໍ້ມູນຂອງກ້ອງ. ຕົວຢ່າງamples ຂອງການນໍາໃຊ້ສະຖາປັດຕະຍະຊອບແວນີ້ແມ່ນໄດ້ຮັບໃນບົດທີ 4 – ການອອກແບບອ້າງອີງ.
ໄດເວີເຊັນເຊີສະເພາະໃດນຶ່ງທີ່ສອດຄ່ອງກັບກອບ V4L2 ສາມາດສຽບ ແລະຫຼິ້ນໃນສະຖາປັດຕະຍະກໍານີ້ໄດ້. ອ້າງເຖິງ [8] ກ່ຽວກັບວິທີການປະສົມປະສານໄດເວີເຊັນເຊີໃຫມ່ເຂົ້າໄປໃນ Linux SDK.

ສະຖາປັດຕະຍະກໍາຊອບແວທໍ່ຮູບພາບ

AM6x Linux SDK ສະຫນອງກອບ GStreamer (GST), ເຊິ່ງສາມາດນໍາໃຊ້ໃນພື້ນທີ່ ser ເພື່ອປະສົມປະສານອົງປະກອບການປຸງແຕ່ງຮູບພາບສໍາລັບຄໍາຮ້ອງສະຫມັກຕ່າງໆ. ຮາດແວ Accelerators (HWA) ໃນ SoC, ເຊັ່ນ Vision Pre-processing Accelerator (VPAC) ຫຼື ISP, ຕົວເຂົ້າລະຫັດ/ຕົວຖອດລະຫັດວິດີໂອ ແລະເຄື່ອງຈັກຄອມພິວເຕີການຮຽນຮູ້ເລິກ, ແມ່ນເຂົ້າເຖິງຜ່ານ GST. plugins. VPAC (ISP) ຕົວຂອງມັນເອງມີຫຼາຍບລັອກ, ລວມທັງລະບົບຍ່ອຍຮູບພາບວິໄສທັດ (VISS), ການແກ້ໄຂການບິດເບືອນຂອງເລນ (LDC), ແລະ Multiscalar (MSC), ແຕ່ລະອັນທີ່ສອດຄ້ອງກັບ plugin GST.

ຮູບທີ 3-2 ສະແດງແຜນຜັງບລັອກຂອງທໍ່ຮູບພາບປົກກະຕິຈາກກ້ອງໄປຫາການເຂົ້າລະຫັດ ຫຼືເລິກ.
ຄໍາຮ້ອງສະຫມັກການຮຽນຮູ້ກ່ຽວກັບ AM62A. ສໍາລັບລາຍລະອຽດເພີ່ມເຕີມກ່ຽວກັບການໄຫຼເຂົ້າຂອງຂໍ້ມູນໃນຕອນທ້າຍ, ເບິ່ງເອກະສານ EdgeAI SDK.

ສໍາລັບ AM62P, ທໍ່ຮູບພາບແມ່ນງ່າຍດາຍກວ່າເພາະວ່າບໍ່ມີ ISP ໃນ AM62P.

ດ້ວຍໂຫນດວິດີໂອທີ່ສ້າງຂຶ້ນສໍາລັບແຕ່ລະກ້ອງຖ່າຍຮູບ, ທໍ່ຮູບພາບທີ່ອີງໃສ່ GStreamer ອະນຸຍາດໃຫ້ປະມວນຜົນການປ້ອນຂໍ້ມູນຂອງກ້ອງຖ່າຍຮູບຫຼາຍອັນ (ເຊື່ອມຕໍ່ຜ່ານການໂຕ້ຕອບ CSI-2 RX ດຽວກັນ) ພ້ອມກັນ. ການອອກແບບອ້າງອີງໂດຍໃຊ້ GStreamer ສໍາລັບຄໍາຮ້ອງສະຫມັກຫຼາຍກ້ອງຖ່າຍຮູບແມ່ນໃຫ້ຢູ່ໃນບົດຕໍ່ໄປ.

ການອອກແບບອ້າງອີງ

ບົດນີ້ສະເໜີການອອກແບບການອ້າງອີງຂອງການເຮັດວຽກຂອງຫຼາຍກ້ອງຖ່າຍຮູບໃນ AM62A EVM, ການນໍາໃຊ້ Arducam V3Link Camera Solution Kit ເພື່ອເຊື່ອມຕໍ່ 4 ກ້ອງຖ່າຍຮູບ CSI-2 ກັບ AM62A ແລະດໍາເນີນການກວດຫາວັດຖຸສໍາລັບກ້ອງຖ່າຍຮູບທັງຫມົດ 4.

ກ້ອງຖ່າຍຮູບທີ່ຮອງຮັບ
ຊຸດ Arducam V3Link ເຮັດວຽກກັບທັງສອງກ້ອງຖ່າຍຮູບທີ່ໃຊ້ FPD-Link/V3-Link ແລະກ້ອງຖ່າຍຮູບ CSI-2 ທີ່ເຂົ້າກັນໄດ້ກັບ Raspberry Pi. ກ້ອງຖ່າຍຮູບດັ່ງຕໍ່ໄປນີ້ໄດ້ຮັບການທົດສອບ:

ວິສະວະກໍາ D3 D3RCM-IMX390-953
Leopard Imaging LI-OV2312-FPDLINKIII-110H

ກ້ອງ IMX219 ໃນ Arducam V3Link Camera Solution Kit

ການຕິດຕັ້ງສີ່ກ້ອງຖ່າຍຮູບ IMX219
ປະຕິບັດຕາມຄໍາແນະນໍາທີ່ລະບຸໄວ້ໃນຄູ່ມືເລີ່ມຕົ້ນດ່ວນ AM62A Starter Kit EVM ເພື່ອຕັ້ງຄ່າ SK-AM62A-LP EVM (AM62A SK) ແລະ ArduCam V3Link Camera Solution Quick Start Guide ເພື່ອເຊື່ອມຕໍ່ກ້ອງຖ່າຍຮູບກັບ AM62A SK ຜ່ານຊຸດ V3Link. ໃຫ້ແນ່ໃຈວ່າ pins ໃນສາຍ flex, ກ້ອງຖ່າຍຮູບ, V3Link board, ແລະ AM62A SK ແມ່ນສອດຄ່ອງທັງຫມົດຢ່າງຖືກຕ້ອງ.

ຮູບທີ 4-1 ສະແດງການຕັ້ງຄ່າທີ່ໃຊ້ສໍາລັບການອອກແບບອ້າງອີງໃນບົດລາຍງານນີ້. ອົງປະກອບຕົ້ນຕໍໃນການຕິດຕັ້ງປະກອບມີ:

ກະດານ EVM 1X SK-AM62A-LP
1X ກະດານອະແດບເຕີ Arducam V3Link d-ch
ສາຍ FPC ທີ່ເຊື່ອມຕໍ່ Arducam V3Link ກັບ SK-AM62A

ອະແດບເຕີກ້ອງຖ່າຍຮູບ 4X V3Link (serializers)
ສາຍ coaxial RF 4X ເພື່ອເຊື່ອມຕໍ່ V3Link serializers ກັບຊຸດ V3Link d-ch
ກ້ອງຖ່າຍຮູບ 4X IMX219

4X CSI-2 ສາຍ 22-pin ເພື່ອເຊື່ອມຕໍ່ກ້ອງຖ່າຍຮູບກັບ serializers
ສາຍ: ສາຍ HDMI, USB-C ເພື່ອພະລັງງານ SK-AM62A-LP ແລະ 12V ທີ່ມາຈາກຊຸດ V3Link d-ch)
ອົງປະກອບອື່ນໆທີ່ບໍ່ໄດ້ສະແດງໃນຮູບ 4-1: ແຜ່ນ micro-SD, ສາຍ micro-USB ເພື່ອເຂົ້າເຖິງ SK-AM62A-LP, ແລະອີເທີເນັດສໍາລັບການຖ່າຍທອດ

ການຕັ້ງຄ່າກ້ອງຖ່າຍຮູບ ແລະການໂຕ້ຕອບ CSI-2 RX
ຕັ້ງຄ່າຊອບແວຕາມຄໍາແນະນໍາທີ່ລະບຸໄວ້ໃນຄູ່ມືເລີ່ມຕົ້ນດ່ວນ Arducam V3Link. ຫຼັງຈາກແລ່ນສະຄຣິບການຕັ້ງຄ່າກ້ອງຖ່າຍຮູບແລ້ວ, setup-imx219.sh, ຮູບແບບຂອງກ້ອງຖ່າຍຮູບ, ຮູບແບບການໂຕ້ຕອບ CSI-2 RX, ແລະເສັ້ນທາງຈາກແຕ່ລະກ້ອງຖ່າຍຮູບໄປຫາໂນດວິດີໂອທີ່ສອດຄ້ອງກັນຈະຖືກຕັ້ງຄ່າຢ່າງຖືກຕ້ອງ. ສີ່ໂຫນດວິດີໂອຖືກສ້າງຂື້ນສໍາລັບສີ່ກ້ອງຖ່າຍຮູບ IMX219. ຄໍາສັ່ງ “v4l2-ctl –list-devices” ສະແດງອຸປະກອນວິດີໂອ V4L2 ທັງໝົດ, ດັ່ງທີ່ສະແດງຢູ່ລຸ່ມນີ້:

ມີ 6 nodes ວິດີໂອແລະ 1 node ມີເດຍພາຍໃຕ້ tiscsi2rx. ແຕ່ລະໂຫນດວິດີໂອກົງກັນກັບບໍລິບົດ DMA ທີ່ຈັດສັນໂດຍໄດເວີ CSI2 RX. ອອກຈາກ 6 nodes ວິດີໂອ, 4 ຖືກນໍາໃຊ້ສໍາລັບ 4 IMX219 ກ້ອງຖ່າຍຮູບ, ດັ່ງທີ່ສະແດງຢູ່ໃນ topology ທໍ່ສື່ມວນຊົນຂ້າງລຸ່ມນີ້:

ດັ່ງທີ່ສະແດງຂ້າງເທິງ, ຫນ່ວຍງານສື່ມວນຊົນ 30102000.ticsi2rx ມີ 6 ແຜ່ນແຫຼ່ງ, ແຕ່ວ່າພຽງແຕ່ 4 ທໍາອິດທີ່ຖືກນໍາໃຊ້, ແຕ່ລະຄົນສໍາລັບຫນຶ່ງ IMX219. topology ທໍ່ສື່ມວນຊົນຍັງສາມາດສະແດງຮູບພາບໄດ້. ດໍາເນີນການຄໍາສັ່ງຕໍ່ໄປນີ້ເພື່ອສ້າງຈຸດ file:

ຫຼັງຈາກນັ້ນ, ດໍາເນີນການຄໍາສັ່ງຂ້າງລຸ່ມນີ້ຢູ່ໃນ Linux host PC ເພື່ອສ້າງ PNG file:

ຮູບທີ 4-2 ແມ່ນຮູບທີ່ສ້າງຂຶ້ນໂດຍໃຊ້ຄຳສັ່ງທີ່ກ່າວມາຂ້າງເທິງ. ອົງປະກອບໃນສະຖາປັດຕະຍະກໍາຊອບແວຂອງຮູບ 3-1 ສາມາດພົບໄດ້ໃນກາຟນີ້.

ການຖ່າຍທອດຈາກສີ່ກ້ອງຖ່າຍຮູບ
ດ້ວຍທັງຮາດແວ ແລະຊອຟແວຖືກຕັ້ງຄ່າຢ່າງຖືກຕ້ອງ, ແອັບພລິເຄຊັນທີ່ມີກ້ອງຖ່າຍຮູບຫຼາຍອັນສາມາດແລ່ນໄດ້ຈາກພື້ນທີ່ຜູ້ໃຊ້. ສໍາລັບ AM62A, ISP ຕ້ອງໄດ້ຮັບການປັບແຕ່ງເພື່ອໃຫ້ມີຄຸນນະພາບຮູບພາບທີ່ດີ. ອ້າງອີງເຖິງ AM6xA ISP Tuning Guide ສໍາລັບວິທີການປະຕິບັດການປັບ ISP. ພາກສ່ວນຕໍ່ໄປນີ້ນໍາສະເຫນີ examples of streaming camera data to a display, streaming camera data to a network, ແລະການເກັບຮັກສາຂໍ້ມູນກ້ອງຖ່າຍຮູບເພື່ອ files.

ການຖ່າຍທອດຂໍ້ມູນກ້ອງຖ່າຍຮູບເພື່ອສະແດງ
ຄໍາຮ້ອງສະຫມັກພື້ນຖານຂອງລະບົບຫຼາຍກ້ອງຖ່າຍຮູບນີ້ແມ່ນການຖ່າຍທອດວິດີໂອຈາກກ້ອງຖ່າຍຮູບທັງຫມົດໄປຫາຈໍສະແດງຜົນທີ່ເຊື່ອມຕໍ່ກັບ SoC ດຽວກັນ. ຕໍ່ໄປນີ້ແມ່ນທໍ່ GStreamer example ຂອງ streaming ສີ່ IMX219 ໄປຫາຈໍສະແດງຜົນ (ຕົວເລກວິດີໂອແລະຕົວເລກ v4l-subdev ໃນທໍ່ນັ້ນອາດຈະປ່ຽນຈາກ reboot ເປັນ reboot).

ຖ່າຍທອດຂໍ້ມູນກ້ອງຖ່າຍຮູບຜ່ານອີເທີເນັດ
ແທນທີ່ຈະຖ່າຍທອດໄປຫາຈໍສະແດງຜົນທີ່ເຊື່ອມຕໍ່ກັບ SoC ດຽວກັນ, ຂໍ້ມູນກ້ອງຖ່າຍຮູບຍັງສາມາດຖ່າຍທອດຜ່ານອີເທີເນັດໄດ້. ດ້ານການຮັບສາມາດເປັນໂປເຊດເຊີ AM62A/AM62P ອື່ນຫຼືເປັນໂຮດ PC. ຕໍ່ໄປນີ້ແມ່ນ example ການຖ່າຍທອດຂໍ້ມູນກ້ອງຖ່າຍຮູບຜ່ານອີເທີເນັດ (ໃຊ້ກ້ອງຖ່າຍຮູບສອງຕົວເພື່ອຄວາມລຽບງ່າຍ) (ໝາຍເຫດປລັກອິນເຂົ້າລະຫັດທີ່ໃຊ້ໃນທໍ່):

ຕໍ່ໄປນີ້ແມ່ນ exampLe ຂອງການໄດ້ຮັບຂໍ້ມູນຂອງກ້ອງຖ່າຍຮູບແລະການສະຕີມເປັນການສະແດງໃຫ້ເຫັນຢູ່ໃນໂຮງງານຜະລິດ AM62A/AM62P ອື່ນ:

ການເກັບຮັກສາຂໍ້ມູນກ້ອງຖ່າຍຮູບກັບ Files
ແທນທີ່ຈະຖ່າຍທອດໄປຫາຈໍສະແດງຜົນ ຫຼືຜ່ານເຄືອຂ່າຍ, ຂໍ້ມູນກ້ອງຖ່າຍຮູບສາມາດເກັບໄວ້ໃນເຄື່ອງໄດ້ files. ທໍ່ລຸ່ມນີ້ເກັບຂໍ້ມູນຂອງກ້ອງແຕ່ລະອັນເປັນ a file (ການນໍາໃຊ້ສອງກ້ອງຖ່າຍຮູບເປັນ example ສໍາລັບຄວາມງ່າຍດາຍ).

Multicamera Deep Learning Inference

AM62A ແມ່ນມີອຸປະກອນເລັ່ງການຮຽນຮູ້ເລິກ (C7x-MMA) ທີ່ມີເຖິງສອງ TOPS, ເຊິ່ງມີຄວາມສາມາດໃນການແລ່ນຮູບແບບການຮຽນຮູ້ເລິກຫຼາຍປະເພດສໍາລັບການຈັດປະເພດ, ການກວດຫາວັດຖຸ, ການແບ່ງສ່ວນ semantic, ແລະອື່ນໆ. ພາກນີ້ສະແດງໃຫ້ເຫັນວິທີການ AM62A ສາມາດແລ່ນສີ່ແບບການຮຽນຮູ້ເລິກພ້ອມກັນໃນສີ່ຟີດກ້ອງຖ່າຍຮູບທີ່ແຕກຕ່າງກັນ.

ການເລືອກຕົວແບບ
EdgeAI-ModelZoo ຂອງ TI ສະຫນອງຕົວແບບທີ່ທັນສະໄຫມຫຼາຍຮ້ອຍແບບ, ເຊິ່ງຖືກປ່ຽນ / ສົ່ງອອກຈາກກອບການຝຶກອົບຮົມຕົ້ນສະບັບຂອງພວກເຂົາໄປສູ່ຮູບແບບທີ່ເປັນມິດກັບຝັງສົບເພື່ອໃຫ້ພວກເຂົາສາມາດຖືກສົ່ງກັບ C7x-MMA ເລັ່ງການຮຽນຮູ້ເລິກ. Edge AI Studio Model Analyzer ທີ່ອີງໃສ່ເມຄໃຫ້ເຄື່ອງມື “ການເລືອກຕົວແບບ” ທີ່ງ່າຍຕໍ່ການໃຊ້. ມັນໄດ້ຖືກປັບປຸງແບບເຄື່ອນໄຫວເພື່ອປະກອບມີທຸກແບບທີ່ສະຫນັບສະຫນູນໃນ TI EdgeAI-ModelZoo. ເຄື່ອງມືດັ່ງກ່າວບໍ່ຕ້ອງການປະສົບການທີ່ຜ່ານມາແລະສະຫນອງການໂຕ້ຕອບທີ່ງ່າຍຕໍ່ການໃຊ້ເພື່ອເຂົ້າໄປໃນລັກສະນະທີ່ຕ້ອງການໃນຮູບແບບທີ່ຕ້ອງການ.

TFL-OD-2000-ssd-mobV1-coco-mlperf ຖືກເລືອກສໍາລັບການທົດລອງການຮຽນຮູ້ເລິກຫຼາຍກ້ອງຖ່າຍຮູບນີ້. ຮູບແບບການກວດສອບຫຼາຍວັດຖຸນີ້ແມ່ນໄດ້ຮັບການພັດທະນາໃນກອບ TensorFlow ທີ່ມີຄວາມລະອຽດການປ້ອນຂໍ້ມູນ 300×300. ຕາຕະລາງ 4-1 ສະແດງໃຫ້ເຫັນລັກສະນະທີ່ສໍາຄັນຂອງຮູບແບບນີ້ເມື່ອໄດ້ຮັບການຝຶກອົບຮົມກ່ຽວກັບຊຸດຂໍ້ມູນ cCOCO ທີ່ມີປະມານ 80 ຫ້ອງຮຽນທີ່ແຕກຕ່າງກັນ.

ຕາຕະລາງ 4-1. ຈຸດເດັ່ນຄຸນສົມບັດຂອງຕົວແບບ TFL-OD-2000-ssd-mobV1-coco-mlperf.

ຕົວແບບ	ວຽກງານ	ຄວາມລະອຽດ	FPS	mAP 50% ຄວາມຖືກຕ້ອງຂອງ COCO	Latency/Frame (ms)	DDR BW ການນຳໃຊ້ (MB/ເຟຣມ)
TFL-OD-2000-ssd- mobV1-coco-mlperf	ການກວດຫາວັດຖຸຫຼາຍອັນ	300×300	~152	15.9	6.5	18.839

ການຕິດຕັ້ງທໍ່
ຮູບທີ 4-3 ສະແດງໃຫ້ເຫັນເຖິງ 4-camera deep learning pipeline GStreamer. TI ສະຫນອງຊຸດຂອງ GStreamer plugins ທີ່ອະນຸຍາດໃຫ້ເອົາການປຸງແຕ່ງສື່ບາງສ່ວນ ແລະການປະເມີນການຮຽນຮູ້ຢ່າງເລິກເຊິ່ງຕໍ່ກັບເຄື່ອງເລັ່ງຮາດແວ. ບາງຄົນ examples ຂອງເຫຼົ່ານີ້ plugins ປະກອບມີ tiovxisp, tiovxmultiscaler, tiovxmosaic, ແລະ tidlinferer. ທໍ່ໃນຮູບ 4-3 ປະກອບມີທັງຫມົດທີ່ຕ້ອງການ plugins ສໍາລັບທໍ່ multipath GStreamer ສໍາລັບການປ້ອນຂໍ້ມູນ 4 ກ້ອງຖ່າຍຮູບ, ແຕ່ລະຄົນມີ preprocess ມີເດຍ, inference ການຮຽນຮູ້ເລິກ, ແລະ postprocess. ຊໍ້າກັນ plugins ສໍາລັບແຕ່ລະເສັ້ນທາງຂອງກ້ອງຖ່າຍຮູບແມ່ນ stacked ໃນກາຟສໍາລັບການສາທິດງ່າຍຂຶ້ນ.
ຊັບພະຍາກອນຮາດແວທີ່ມີຢູ່ແມ່ນແຈກຢາຍຢ່າງເທົ່າທຽມກັນລະຫວ່າງສີ່ເສັ້ນທາງຂອງກ້ອງຖ່າຍຮູບ. ຕົວຢ່າງ, AM62A ມີສອງຕົວຂະຫຍາຍຫຼາຍຮູບ: MSC0 ແລະ MSC1. ທໍ່ດັ່ງກ່າວໄດ້ອຸທິດໃຫ້ MSC0 ຢ່າງຈະແຈ້ງເພື່ອປະມວນຜົນກ້ອງຖ່າຍຮູບ 1 ແລະກ້ອງຖ່າຍຮູບ 2 ເສັ້ນທາງ, ໃນຂະນະທີ່ MSC1 ແມ່ນອຸທິດໃຫ້ກັບກ້ອງຖ່າຍຮູບ 3 ແລະກ້ອງຖ່າຍຮູບ 4.

ຜົນຜະລິດຂອງສີ່ທໍ່ກ້ອງຖ່າຍຮູບໄດ້ຖືກປັບຂະຫນາດລົງແລະປະສົມປະສານຮ່ວມກັນໂດຍໃຊ້ plugin tiovxmosaic. ຜົນໄດ້ຮັບແມ່ນສະແດງຢູ່ໃນຫນ້າຈໍດຽວ. ຮູບທີ 4-4 ສະແດງໃຫ້ເຫັນຜົນໄດ້ຮັບຂອງສີ່ກ້ອງຖ່າຍຮູບທີ່ມີຮູບແບບການຮຽນຮູ້ເລິກແລ່ນການຊອກຄົ້ນຫາວັດຖຸ. ແຕ່ລະທໍ່ (ກ້ອງຖ່າຍຮູບ) ແລ່ນຢູ່ທີ່ 30 FPS ແລະຈໍານວນທັງຫມົດ 120 FPS.

ຕໍ່ໄປແມ່ນສະຄຣິບທໍ່ເຕັມສຳລັບກໍລະນີການນຳໃຊ້ multicamera deep learning ທີ່ສະແດງໃນຮູບ 4-3.

ການວິເຄາະປະສິດທິພາບ

ການຕິດຕັ້ງກັບສີ່ກ້ອງຖ່າຍຮູບໂດຍໃຊ້ກະດານ V3Link ແລະ AM62A SK ໄດ້ຖືກທົດສອບໃນສະຖານະການຄໍາຮ້ອງສະຫມັກຕ່າງໆ, ລວມທັງການສະແດງໂດຍກົງໃນຫນ້າຈໍ, ຖ່າຍທອດຜ່ານອີເທີເນັດ (ສີ່ຊ່ອງ UDP), ການບັນທຶກເປັນ 4 ແຍກ. files, ແລະມີ inference ການຮຽນຮູ້ເລິກ. ໃນແຕ່ລະການທົດລອງ, ພວກເຮົາໄດ້ຕິດຕາມອັດຕາເຟຣມ ແລະການໃຊ້ CPU cores ເພື່ອຄົ້ນຫາຄວາມສາມາດຂອງລະບົບທັງໝົດ.

ດັ່ງທີ່ສະແດງກ່ອນຫນ້ານີ້ໃນຮູບ 4-4, ທໍ່ການຮຽນຮູ້ເລິກໃຊ້ plugin tiperfoverlay GStreamer ເພື່ອສະແດງການໂຫຼດຂອງ CPU core ເປັນເສັ້ນສະແດງແຖບຢູ່ດ້ານລຸ່ມຂອງຫນ້າຈໍ. ໂດຍຄ່າເລີ່ມຕົ້ນ, ກຣາຟຈະຖືກປັບປຸງທຸກໆສອງວິນາທີເພື່ອສະແດງການໂຫຼດເປັນ percen ການນໍາໃຊ້tage. ນອກເຫນືອໄປຈາກ plugin tiperfoverlay GStreamer, ເຄື່ອງມື perf_stats ເປັນທາງເລືອກທີສອງເພື່ອສະແດງການປະຕິບັດຫຼັກໂດຍກົງໃນເຄື່ອງໃຊ້ໄຟຟ້າທີ່ມີທາງເລືອກສໍາລັບການປະຫຍັດເປັນ. file. ເຄື່ອງມືນີ້ແມ່ນຖືກຕ້ອງກວ່າເມື່ອທຽບກັບ tTiperfoverlayas, ຕໍ່ມາເພີ່ມການໂຫຼດພິເສດໃນແກນ theARMm ແລະ DDR ເພື່ອແຕ້ມເສັ້ນສະແດງແລະວາງເທິງຫນ້າຈໍ. ເຄື່ອງມື perf_stats ສ່ວນໃຫຍ່ແມ່ນໃຊ້ເພື່ອເກັບກໍາຜົນການນໍາໃຊ້ຮາດແວໃນທຸກກໍລະນີທົດສອບທີ່ສະແດງຢູ່ໃນເອກະສານນີ້. ບາງແກນປະມວນຜົນທີ່ສໍາຄັນແລະເຄື່ອງເລັ່ງຄວາມໄວທີ່ໄດ້ສຶກສາໃນການທົດສອບເຫຼົ່ານີ້ປະກອບມີໂປເຊດເຊີຕົ້ນຕໍ (ສີ່ A53 Arm cores @ 1.25GHz), ເຄື່ອງເລັ່ງການຮຽນຮູ້ເລິກ (C7x-MMA @ 850MHz), VPAC (ISP) ກັບ VISS ແລະ multiscalers (MSC0 ແລະ MSC1), ແລະການດໍາເນີນງານ DDR.

ຕາຕະລາງ 5-1 ສະແດງປະສິດທິພາບ ແລະການນຳໃຊ້ຊັບພະຍາກອນເມື່ອນຳໃຊ້ AM62A ທີ່ມີກ້ອງສີ່ຕົວສຳລັບກໍລະນີນຳໃຊ້ສາມໜ່ວຍ, ລວມທັງການຖ່າຍທອດກ້ອງສີ່ໜ່ວຍໃສ່ຈໍສະແດງຜົນ, ຖ່າຍທອດຜ່ານອີເທີເນັດ, ແລະການບັນທຶກເປັນສີ່ແຍກ. files. ການທົດສອບສອງຄັ້ງແມ່ນໄດ້ຮັບການປະຕິບັດໃນແຕ່ລະກໍລະນີການນໍາໃຊ້: ມີກ້ອງຖ່າຍຮູບເທົ່ານັ້ນແລະມີການຮຽນຮູ້ເລິກ inference . ນອກຈາກນັ້ນ, ແຖວທໍາອິດໃນຕາຕະລາງ 5-1 ສະແດງໃຫ້ເຫັນການນໍາໃຊ້ຮາດແວໃນເວລາທີ່ພຽງແຕ່ລະບົບປະຕິບັດການເຮັດວຽກຢູ່ໃນ AM62A ໂດຍບໍ່ມີການນໍາໃຊ້ຜູ້ໃຊ້ໃດໆ. ອັນນີ້ຖືກໃຊ້ເປັນພື້ນຖານເພື່ອປຽບທຽບກັບເມື່ອປະເມີນການນຳໃຊ້ຮາດແວຂອງກໍລະນີທົດສອບອື່ນໆ. ດັ່ງທີ່ສະແດງຢູ່ໃນຕາຕະລາງ, ສີ່ກ້ອງຖ່າຍຮູບທີ່ມີການຮຽນຮູ້ເລິກເຊິ່ງແລະຫນ້າຈໍສະແດງຜົນທີ່ 30 FPS ແຕ່ລະຄົນ, ມີຈໍານວນທັງຫມົດ 120 FPS ສໍາລັບສີ່ກ້ອງຖ່າຍຮູບ. ອັດຕາເຟຣມສູງນີ້ແມ່ນບັນລຸໄດ້ໂດຍມີພຽງ 86% ຂອງຕົວເລັ່ງການຮຽນຮູ້ເລິກ (C7x-MMA) ເຕັມຄວາມສາມາດ. ນອກຈາກນັ້ນ, ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະສັງເກດວ່າເຄື່ອງເລັ່ງການຮຽນຮູ້ເລິກໄດ້ຖືກ clocked ຢູ່ 850MHz ແທນທີ່ຈະເປັນ 1000MHz ໃນການທົດລອງເຫຼົ່ານີ້, ເຊິ່ງມີພຽງແຕ່ປະມານ 85% ຂອງປະສິດທິພາບສູງສຸດຂອງມັນ.

ຕາຕະລາງ 5-1. ປະສິດທິພາບ (FPS) ແລະການນໍາໃຊ້ຊັບພະຍາກອນຂອງ AM62A ເມື່ອນໍາໃຊ້ກັບ 4 ກ້ອງຖ່າຍຮູບ IMX219 ສໍາລັບການສະແດງຫນ້າຈໍ, Ethernet Stream, ບັນທຶກເປັນ Files, ແລະການປະຕິບັດການ Inferencing ການຮຽນຮູ້ເລິກ

ຄໍາຮ້ອງສະຫມັກ n	ທໍ່ (ການປະຕິບັດ )	ຜົນຜະລິດ	FPS avg pipeline s	FPS ທັງໝົດ	MPUs A53s @ 1.25 GHz [%]	MCU R5 [%]	DLA (C7x- MMA) @ 850 MHz [%]	VISS [%]	MSC0 [%]	MSC1 [%]	DDR Rd [MB/s]	DDR Wr [MB/s]	DDR ທັງໝົດ [MB/s]
ບໍ່ມີແອັບ	ພື້ນຖານບໍ່ມີການດໍາເນີນການ	NA	NA	NA	1.87	1	0	0	0	0	560	19	579
ກ້ອງຖ່າຍຮູບ ເທົ່ານັ້ນ	ກະແສ ຫນ້າຈໍ	ໜ້າຈໍ	30	120	12	12	0	70	61	60	1015	757	1782
	ຖ່າຍທອດຜ່ານອີເທີເນັດ	PDU: 4 ພອດ 1920×1080	30	120	23	6	0	70	0	0	2071	1390	3461
	ບັນທຶກ ກັບ files	4 files 1920×1080	30	120	25	3	0	70	0	0	2100	1403	3503
ກ້ອງ ກັບການຮຽນຮູ້ເລິກ	ການຮຽນຮູ້ເລິກເຊິ່ງ: ກວດຫາວັດຖຸ MobV1- coco	ໜ້າຈໍ	30	120	38	25	86	71	85	82	2926	1676	4602
	ການຮຽນຮູ້ເລິກເຊິ່ງ: ການກວດຫາວັດຖຸ MobV1- coco ແລະຖ່າຍທອດຜ່ານອີເທີເນັດ	PDU: 4 ພອດ 1920×1080	28	112	84	20	99	66	65	72	4157	2563	6720
	ການຮຽນຮູ້ເລິກ: ການຊອກຫາວັດຖຸ MobV1- coco ແລະບັນທຶກການ files	4 files 1920×1080	28	112	87	22	98	75	82	61	2024	2458	6482

ສະຫຼຸບ
ບົດລາຍງານຄໍາຮ້ອງສະຫມັກນີ້ອະທິບາຍວິທີການປະຕິບັດຄໍາຮ້ອງສະຫມັກຫຼາຍກ້ອງຖ່າຍຮູບຢູ່ໃນອຸປະກອນຄອບຄົວ AM6x. ການອອກແບບການອ້າງອິງໂດຍອີງໃສ່ຊຸດການແກ້ໄຂກ້ອງຖ່າຍຮູບ V3Link ຂອງ Arducam ແລະ AM62A SK EVM ໄດ້ຖືກສະຫນອງໃຫ້ຢູ່ໃນບົດລາຍງານ, ມີຄໍາຮ້ອງສະຫມັກກ້ອງຖ່າຍຮູບຈໍານວນຫນຶ່ງທີ່ໃຊ້ສີ່ກ້ອງຖ່າຍຮູບ IMX219 ເຊັ່ນການຖ່າຍທອດແລະການຊອກຄົ້ນຫາວັດຖຸ. ຜູ້ໃຊ້ໄດ້ຮັບການຊຸກຍູ້ໃຫ້ໄດ້ຮັບ V3Link Camera Solution Kit ຈາກ Arducam ແລະ replicate ex ເຫຼົ່ານີ້amples. ບົດລາຍງານຍັງໃຫ້ການວິເຄາະລາຍລະອຽດຂອງການປະຕິບັດຂອງ AM62A ໃນຂະນະທີ່ໃຊ້ກ້ອງຖ່າຍຮູບສີ່ຕົວພາຍໃຕ້ການຕັ້ງຄ່າຕ່າງໆ, ລວມທັງການສະແດງກັບຫນ້າຈໍ, ຖ່າຍທອດຜ່ານອີເທີເນັດ, ແລະການບັນທຶກໄປຫາ. files. ມັນຍັງສະແດງໃຫ້ເຫັນຄວາມສາມາດຂອງ AM62A'sA ໃນການປະຕິບັດການ inference ການຮຽນຮູ້ເລິກຢູ່ໃນສີ່ສາຍນ້ໍາກ້ອງຖ່າຍຮູບແຍກຕ່າງຫາກໃນຂະຫນານ. ຖ້າມີຄໍາຖາມໃດໆກ່ຽວກັບການດໍາເນີນການເຫຼົ່ານີ້ examples, ສົ່ງການສອບຖາມທີ່ເວທີສົນທະນາ TI E2E.

ເອກະສານອ້າງອີງ

AM62A Starter Kit EVM ຄູ່ມືເລີ່ມຕົ້ນດ່ວນ

ArduCam V3Link Camera Solution ຄູ່ມືເລີ່ມຕົ້ນດ່ວນ
ເອກະສານ Edge AI SDK ສໍາລັບ AM62A
ກ້ອງອັດສະລິຍະ Edge AI ໃຊ້ໂປເຊດເຊີ AM62A ທີ່ມີປະສິດທິພາບດ້ານພະລັງງານ

ລະບົບກະຈົກກ້ອງໃນ AM62A
ໄດເວີ ແລະລະບົບຕິດຕາມການຄອບຄອງຢູ່ AM62A
ຄໍາຮ້ອງສະຫມັກກ້ອງຖ່າຍຮູບ Quad Channel ສໍາລັບ Surround View ແລະລະບົບກ້ອງ CMS

AM62Ax Linux Academy ໃນການເປີດໃຊ້ເຊັນເຊີ CIS-2
Edge AI ModelZoo
Edge AI Studio

ເຄື່ອງມື Perf_stats

ຊິ້ນສ່ວນ TI ທີ່ອ້າງອີງໃນໃບຄໍາຮ້ອງນີ້ຫມາຍເຫດ:

https://www.ti.com/product/AM62A7

ແຈ້ງການສຳຄັນ ແລະ ການປະຕິເສດຄວາມຮັບຜິດຊອບ

TI ສະໜອງຂໍ້ມູນທາງດ້ານເຕັກນິກ ແລະຄວາມໜ້າເຊື່ອຖື (ລວມທັງແຜ່ນຂໍ້ມູນ), ການອອກແບບຊັບພະຍາກອນ (ລວມທັງການອອກແບບອ້າງອີງ), ຄໍາຮ້ອງສະຫມັກ ຫຼືຄໍາແນະນໍາດ້ານການອອກແບບອື່ນໆ, WEB ເຄື່ອງມື, ຂໍ້ມູນຄວາມປອດໄພ, ແລະຊັບພະຍາກອນອື່ນໆ “ຕາມທີ່ເປັນຢູ່” ແລະມີຄວາມຜິດທັງໝົດ, ແລະປະຕິເສດການຮັບປະກັນທັງໝົດ, ສະແດງອອກ ແລະໂດຍຫຍໍ້, ລວມທັງໂດຍບໍ່ຈໍາກັດການຮັບປະກັນ, ການບໍລິການດ້ານການບໍລິການ. ການລະເມີດສິດທິຊັບສິນທາງປັນຍາຂອງພາກສ່ວນທີສາມ .

ຊັບພະຍາກອນເຫຼົ່ານີ້ແມ່ນມີຈຸດປະສົງສໍາລັບນັກພັດທະນາທີ່ມີຄວາມຊໍານິຊໍານານໃນການອອກແບບກັບຜະລິດຕະພັນ TI. ທ່ານຮັບຜິດຊອບພຽງແຕ່ສໍາລັບ

ການເລືອກຜະລິດຕະພັນ TI ທີ່ເຫມາະສົມສໍາລັບຄໍາຮ້ອງສະຫມັກຂອງທ່ານ,

ການອອກແບບ, ການກວດສອບ, ແລະການທົດສອບຄໍາຮ້ອງສະຫມັກຂອງທ່ານ, ແລະ
ຮັບປະກັນວ່າຄໍາຮ້ອງສະຫມັກຂອງທ່ານບັນລຸໄດ້ມາດຕະຖານທີ່ກ່ຽວຂ້ອງ, ແລະຄວາມປອດໄພ, ຄວາມປອດໄພ, ລະບຽບການ, ຫຼືຂໍ້ກໍານົດອື່ນໆ.

ຊັບພະຍາກອນເຫຼົ່ານີ້ແມ່ນມີການປ່ຽນແປງໂດຍບໍ່ມີການແຈ້ງການ. TI ອະນຸຍາດໃຫ້ທ່ານໃຊ້ຊັບພະຍາກອນເຫຼົ່ານີ້ພຽງແຕ່ສໍາລັບການພັດທະນາແອັບພລິເຄຊັນທີ່ໃຊ້ຜະລິດຕະພັນ TI ທີ່ອະທິບາຍໄວ້ໃນຊັບພະຍາກອນ. ການແຜ່ພັນແລະການສະແດງຊັບພະຍາກອນເຫຼົ່ານີ້ຖືກຫ້າມ. ບໍ່ມີໃບອະນຸຍາດໃຫ້ສິດຊັບສິນທາງປັນຍາຂອງ TI ຫຼືສິດຊັບສິນທາງປັນຍາພາກສ່ວນທີສາມໃດໆ. TI ປະຕິເສດຄວາມຮັບຜິດຊອບຕໍ່, ແລະທ່ານຈະໃຫ້ຄ່າເສຍຫາຍຢ່າງເຕັມສ່ວນກັບ TI ແລະຜູ້ຕາງຫນ້າຂອງຕົນຕໍ່ກັບການຮຽກຮ້ອງ, ຄວາມເສຍຫາຍ, ຄ່າໃຊ້ຈ່າຍ, ການສູນເສຍແລະຄວາມຮັບຜິດຊອບທີ່ເກີດຂື້ນຈາກການນໍາໃຊ້ຊັບພະຍາກອນເຫຼົ່ານີ້ຂອງທ່ານ.

ຜະລິດຕະພັນຂອງ TI ໄດ້ຖືກສະໜອງໃຫ້ຂຶ້ນກັບເງື່ອນໄຂການຂາຍຂອງ TI ຫຼືເງື່ອນໄຂອື່ນໆທີ່ສາມາດໃຊ້ໄດ້ ti.com ຫຼືສະຫນອງໃຫ້ໂດຍສົມທົບກັບຜະລິດຕະພັນ TI ດັ່ງກ່າວ. ການສະໜອງຊັບພະຍາກອນເຫຼົ່ານີ້ຂອງ TI ບໍ່ໄດ້ຂະຫຍາຍ ຫຼື ປ່ຽນແປງການຮັບປະກັນທີ່ກ່ຽວຂ້ອງ ຫຼື ການປະຕິເສດການຮັບປະກັນຂອງ TI ສໍາລັບຜະລິດຕະພັນ TI.

TI ຄັດຄ້ານແລະປະຕິເສດຂໍ້ກໍານົດເພີ່ມເຕີມຫຼືທີ່ແຕກຕ່າງກັນທີ່ທ່ານອາດຈະໄດ້ສະເຫນີ.

ແຈ້ງການສໍາຄັນ

ທີ່ຢູ່ທາງໄປສະນີ: Texas Instruments, Post Office Box 655303, Dallas, Texas 75265

ຄໍາຖາມທີ່ຖາມເລື້ອຍໆ

ຖາມ: ຂ້ອຍສາມາດໃຊ້ກ້ອງປະເພດໃດກັບອຸປະກອນຄອບຄົວ AM6x ໄດ້ບໍ?

ຄອບຄົວ AM6x ຮອງຮັບກ້ອງຖ່າຍຮູບປະເພດຕ່າງໆ, ລວມທັງຕົວທີ່ມີ ຫຼືບໍ່ມີ ISP ໃນຕົວ. ອ້າງອີງເຖິງຂໍ້ມູນສະເພາະສໍາລັບລາຍລະອຽດເພີ່ມເຕີມກ່ຽວກັບປະເພດກ້ອງຖ່າຍຮູບທີ່ຮອງຮັບ.

: ຄວາມແຕກຕ່າງຕົ້ນຕໍລະຫວ່າງ AM62A ແລະ AM62P ໃນການປະມວນຜົນຮູບພາບແມ່ນຫຍັງ?

ການປ່ຽນແປງທີ່ສໍາຄັນປະກອບມີປະເພດກ້ອງຖ່າຍຮູບທີ່ສະຫນັບສະຫນູນ, ຂໍ້ມູນຜົນຜະລິດຂອງກ້ອງຖ່າຍຮູບ, ມີ ISP HWA, Deep Learning HWA, ແລະ 3-D Graphics HWA. ອ້າງອີງໃສ່ພາກສ່ວນສະເພາະສຳລັບການປຽບທຽບລະອຽດ.

ເອກະສານ / ຊັບພະຍາກອນ

Texas Instruments AM6x ພັດທະນາກ້ອງຖ່າຍຮູບຫຼາຍອັນ [pdf] ຄູ່ມືຜູ້ໃຊ້
AM62A, AM62P, AM6x ພັດທະນາຫຼາຍກ້ອງຖ່າຍຮູບ, AM6x, ການພັດທະນາຫຼາຍກ້ອງຖ່າຍຮູບ, ຫຼາຍກ້ອງຖ່າຍຮູບ, ກ້ອງຖ່າຍຮູບ

ເອກະສານອ້າງອີງ

ຄູ່ມືຜູ້ໃຊ້

Texas Instruments AM6x ພັດທະນາກ້ອງຖ່າຍຮູບຫຼາຍອັນ

ຂໍ້ມູນຈໍາເພາະ