Notendahandbók Qualcomm TensorFlow Lite SDK hugbúnaðar
Endurskoðunarsaga
| Endurskoðun | Dagsetning | Lýsing |
| AA | september 2023 | Upphafleg útgáfa |
| AB | október 2023 |
|
Kynning á Qualcomm TFLite SDK verkfærum
Qualcomm TensorFlow Lite hugbúnaðarþróunarsettið (Qualcomm TFLite SDK) verkfærin veita TensorFlow Lite ramma fyrir gervigreind (AI) ályktanir í tæki, sem auðveldar forritara að þróa eða keyra hentug gervigreind forrit.
Þetta skjal veitir skref-fyrir-skref leiðbeiningar til að setja saman sjálfstæða Qualcomm TFLite SDK og setja upp þróunarumhverfið. Þetta gerir verkflæði þróunaraðila kleift, sem inniheldur:
- setja upp byggingarumhverfið þar sem verktaki getur sett saman Qualcomm TFLite SDK
- þróa sjálfstæð Qualcomm TFLite SDK forrit
Fyrir stuðning, sjá https://www.qualcomm.com/stuðningur. Eftirfarandi mynd gefur yfirlit yfir Qualcomm TFLite SDK vinnuflæðið: ”
Mynd 1-1 Qualcomm TFLite SDK vinnuflæði
Tólið krefst vettvangs SDK og stillingar file (JSON snið) til að búa til Qualcomm TFLite SDK artifacts.
Til að byggja upp enda-til-enda forrit sem notar margmiðlunar-, gervigreind og tölvusjón (CV) undirkerfi, sjá Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide (80-50450-51).
Taflan sýnir kortlagningu Qualcomm TFLite SDK útgáfu með CodeLinaro útgáfu tag:
Tafla 1-1 Upplýsingar um útgáfu
| Qualcomm TFLite SDK útgáfa | CodeLinaro útgáfu tag |
| V1.0 | Qualcomm TFLITE.SDK.1.0.r1-00200-TFLITE.0 |
Tafla 1-2 Stuðar Qualcomm TFLite SDK útgáfur
| Qualcomm TFLite SDK útgáfa | Stuðningur hugbúnaðarvara | Styður TFLite útgáfa |
| V1.0 | QCS8550.LE.1.0 |
|
|
||
|
||
|
||
|
||
|
Heimildir
Tafla 1-3 Tengd skjöl
| Titill | Númer |
| Qualcomm | |
| 00067.1 útgáfuathugasemd fyrir QCS8550.LE.1.0 | RNO-230830225415 |
| Qualcomm Intelligent Multimedia SDK (QIM SDK) Flýtileiðarvísir | 80-50450-51 |
| Qualcomm Intelligent Multimedia SDK (QIM SDK) Tilvísun | 80-50450-50 |
| Auðlindir | |
| https://source.android.com/docs/setup/start/initializing | – |
Tafla 1-4 Skammstöfun og skilgreiningar
| Skammstöfun eða hugtak | Skilgreining |
| AI | Gervigreind |
| BIOS | Grunninntak/úttakskerfi |
| CV | Tölvusjón |
| IPK | Itsy pakki file |
| QIM SDK | Qualcomm Intelligent margmiðlunarhugbúnaðarþróunarsett |
| SDK | Hugbúnaðarþróunarbúnaður |
| TFLite | TensorFlow Lite |
| XNN | Xth næsta nágranni |
Settu upp byggingarumhverfi fyrir Qualcomm TFLite SDK verkfæri
Qualcomm TFLite SDK verkfærin eru gefin út á upprunaformi; því að koma upp byggingarumhverfinu til að setja það saman er skylda en einu sinni uppsetning.
Forkröfur
- Gakktu úr skugga um að þú hafir sudoaðgang að Linux hýsingarvélinni.
- Gakktu úr skugga um að Linux hýsingarútgáfan sé Ubuntu 18.04 eða Ubuntu 20.04.
- Auka hámarksáhorf notenda og hámarks notendatilvik á hýsingarkerfinu.
- Bættu eftirfarandi skipanalínum við/etc/sysctl.confand endurræstu hýsilinn: fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=542288
Settu upp nauðsynlega hýsilpakka
Hýsilpakkarnir eru settir upp á Linux hýsingarvélinni.
Keyrðu skipanirnar til að setja upp hýsilpakkana: $ sudo apt install -y jq $ sudo apt install -y texinfo chrpath libxml-simple-perl openjdk-8-jdkheadless
Fyrir Ubuntu 18.04 og nýrri:
$ sudo apt-get install git-core gnupg flex bison build-essential zip curl zlib1g-dev gcc-multilib g++-multilib libc6-dev-i386 libncurses5 lib32ncurses5- dev x11proto-core-dev libx11-dev lib32z1-dev libgl1-mesa-dev libxml2-utils unzip fontconfig xsltproc
Fyrir frekari upplýsingar, sjá https://source.android.com/docs/setup/start/initializing.
Settu upp bryggjuumhverfi
Docker er vettvangur sem notaður er til að smíða, þróa, prófa og afhenda hugbúnað. Til að setja saman SDK verður tengikví að vera stillt á Linux hýsingarvélinni.
Gakktu úr skugga um að CPU virtualization sé virkt á Linux hýsingarvélinni. Ef það er ekki virkt skaltu gera eftirfarandi til að virkja það úr grunnstillingum inntaks/úttakskerfisins (BIOS):
- Virkjaðu sýndarvæðingu úr BIOS:
a. Ýttu á F1 eða F2 þegar kerfið er að ræsa sig til að fara inn í BIOS. BIOS glugginn birtist.
b. Skiptu yfir í Advanced flipann.
c. Í CPU Configuration hlutanum skaltu stilla Virtualization Technology á Virkt.
a. Ýttu á F12 til að vista og hætta og endurræstu síðan kerfið.
Ef þessi skref virka ekki skaltu fylgja sérstökum leiðbeiningum frá kerfisveitunni til að virkja sýndarvæðingu - Fjarlægðu öll gömul tilvik af tengikví:
$ sudo apt fjarlægja docker-desktop
$ rm -r $HOME/.docker/desktop
$ sudo rm /usr/local/bin/com.docker.cli
$ sudo apt purge docker-skrifborð - Settu upp Docker fjargeymsluna:
$ sudo apt-get update $ sudo apt-get install ca-vottorð curl gnupg lsb-útgáfa $ sudo mkdir -p /etc/apt/keyrings $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg — dearmor -o /etc/apt/keyrings/docker.gpg $ echo “deb [arch=$(dpkg –print-architecture) signed-by=/etc/apt/ keyrings/ docker.gpg] https:// download.docker.com/linux/ubuntu $ (lsb_release -cs) stöðugt“ | sudo tee /etc/apt/sources.list.d/ docker.list > /dev/null - Settu upp docker vél:
$ sudo apt-get update $ sudo apt-get install docker-ce docker-ce-cli - Bæta notanda við tengiliðahóp:
$ sudo groupadd docker $ sudo usermod -aG docker $USER - Endurræstu kerfið.
Búðu til SDK fyrir vettvang
SDK pallur er skyldubundin krafa til að setja saman Qualcomm TFLite SDK verkfærin. Það veitir allar nauðsynlegar vettvangsháðir sem Qualcomm TFLite SDK krefst.
Gerðu eftirfarandi til að búa til vettvangs SDK:
- Búðu til smíði fyrir valinn hugbúnaðarvöru.
Leiðbeiningar um að smíða QCS8550.LE.1.0 útgáfuna eru í útgáfuskýringunum. Til að fá aðgang að útgáfuskýrslum, sjá tilvísanir.
Ef myndirnar voru áður byggðar skaltu framkvæma skref 2 og búa til hreina byggingu. - Keyrðu eftirfarandi skipun til að byggja upp notendarýmismyndirnar og SDK vettvangsins:
Fyrir QCS8550.LE.1.0 skaltu bæta við vélaeiginleikanum qti-tflite-delegate í MACHINE_FEATURES í kalama.conf file og fáðu byggingarumhverfið samkvæmt leiðbeiningum frá útgáfuskýringunum.
Eftir að hafa búið til notendarýmismyndir úr smíði skaltu keyra eftirfarandi skipun til að búa til SDK vettvangsins.
$ bitbake -fc populate_sdk qti-robotics-image
Byggðu Qualcomm TFLite SDK verkfæri – verkflæði þróunaraðila
Verkflæði Qualcomm TFLite SDK verkfæra krefst þess að verktaki veiti uppsetninguna file með gildum inntaksfærslum. Hjálparskeljaforskriftirnar úr tflite-tools verkefninu (til staðar í Qualcomm TFLite SDK upprunatrénu) bjóða upp á hjálpargagnaaðgerðir til að setja upp skel umhverfið, sem hægt er að nota fyrir Qualcomm TFLite SDK verkflæðið.
Framkvæmdaraðilinn smíðar Qualcomm TFLite SDK verkefnin innan ílátsins og býr til gripina með því að nota tólin sem tflite-tools bjóða upp á.
Eftir að Qualcomm TFLite SDK gámur hefur verið smíðaður getur verktaki fest við gáminn og notað hjálpartólin í gámaskeljarumhverfinu til stöðugrar þróunar.
- Það er ákvæði um að setja upp Qualcomm TFLite SDK artifacts á Qualcomm tæki sem er tengt við Linux hýsilinn í gegnum USB/adb.
- Það er líka ákvæði um að afrita Qualcomm TFLite SDK gripina úr ílátinu yfir á aðra hýsingarvél þar sem Qualcomm tækið er tengt.
Eftirfarandi mynd sýnir sett af tólum sem eru tiltækar eftir að gámasmíðaumhverfið hefur verið sett upp með því að nota hjálparforskriftirnar til að byggja upp Qualcomm TFLite SDK.
Myndin sýnir röð framkvæmda tólanna:
Mynd 4-3 Röð veitna á hýsil
Samstilltu og byggðu Qualcomm TFLite SDK
Qualcomm TFLite SDK er sett saman þegar docker myndin er búin til. Til að samstilla og byggja upp Qualcomm TFLite SDK skaltu gera eftirfarandi:
- Búðu til möppu á gestgjafanum file kerfi til að samstilla Qualcomm TFLite SDK vinnusvæðið. Fyrir
example: $mkdir $cd - Sæktu Qualcomm TFLite SDK frumkóðann frá CodeLinaro:
$ repo init -u https://git.codelinaro.org/clo/le/sdktflite/tflite/ manifest.git –repo-branch=qc/stable –repo-url=git://git.quicinc.com/ tools/repo.git -m TFLITE.SDK.1.0.r1-00200-TFLITE.0.xml -b release && repo sync -qc –no-tags -j - Búðu til möppu á gestgjafanum file kerfi sem hægt er að festa í docker. Til dæmisample: mkdir-p / Þessa skrá er hægt að búa til hvar sem er á Linux hýsingarvélinni og það fer ekki eftir því hvar Qualcomm TFLite SDK verkefnið er samstillt. Eftir að verkflæðinu er lokið innan ílátsins er hægt að finna Qualcomm TFLite SDK gripina í möppunni sem búin var til í þessu skrefi.
- Breyttu JSON stillingunum file til staðar í /tflite-tools/ targets/le-tflite-tools-builder.json með eftirfarandi færslum:
“Mynd”: “tflite-tools-builder”, “Device_OS”: “le”, “Viðbótar_tag”: “”, “TFLite_Version”: “2.11.1”, “Delegates”: { “Hexagon_delegate”: “OFF”, “Gpu_delegate”: “ON”, “Xnnpack_delegate”: “ON” }, “TFLite_rsync_destination”: “ /”, “SDK_path”: “/build-qti-distro-fullstack-perf/tmpglibc/deploy/sdk>”, “SDK_shell_file”: “”, “Base_Dir_Location”: “” }
Fyrir frekari upplýsingar um færslurnar sem getið er um í json stillingunum file, sjá Docker.md readme file á /tflite-tools/.
ATH Fyrir QCS8550 er Qualcomm® Hexagon™ DSP fulltrúi ekki studdur. - Fáðu handritið til að setja upp umhverfið:
$ geisladiskur /tflite-tools $ source ./scripts/host/docker_env_setup.sh - Smíðaðu Qualcomm TFLite SDK tengikvímyndina: $ tflite-tools-host-build-image ./targets/le-tflite-tools-builder.json Ef uppsetningin mistekst, sjá Úrræðaleit við uppsetningu docker. Eftir að henni hefur verið lokið birtast eftirfarandi skilaboð: „Staða: Byggja mynd lokið með góðum árangri!!“ Að keyra þetta skref byggir einnig Qualcomm TFLite SDK.
- Keyrðu Qualcomm TFLite SDK bryggjugáminn. Þetta byrjar ílátið með tags veitt í JSON stillingum file. $tflite-tools-host-run-container ./targets/le-tflite-tools-builder.json
- Festið við ílátið sem byrjað er frá fyrra skrefi.
$ docker viðhengi
Qualcomm TFLite SDK er sett saman og gripirnir eru tilbúnir til að dreifa eða hægt er að
notað til að búa til QIM SDK TFLite viðbótina.
Tengdu tæki við að hýsa og dreifa gripum]
Eftir samantekt eru tvær leiðir til að tengja tækið við hýsil og dreifa
Qualcomm TFLite SDK artifacts.
- Tæki tengt við staðbundinn Linux hýsil:
Þróunaraðili tengir tækið við vinnustöð og setur upp Qualcomm TFLite SDK gripi úr ílátinu beint á tækið (QCS8550). - Tæki tengt við ytri hýsil:
Þróunaraðili tengir tækið við ytri vinnustöð og þeir geta notað uppsetningarskipanirnar fyrir pakkastjórnun á Windows og Linux kerfum til að setja upp Qualcomm TFLite SDK gripina á tækið (QCS8550)
Mynd 4-4 Tenging tækjatöflu við þróunaraðila og fjarvinnustöð
Tengdu tækið við vinnustöðina
Tækið er tengt við vinnustöðina og þróunarílátið getur nálgast tækið yfir USB/adb.
Myndin sýnir stages í röð Qualcomm TFLite SDK vinnuflæðisins:
- Keyrðu eftirfarandi skipanir til að setja upp gripina á tækið:
$ tflite-tools-device-prepare
$ tflite-tools-device-deploy - Til að fjarlægja gripina skaltu keyra eftirfarandi skipun:
$ tflite-tools-device-packages-remove
Tengdu tæki við ytri vél
Tækið er tengt við ytri vél og Qualcomm TFLite SDK ílátið getur ekki nálgast tækið í gegnum USB/auglýsingu b.
Myndin sýnir stages í röð Qualcomm TFLite SDK vinnuflæðisins:
Keyrðu eftirfarandi skipanir í tflite-tools ílátinu til að afrita gripina á ytri vél
fer eftir pakkastjóranum á tækinu:
$ tflite-tools-remote-sync-ipk-rel-pkg
ATH Upplýsingarnar um ytri vélina eru gefnar upp í JSON stillingum file.
Settu upp artifacts fyrir Windows vettvang
Hægt er að setja upp Qualcomm TFLite SDK gripina á tækinu á grundvelli stýrikerfis ytri vélarinnar.
Fyrir Windows vettvang, gerðu eftirfarandi:
Á PowerShell, notaðu eftirfarandi skriftu: PS C:
> adb rót PS C:> adb disable-verity PS C:> adb endurræsa PS C:> adb bíða eftir tæki PS C:> adb rót PS C:> adb endurtengja PS C:> adb skelfesting -o endurtengja, rw / PS C:> adb skel “mkdir -p /tmp” PS C:> adb push /tmp Ef pakkinn er ipk (fyrir QCS8550.LE.1.0), notaðu eftirfarandi skipanir: PS C:> adb skel “ opkg –force-depends –force-reinstall –force-overwrite install /tmp/”
Settu upp artifacts fyrir Linux vettvang
Notaðu eftirfarandi skipanir:
$ adb rót $ adb disable-verity $ adb endurræsa $ adb bið-fyrir-tæki $ adb rót $ adb endurfesta $ adb skel mount -o remount,rw / $ adb skel “mkdir -p /tmp” $ adb ýta /tmp Ef pakkinn er ipk (fyrir QCS8550.LE.1.0): $ adb skel “opkg –force-depends –force-reinstall –force-overwrite install /tmp/”
Hreinsaðu upp docker mynd
Eftir að hafa lokið verkflæði þróunaraðila ætti að þrífa tengikví umhverfið til að losa um geymslupláss á disknum. Með því að þrífa tengikví eru ónotuðu ílátin og myndirnar fjarlægðar og þannig losað um pláss á disknum.
Notaðu eftirfarandi skipanir til að hreinsa upp docker myndina:
- Keyrðu eftirfarandi skipun á Linux vinnustöðinni:
$ geisladiskur /tflite-tól - Stöðvaðu ílátið:
$ tflite-tools-host-stop-container ./targets/ le-tflite-tools-builder.json - Fjarlægðu ílátið:
$ tflite-tools-host-rm-container ./targets/ le-tflite-tools-builder.json - Fjarlægðu eldri docker myndirnar:
$ tflite-tools-host-images-cleanup
Úrræðaleit við uppsetningu docker
Ef skipunin tflite-tools-host-build-image skilar Nospace skilaboðum eftir á tækinu, færðu þá tengiliðaskrána til/local/mnt. Gerðu eftirfarandi til að leysa uppsetninguna:
- Taktu öryggisafrit af núverandi tengikví files:
$ tar -zcC /var/lib docker > /mnt/pd0/var_lib_docker-backup-$(dagsetning + %s).tar.gz - Stöðva hafnarmanninn:
$ þjónustuhafnarstöðva - Staðfestu að ekkert bryggjuferli sé í gangi:
$ ps gervi | grep docker - Athugaðu uppbyggingu docker möppu:
$ sudo ls /var/lib/docker/ - Færðu docker möppuna yfir á nýtt skipting:
$ mv /var/lib/docker /local/mnt/docker - Búðu til tákntengil í docker möppuna í nýju skiptingunni:
$ ln -s /local/mnt/docker /var/lib/docker - Gakktu úr skugga um að uppbygging docker möppu haldist óbreytt:
$ sudo ls /var/lib/docker/ - Byrja bryggju:
$ þjónustu bryggju byrjun - Endurræstu alla gáma eftir að hafa fært bryggjuskrána.
Búðu til TFLite SDK með Linux vinnustöð
TFLite SDK vinnuflæðið er hægt að virkja án gáma með því að nota Linux vinnustöðina. Þessi aðferð er valkostur við að nota ílát.
Til að samstilla og byggja upp Qualcomm TFLite SDK skaltu gera eftirfarandi:
- Búðu til möppu á gestgjafanum file kerfi til að samstilla Qualcomm TFLite SDK vinnusvæðið. Til dæmisample:
$mkdir
$cd - Sæktu Qualcomm TFLite SDK frumkóðann frá CodeLinaro:
$ repo init -u https://git.codelinaro.org/clo/le/sdktflite/tflite/ manifest.git –repo-branch=qc/stable –repo-url=git://git.quicinc.com/ tools/repo.git -m TFLITE.SDK.1.0.r1-00200-TFLITE.0.xml -b release && repo sync -qc –no-tags -j8 && endurhverfa samstillingu -qc –nei-tags -j8 - 3. Breyttu JSON stillingunum file til staðar í /tflite-tools/ targets/le-tflite-tools-builder.json með eftirfarandi færslum
“Mynd”: “tflite-tools-builder”, “Device_OS”: “le”, “Viðbótar_tag”: “”, “TFLite_Version”: “2.11.1”, “Delegates”: { “Hexagon_delegate”: “OFF”, “Gpu_delegate”: “ON”, “Xnnpack_delegate”: “ON” }, “TFLite_rsync_destination”: “ ”, “SDK_path”: “/build-qti-distro-fullstack-perf/tmpglibc/deploy/sdk>”, “SDK_shell_file”: “”, “Base_Dir_Location”: “”
Fyrir frekari upplýsingar um færslurnar sem getið er um í json stillingunum file, sjá Docker.md readme file kl /tflite-tól/.
ATH Fyrir QCS8550 er Hexagon DSP delegate ekki studdur - Fáðu handritið til að setja upp umhverfið:
$ geisladiskur /tflite-tól
$ source ./scripts/host/host_env_setup.sh - Byggðu Qualcomm TFLite SDK.
$ tflite-tools-setup targets/le-tflite-tools-builder.json - Keyrðu eftirfarandi tólaskipanir í sömu Linux-skelinni til að safna TFLite SDK-gripunum úr
TFLite_rsync_destination.
$ tflite-tools-host-get-rel-package targets/le-tflite-tools-builder.json
$ tflite-tools-host-get-dev-package targets/le-tflite-tools-builder.json - Settu upp gripi byggða á stýrikerfinu
- Fyrir Windows vettvang, á PowerShell, notaðu eftirfarandi skriftu
PS C:> adb rót PS C:> adb disable-verity PS C:> adb endurræsa PS C:> adb bið eftir tæki PS C:> adb rót PS C:> adb endurtengja PS C:> adb skelfesting - o remount,rw / PS C:> adb skel “mkdir -p /tmp” PS C:> adb push /tmp
Ef pakkinn er ipk (fyrir QCS8550.LE.1.0), notaðu eftirfarandi skipanir:
PS C:> adb skel “opkg –force-depends –force-reinstall –forceoverwrite install /tmp/
Fyrir Linux vettvang, notaðu eftirfarandi skriftu:
$ adb rót $ adb disable-verity $ adb endurræsa $ adb bið-fyrir-tæki $ adb rót $ adb endurfesta $ adb skel mount -o remount,rw / $ adb skel “mkdir -p /tmp” $ adb ýta /tmp Ef pakkinn er ipk (fyrir QCS8550.LE.1.0):
$ adb skel “opkg –force-depends –force-reinstall –force-overwrite install /tmp/”
- Fyrir Windows vettvang, á PowerShell, notaðu eftirfarandi skriftu
Búðu til Qualcomm TFLite SDK artifacts fyrir QIM SDK byggingu
Til að nota gripina sem eru búnir til til að virkja Qualcomm TFLite SDK GStreamer viðbótina í QIM SDK, gerðu eftirfarandi:
- Ljúktu ferlinu í Sync og byggðu Qualcomm TFLite SDK og keyrðu síðan eftirfarandi skipun: $ tflite-tools-host-get-dev-tar-package ./targets/le-tflite-toolsbuilder.json
Tjöru file er myndaður. Það inniheldur Qualcomm TFLite SDK á slóðinni sem gefin er upp á „TFLite_rsync_destination“ - Til að virkja Qualcomm TFLite SDK GStreamer viðbótina skaltu nota tar file sem rök í JSON uppsetningu file fyrir QIM SDK bygginguna.
Fyrir upplýsingar um að setja saman QIM SDK, sjá Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide (80-50450-51).
Byggðu Qualcomm TFLite SDK stigvaxandi
Ef þú ert að byggja Qualcomm TFLite SDK í fyrsta skipti, sjáðu Byggja Qualcomm TFLite SDK verkfæri – verkflæði þróunaraðila. Hægt er að endurnýta sama byggingarumhverfi fyrir stigvaxandi þróun.
Hjálparforritin (innan ílátsins) sem nefnd eru á myndinni eru í boði fyrir þróunaraðila til að setja saman breytt forrit og viðbætur.
Mynd 5-1 Verkflæði í gámi
Eftir að kóðabreytingunum er lokið í kóðaskránni skaltu gera eftirfarandi:
- Settu saman breyttan kóða:
$ tflite-tools-incremental-build-install - Pakkinn kóði:
$ tflite-tools-ipk-rel-pkg eða $ tflite-tools-deb-rel-pkg - Samstilltu útgáfupakka við gestgjafann file kerfi:
$ tflite-tools-remote-sync-ipk-rel-pkg
Or
$ tflite-tools-remote-sync-deb-rel-pkg - Undirbúa þróunarpakka:
$ tflite-tools-ipk-dev-pkg
Söfnuðu gripirnir eru að finna í TFLite_rsync_destination möppunni sem nefnd er í JSON file, sem hægt er að afrita í hvaða möppu sem er.
Vinna með QNN utanaðkomandi TFLite Delegate
A TFLite External Delegate gerir þér kleift að keyra líkönin þín (að hluta eða heild) á öðrum framkvæmdastjóra með því að nota bókasöfn frá traustum þriðja aðila eins og QNN frá Qualcomm. Þessi vélbúnaður getur nýtt sér margs konar hraða í tækinu eins og GPU eða Hexagon Tensor Processor (HTP) til ályktunar. Þetta veitir forriturum sveigjanlega og ótengda aðferð frá sjálfgefna TFLite til að flýta fyrir ályktunum.
Forkröfur:
- Gakktu úr skugga um að þú notir Ubuntu vinnustöð til að draga út QNN AI stafla.
- Gakktu úr skugga um að þú notir QNN útgáfu 2.14 til að vera í tengslum við Qualcomm TFLite SDK
Qualcomm TFLite SDK er gert kleift að keyra ályktanir á nokkrum QNN bakendum í gegnum TFLite ytri Delegate fyrir QNN. Hægt er að keyra TFLite módelin með sameiginlegri flatbuffer framsetningu á GPU og HTP.
Eftir að Qualcomm TFLite SDK pakkarnir hafa verið settir upp á tækinu skaltu gera eftirfarandi til að setja upp QNN bókasöfnin á tækinu.
- Sæktu Qualcomm Package Manager 3 fyrir Ubuntu.
a. Smelltu https://qpm.qualcomm.com/ og smelltu á Tools.
b. Í vinstri glugganum, í reitnum Leitarverkfæri, sláðu inn QPM. Í System OS listanum, veldu Linux.
Leitarniðurstöðurnar sýna lista yfir Qualcomm pakkastjóra.
c. Veldu Qualcomm Package Manager 3 og halaðu niður Linux debian pakkanum. - Settu upp Qualcomm Package Manager 3 fyrir Linux. Notaðu eftirfarandi skipun:
$ dpkg -i –þvinga yfirskrifa /path/to/
QualcommPackageManager3.3.0.83.1.Linux-x86.deb - Sæktu Qualcomm®
AI Engine Direct SDK á Ubuntu vinnustöðinni.
a. Smelltu https://qpm.qualcomm.com/ og smelltu á Tools.
b. Í vinstri glugganum, í reitnum Leitarverkfæri, sláðu inn AI stafla. Í System OS listanum, veldu Linux.
A fellilisti sem inniheldur ýmsar gervigreindarstakkavélar birtist.
c. Smelltu á Qualcomm® AI Engine Direct SDK og halaðu niður Linux v2.14.0 pakkanum. - Settu upp Qualcomm® AI Engine Direct SDK á Ubuntu vinnustöðinni.
a. Virkjaðu leyfið:
qpm-cli –license-activate qualcomm_ai_engine_direct
b Settu upp AI Engine Direct SDK:
$ qpm-cli –útdráttur /path/to/ qualcomm_ai_engine_direct.2.14.0.230828.Linux-AnyCPU.qik - Ýttu bókasöfnum í tækið frá Ubuntu vinnustöðinni með adb push.
$ cd /opt/qcom/aistack/qnn/2.14.0.230828 $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnDsp.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnDspV66Stub.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnGpu.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnHtpPrepare.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnHtp.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnHtpV68Stub.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnSaver.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnSystem.so /usr/lib/ $ adb ýta ./lib/aarch64-oe-linux-gcc11.2/ libQnnTFLiteDelegate.so /usr/lib/ $ adb ýta ./lib/hexagon-v65/ unsigned/ libQnnDspV65Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v66/unsigned/ libQnnDspV66Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v68/unsigned/ libQnnHtpV68Skel.so /usr/lib/rfsa/adsp $ adb ýta ./lib/hexagon-v69/unsigned/ libQnnHtpV69Skel.so /usr/lib/rfsa/adsp $ adb ýta ./lib/hexagon-v73/unsigned/ libQ73Skel. svo /usr/lib/rfsa/adsp
Prófaðu Qualcomm TFLite SDK
Qualcomm TFLite SDK veitir ákveðnar tdample forrit, sem hægt er að nota til að sannprófa, viðmiða og fá nákvæmni þeirra líkana sem verktaki vill meta.
Eftir að Qualcomm TFLite SDK pakkarnir hafa verið settir upp á tækinu er keyrslutími tiltækur á tækinu til að keyra þessar td.ample umsóknir.
Forsenda
Búðu til eftirfarandi möppur á tækinu:
$ adb skel “mkdir /data/Models”
$ adb skel “mkdir /data/Lables”
$ adb skel “mkdir /data/profiling”
Merkimynd
Merkimynd er tól sem Qualcomm TFLite SDK býður upp á sem sýnir hvernig þú getur hlaðið forþjálfað og breytt TensorFlow Lite líkan og notað það til að þekkja hluti í myndum. Forkröfur:
Sækja sampmódel og mynd:
Þú getur notað hvaða samhæfða gerð sem er, en eftirfarandi MobileNet v1 líkan býður upp á góða sýningu á líkani sem er þjálfað í að þekkja 1000 mismunandi hluti.
- Sækja fyrirmynd
$ curl https://storage.googleapis.com/download.tensorflow.org/models/ mobilenet_v1_2018_02_22/mobilenet_v1_1.0_224.tgz | tar xzv -C /data $ mv /data/mobilenet_v1_1.0_224.tflite /data/Models/ - Fáðu merki
$ curl https://storage.googleapis.com/download.tensorflow.org/models/ mobilenet_v1_1.0_224_frozen.tgz | tar xzv -C /data mobilenet_v1_1.0_224/ labels.txt
$ mv /data/mobilenet_v1_1.0_224/labels.txt /data/Labels/
Eftir að þú hefur tengst Qualcomm TFLite SDK bryggjuílátinu er myndin að finna á:
“/mnt/tflite/src/tensorflow/tensorflow/lite/examples/label_image/ testdata/grace_hopper.bmp“
a. Ýttu á þetta file to/data/Labels/
b. Keyra skipunina:
$ adb skel “label_image -l /data/Labels/labels.txt -i /data/Labels/ grace_hopper.bmp -m /data/Models/mobilenet_v1_1.0_224.tflite -c 10 -j 1 -p 1”
Viðmið
Qualcomm TFLite SDK veitir viðmiðunartólið til að reikna út árangur mismunandi keyrslutíma.
Þessi viðmiðunartæki mæla og reikna út tölfræði fyrir eftirfarandi mikilvæga frammistöðumælikvarða:
- Frumstillingartími
- Ályktunartími upphitunarástands
- Ályktunartími stöðugs ástands
- Minnisnotkun á upphafstíma
- Heildar minnisnotkun
Forkröfur
Ýttu á módelin sem á að prófa frá TFLite Model Zoo (https://tfhub.dev/) til/gögn/Models/. Keyra á eftirfarandi handrit:
- XNN pakki
$ adb skel “benchmark_model –graph=/data/Models/ — enable_op_profiling=true –use_xnnpack=true –num_threads=4 –max_secs=300 –profiling_output_csv_file=/gögn/profiling/” - GPU fulltrúi
$ adb skel “benchmark_model –graph=/data/Models/ — enable_op_profiling=true –use_gpu=true –num_runs=100 –warmup_runs=10 — max_secs=300 –profiling_output_csv_file=/gögn/profiling/” - Utanaðkomandi fulltrúi
QNN External Delegate GPU:
Keyrðu ályktun með flotpunktslíkani:
$ adb skelskipun „benchmark_model –graph=/data/Models/ .tflite –external_delegate_path=libQnnTFLiteDelegate.so — external_delegate_options='backend_type:gpu;library_path:/usr/lib/ libQnnGpu.so;skel_library_lib:rfussa_lib:r /adsp'“
QNN ytri fulltrúa HTP:
Keyra ályktun með magnlíkani:
$ adb skel-skipun “benchmark_model –graph=/data/Models/ .tflite –external_delegate_path=libQnnTFLiteDelegate.so — external_delegate_options='backend_type:htp;library_path:/usr/lib/ libQnnHtp.so;skel:/fussa_library/dir /adsp'"
Nákvæmni tól
Qualcomm TFLite SDK býður upp á nákvæmni tól til að reikna út nákvæmni líkana með mismunandi keyrslutíma.
- Flokkun með GPU fulltrúa
Skrefin til að hlaða niður nauðsynlegum files til að prófa má finna á: "/mnt/tflite/src/tensorflow/tensorflow/lite/tools/evaluation/tasks/ imagenet_image_classificatio/README.md"
Tvöfaldurinn til að keyra þetta tól er nú þegar hluti af SDK, þannig að verktaki þarf ekki að byggja það aftur.
$ adb skel „image_classify_run_eval — model_file=/data/Models/ –ground_truth_images_path=/data/ — ground_truth_labels=/data/ –model_output_labels=/ data/ –delegate=gpu“ - Hlutagreining með XNN pakka
$ adb skel “inf_diff_run_eval –model_file=/data/Models/ –delegate=xnnpac
LAGARUPPLÝSINGAR
Aðgangur þinn að og notkun þessa skjals, ásamt hvers kyns forskriftum, tilvísunartöflu files, teikningar, greiningar og aðrar upplýsingar sem eru í þessu (samanlagt þetta „Skjölun“), er háð þér (þar á meðal fyrirtækinu eða öðrum lögaðila sem þú ert fulltrúi fyrir, sameiginlega „Þú“ eða „Þitt“) samþykki skilmálum og skilyrðum ("Notenda Skilmálar") sett fram hér að neðan. Ef þú samþykkir ekki þessa notkunarskilmála máttu ekki nota þessi skjöl og skalt eyða þegar í stað hvers kyns afrit af þeim.
- Lagatilkynning.
Þessi skjöl eru aðeins aðgengileg þér til innri notkunar með þessum vörum og þjónustuframboðum Qualcomm Technologies, Inc. („Qualcomm Technologies“) og hlutdeildarfélögum þess sem lýst er í þessum skjölum og skal ekki nota í neinum öðrum tilgangi. Þessum skjölum má ekki breyta, breyta eða breyta á nokkurn hátt án skriflegs samþykkis Qualcomm Technologies. Óheimil notkun eða birting á þessu
Skjöl eða upplýsingarnar sem hér er að finna eru stranglega bönnuð og þú samþykkir að skaða Qualcomm Technologies, hlutdeildarfélög þess og leyfisveitendur vegna hvers kyns tjóns eða taps sem Qualcomm Technologies, hlutdeildarfélög þess og leyfisveitendur verða fyrir vegna slíkrar óleyfilegrar notkunar eða birtingar þessara skjala, í heild eða hluta. Qualcomm Technologies, hlutdeildarfélög þess og leyfisveitendur halda öllum réttindum og eignarhaldi á og að þessum skjölum. Ekkert leyfi að neinu vörumerki, einkaleyfi, höfundarrétti, grímuverndunarrétti eða öðrum hugverkaréttindum er hvorki veitt né gefið í skyn í þessum skjölum eða neinum upplýsingum sem birtar eru hér, þar á meðal en ekki takmarkað við leyfi til að búa til, nota, flytja inn selja vöru, þjónustu eða tækniframboð sem felur í sér einhverjar upplýsingar í þessum skjölum.
ÞESSI SKJÁL ER LEYFIÐ „EINS OG ER“ ÁN NOKKURS ÁBYRGÐAR, HVERT ER ÚTDRÝÐ, ÓBEIN, LÖGBEÐIN EÐA ANNAÐ. AÐ ÞVÍ HÁMARKI SEM LÖG LEYFIÐ, FYRIR QUALCOMM TECHNOLOGIES, tengslafyrirtæki þess OG LEYFISHAFAR SÉR SÉRSTAKLEGA ALLAR ÁBYRGÐIR UM EIGINLEIKAR, SALANNI, EKKI BROT, HÆFNI FYRIR SÉRSTAKLEGA, SÉRSTAKLEGA, OG ALLAR ÁBYRGÐIR SEM KOMA ÚT AF VIÐSKIPTANOTKUN EÐA ÚT AF VIÐSKIPTI EÐA LEIÐI FREMSTUR. ENDURARI SKAL HVORKI QUALCOMM TECHNOLOGIES, NÉ EINHVER HJÁTTATILJÖF ÞESSAR EÐA LEYFISHAFAR, BÆRA ÁBYRGÐ GENGUR ÞIG EÐA ÞRIÐJU AÐILA FYRIR NEINUM KOSTNAÐI, TAPI, NOTKUN EÐA AÐGERÐIR EÐA HVERJAR SEM ÞÚ ER ÁBYRGÐ EÐA ÞAR SEM ÞÚ ER EKKI ÁBYRGÐ.
Tiltekin vörusett, verkfæri og efni sem vísað er til í þessum skjölum gætu krafist þess að þú samþykkir viðbótarskilmála og skilyrði áður en þú opnar eða notar þessa hluti.
Tæknigögn sem tilgreind eru í þessum skjölum kunna að falla undir bandarísk lög og önnur viðeigandi útflutningseftirlitslög. Sending í bága við Bandaríkin og önnur gildandi lög er stranglega bönnuð.
Ekkert í þessum skjölum er tilboð um að selja einhvern af þeim íhlutum eða tækjum sem vísað er til hér.
Þessi skjöl geta breyst án frekari tilkynningar. Komi til átaka milli þessara notkunarskilmála og Websíðu Notkunarskilmálar á www.qualcomm.com eða persónuverndarstefnu Qualcomm sem vísað er til www.qualcomm.com, munu þessir notkunarskilmálar stjórna. Komi til ágreinings milli þessara notkunarskilmála og hvers kyns annars samnings (skrifaðs eða smellt) sem þú og Qualcomm Technologies eða samstarfsaðili Qualcomm Technologies gera með tilliti til aðgangs þíns að og notkun þessara skjala mun hinn samningurinn stjórna .
Þessir notkunarskilmálar skulu lúta og túlka og framfylgja í samræmi við lög Kaliforníuríkis, að undanskildum samningi Sameinuðu þjóðanna um alþjóðlega sölu á vörum, án tillits til meginreglna laga um árekstra. Sérhver ágreiningur, krafa eða ágreiningur sem stafar af eða tengist þessum notkunarskilmálum, eða broti eða gildi þeirra, skal aðeins dæmt af dómstóli með þar til bærum lögsögu í sýslunni San Diego, Kaliforníuríki, og þú samþykkir hér með að persónulega lögsögu slíkra dómstóla í þeim tilgangi. - Yfirlýsingar vörumerkja og vörumerkja.
Qualcomm er vörumerki eða skráð vörumerki Qualcomm Incorporated. Arm er skráð vörumerki Arm Limited (eða dótturfélaga þess) í Bandaríkjunum og/eða annars staðar. Bluetooth® orðamerkið er skráð vörumerki í eigu Bluetooth SIG, Inc. Önnur vöru- og vöruheiti sem vísað er til í þessum skjölum geta verið vörumerki eða skráð vörumerki viðkomandi eigenda.
Snapdragon og Qualcomm vörumerki sem vísað er til í þessum skjölum eru vörur Qualcomm Technologies, Inc. og/eða dótturfélaga þess. Qualcomm einkaleyfisskyld tækni er með leyfi frá Qualcomm Incorporated.
Skjöl / auðlindir
 |
Qualcomm TensorFlow Lite SDK hugbúnaður [pdfNotendahandbók TensorFlow Lite SDK hugbúnaður, Lite SDK hugbúnaður, SDK hugbúnaður, hugbúnaður |
