Qualcomm TensorFlow Lite SDK Software Guide
Logo orinasa

Hevitra ato Anatiny afeno ny
1 Tantara fanavaozana
2 Fampidirana ny fitaovana Qualcomm TFLite SDK
3 Mametraha tontolo fananganana ho an'ny fitaovana Qualcomm TFLite SDK
4 Mamorona sehatra SDK
5 Manamboara fitaovana Qualcomm TFLite SDK - workflow developer
6 Mamaha olana ny fametrahana docker
7 Amboary tsikelikely ny Qualcomm TFLite SDK
8 Miaraha miasa amin'ny QNN ivelany TFLite Delegate
9 Andramo ny Qualcomm TFLite SDK
10 Fampahafantarana ara-dalàna
11 Documents / Loharano
11.1 References
12 Lahatsoratra mifandraika

Tantara fanavaozana

fanitsiana Daty Description
AA Septambra 2023 Famoahana voalohany
AB Oktobra 2023

Fampidirana ny fitaovana Qualcomm TFLite SDK

Ny fitaovana fampivoarana rindrambaiko Qualcomm TensorFlow Lite (Qualcomm TFLite SDK) dia manome ny rafitra TensorFlow Lite ho an'ny inferencing artificial artificial (AI) amin'ny fitaovana, izay manamora ny mpamorona fampiharana hamolavola na hampandehanana rindranasa AI sahaza.
Ity antontan-taratasy ity dia manome torolalana tsikelikely mba hanangonana Qualcomm TFLite SDK tokana sy hananganana ny tontolo fampandrosoana. Izany dia mamela ny workflow developer, izay ahitana:

  • mametraka ny tontolo fananganana izay ahafahan'ny mpamorona manangona ny Qualcomm TFLite SDK
  • Mamolavola fampiharana Qualcomm TFLite SDK irery

Raha mila fanohanana, jereo https://www.tatamoters.com/ fanohanana. Ity tarehimarika manaraka ity dia manome famintinana ny fizotran'ny Qualcomm TFLite SDK: ”
Sary 1-1 Qualcomm TFLite SDK workflow
Ny fitaovana dia mila sehatra SDK sy fanamafisam-peo file (endrika JSON) mba hamoronana artifacts Qualcomm TFLite SDK.

Mba hamoronana rindranasa faran'ny farany amin'ny alàlan'ny subsystems multimedia, AI, ary solosaina fahitana (CV), jereo ny Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide (80-50450-51).
Ny tabilao dia mampiseho ny sarintanin'ny Qualcomm TFLite SDK miaraka amin'ny famoahana CodeLinaro tag:
Tabilao 1-1 Famoahana vaovao
fifandraisana

Qualcomm TFLite SDK version CodeLinaro release tag
V1.0 Qualcomm TFLITE.SDK.1.0.r1-00200-TFLITE.0

Tabilao 1-2 Fanohanana Qualcomm TFLite SDK versions

Qualcomm TFLite SDK version Vokatra rindrambaiko tohanana TFLite version tohanana
V1.0 QCS8550.LE.1.0
  • 2.6.0
  • 2.8.0
  • 2.10.1
  • 2.11.1
  • 2.12.1
  • 2.13.0

References
Tabilao 1-3 Antontan-taratasy mifandraika amin'izany

Lohateny isa
Qualcomm
00067.1 Fanamarihana famoahana ho an'ny QCS8550.LE.1.0 RNO-230830225415
Qualcomm Intelligent Multimedia SDK (QIM SDK) Torolàlana fanombohana haingana 80-50450-51
Qualcomm Intelligent Multimedia SDK (QIM SDK) Reference 80-50450-50
Loharano
https://source.android.com/docs/setup/start/initializing –

Tabilao 1-4 Fanafohezana sy famaritana

Fanafohezana na teny FAMARITANA
AI Fahaizana artifisialy
BIOS Rafitra fampidirana/famoahana fototra
CV Fahitana solosaina
IPK Package Itsy file
QIM SDK Kitapo fampivoarana rindrambaiko multimedia Intelligent Qualcomm
SDK Kitapo fampandrosoana rindrambaiko
TFLite TensorFlow Lite
XNN Xth mpifanolo-bodirindrina akaiky indrindra

Mametraha tontolo fananganana ho an'ny fitaovana Qualcomm TFLite SDK

Ny fitaovana Qualcomm TFLite SDK dia navoaka amin'ny endrika loharano; noho izany, ny fametrahana ny tontolon'ny fananganana mba hanangonana azy dia tsy maintsy atao nefa indray mandeha.

zavatra takiana alohan'ny

  • Ataovy azo antoka fa manana sudoaccess amin'ny milina fampiantranoana Linux ianao.
  • Ataovy azo antoka fa ny dikan-teny mpampiantrano Linux dia Ubuntu 18.04 na Ubuntu 20.04.
  • Ampitomboy ny famantaran'ny mpampiasa ambony indrindra sy ny tranga mpampiasa ambony indrindra amin'ny rafitra mpampiantrano.
  • Ampio ireto andalana baiko manaraka ireto amin'ny/etc/sysctl.confand reboot ny mpampiantrano: fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=542288

Mametraka fonosana mpampiantrano ilaina

Ny fonosana mpampiantrano dia apetraka amin'ny milina mpampiantrano Linux.
Alefaso ny baiko hametrahana ny fonosana mpampiantrano: $ sudo apt install -y jq $ sudo apt install -y texinfo chrpath libxml-simple-perl openjdk-8-jdkheadless
Ho an'ny Ubuntu 18.04 sy ambony kokoa:
$ sudo apt-get install git-core gnupg flex bison build-essential zip curl zlib1g-dev gcc-multilib g++-multilib libc6-dev-i386 libncurses5 lib32ncurses5- dev x11proto-core-dev libx11-dev lib32z1-dev libgl1-mesa-dev libxml2-utils xsltproc unzip font
Raha mila fanazavana fanampiny dia jereo ny https://source.android.com/docs/setup/start/initializing.

Amboary ny tontolo docker

Ny docker dia sehatra iray ampiasaina hanamboarana, hamolavola, hizaha toetra ary hanaterana rindrambaiko. Mba hanangonana ny SDK, ny docker dia tsy maintsy amboarina amin'ny milina mpampiantrano Linux.
Ataovy azo antoka fa alefa amin'ny milina fampiantranoana Linux ny virtoaly CPU. Raha toa ka tsy alefa izany dia ataovy izao manaraka izao mba ahafahana manokatra azy avy amin'ny firafitry ny rafitra fampidirana/famoahana (BIOS):

  1. Alefaso ny virtoaly amin'ny BIOS:
    a. Tsindrio F1 na F2 rehefa manomboka ny rafitra hiditra ao amin'ny BIOS. Ny varavarankely BIOS dia aseho.
    b. Midira ao amin'ny tabilao Advanced.
    c. Ao amin'ny fizarana CPU Configuration, apetraho ny Virtualization Technology to Enabled.
    a. Tsindrio ny F12 raha te hamonjy sy hivoahana, ary avereno indray ny rafitra.
    Raha tsy mandeha ireo dingana ireo dia araho ny toromarika manokana avy amin'ny mpanome tolotra rafitra ahafahana manao ny virtoaly
  2. Esory izay tranga taloha momba ny docker:
    $ sudo apt manala docker-desktop
    $ rm -r $HOME/.docker/desktop
    $ sudo rm /usr/local/bin/com.docker.cli
    $ sudo apt manadio docker-desktop
  3.  Amboary ny docker remote repository:
    $ sudo apt-get update $ sudo apt-get install ca-certificate curl gnupg lsb-release $ sudo mkdir -p /etc/apt/keyrings $curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg - dearmor -o /etc/apt/keyrings/docker.gpg $ echo “deb [arch=$(dpkg –print-architecture) nosoniavina=/etc/apt/keyrings/docker.gpg] https:// download.docker.com/linux/ubuntu $ (lsb_release -cs) stable” | sudo tee /etc/apt/sources.list.d/docker.list> /dev/null
  4.  Mametraka motera docker:
    $ sudo apt-get update $ sudo apt-get install docker-ce docker-ce-cli
  5.  Ampio mpampiasa amin'ny vondrona docker:
    $ sudo groupadd docker $ sudo usermod -aG docker $ USER
  6.  Avereno indray ny rafitra.

Mamorona sehatra SDK

Ny sehatra SDK dia fepetra takiana amin'ny fanangonana ny fitaovana Qualcomm TFLite SDK. Izy io dia manome ny fiankinan'ny sehatra ilaina rehetra takian'ny Qualcomm TFLite SDK.
Ataovy izao manaraka izao mba hamoronana ny sehatra SDK:

  1. Mamorona fananganana ho an'ny vokatra rindrambaiko tiana.
    Ny torolalana amin'ny fananganana ny QCS8550.LE.1.0release dia omena ao amin'ny naoty famoahana. Raha te hiditra amin'ny naoty famoahana dia jereo ny References.
    Raha natsangana teo aloha ireo sary, dia tanteraho ny dingana 2, ary avy eo mamorona fananganana madio.
  2. Ampandehano ity baiko manaraka ity mba hananganana ny sarin'ny mpampiasa sy ny sehatra SDK:
    Ho an'ny QCS8550.LE.1.0, ampio ny endri-javatra milina qti-tflite-delegate ao amin'ny MACHINE_FEATURES ao amin'ny kalama.conf file ary alaivo ny tontolo fananganana araka ny toromarika avy amin'ny naoty famoahana.
    Rehefa avy namorona sary ho an'ny mpampiasa avy amin'ny fananganana dia araho ity baiko manaraka ity hamoronana ny sehatra SDK.
    $ bitbake -fc populate_sdk qti-robotics-image

Manamboara fitaovana Qualcomm TFLite SDK - workflow developer

Ny rindranasan'ny fitaovana Qualcomm TFLite SDK dia mitaky ny mpamorona hanome ny fanitsiana file miaraka amin'ny fidirana manan-kery. Ny script akorandriaka mpanampy avy amin'ny tetikasa tflite-tools (misy ao amin'ny hazo loharano Qualcomm TFLite SDK) dia manome fiasa mpanampy amin'ny fametrahana ny tontolo manodidina ny akorandriaka, izay azo ampiasaina amin'ny workflow Qualcomm TFLite SDK.
Ny mpamorona dia manangana ny tetikasa Qualcomm TFLite SDK ao anatin'ny kaontenera ary mamokatra ny artifacts amin'ny fampiasana ny fitaovana omen'ny tflite-tools.
Aorian'ny fananganana kaontenera Qualcomm TFLite SDK, ny mpamorona dia afaka mipetaka amin'ny kaontenera ary mampiasa ny fitaovana mpanampy ao amin'ny tontolon'ny akorandriaka ho an'ny fampandrosoana mitohy.

  • Misy fepetra hametrahana ny artifacts Qualcomm TFLite SDK amin'ny fitaovana Qualcomm mifandray amin'ny mpampiantrano Linux amin'ny alàlan'ny USB/adb.
  • Misy ihany koa ny fepetra handikana ny artifact Qualcomm TFLite SDK avy amin'ny kaontenera mankany amin'ny milina mpampiantrano hafa izay mampifandray ny fitaovana Qualcomm.
    fifandraisana

Ity sary manaraka ity dia mitanisa ny fitambaran'ny fitaovana azo ampiasaina aorian'ny fametrahana ny tontolon'ny fananganana kaontenera amin'ny fampiasana ny script mpanampy amin'ny fananganana ny Qualcomm TFLite SDK.
fifandraisana

Ny sary dia mampiseho ny filaharan'ny fanatanterahana ny utility:
Sary 4-3 Ny filaharan'ny fitaovana amin'ny mpampiantrano
fifandraisana

Ampifanaraho ary manangana Qualcomm TFLite SDK
Ny Qualcomm TFLite SDK dia natambatra rehefa noforonina ny sary docker. Raha te hampifanaraka sy hananganana ny Qualcomm TFLite SDK dia ataovy izao manaraka izao:

  1. Mamorona lahatahiry amin'ny mpampiantrano file rafitra handrindrana ny toeram-piasana Qualcomm TFLite SDK. HO AN'NY
    example: $mkdir $cd
  2. Alao ny kaody loharano Qualcomm TFLite SDK avy amin'ny CodeLinaro:
    $ repo init -u https://git.codelinaro.org/clo/le/sdktflite/tflite/ manifest.git –repo-branch=qc/stable –repo-url=git://git.quicinc.com/ tools/repo.git -m TFLITE.SDK.1.0.r1-00200-TFLITE.0.xml -b release && repo sync -qc –no-tags -j
  3. Mamorona lahatahiry amin'ny mpampiantrano file rafitra azo apetraka amin'ny docker. Ho an'ny example: mkdir-p / Ity lahatahiry ity dia azo noforonina na aiza na aiza amin'ny milina mpampiantrano Linux, ary tsy miankina amin'ny toerana misy ny tetikasa Qualcomm TFLite SDK. Rehefa vita ny fizotran'ny asa ao anatin'ny kaontenera, dia hita ao amin'ny lahatahiry noforonina amin'ity dingana ity ny artifacts Qualcomm TFLite SDK.
  4. Amboary ny fanitsiana JSON file hita ao amin'ny /tflite-tools/ targets/le-tflite-tools-builder.json miaraka amin'ireto fidirana manaraka ireto:
    "Sary": "tflite-tools-builder", "Device_OS": "le", "Additional_tag”: “”, “TFLite_Version”: “2.11.1”, “Delegates”: { “Hexagon_delegate”: “OFF”, “Gpu_delegate”: “ON”, “Xnnpack_delegate”: “ON” }, “TFLite_rsync_destination”: “ /", “SDK_path”: “/build-qti-distro-fullstack-perf/tmpglibc/deploy/sdk>”, “SDK_shell_file”: “”, “Base_Dir_Location”: “” }
    Raha mila fanazavana fanampiny momba ny fidirana voalaza ao amin'ny configuration json file, jereo ny Docker.md readme file ao amin'ny /tflite-tools/.
    FANAMARIHANA Ho an'ny QCS8550, ny solontena Qualcomm® Hexagon™ DSP dia tsy tohanana.
  5. Loharano ny script mba hametrahana ny tontolo iainana:
    $cd /tflite-tools $ loharano ./scripts/host/docker_env_setup.sh
  6.  Amboary ny sarin'ny Qualcomm TFLite SDK docker: $ tflite-tools-host-build-image ./targets/le-tflite-tools-builder.json Raha toa ka tsy nahomby ny fananganana dia jereo ny Troubleshoot docker setup. Rehefa vita soa aman-tsara dia miseho ity hafatra manaraka ity: "Sata: Vita soa aman-tsara ny fananganana sary!!" Ny fampandehanana ity dingana ity dia manangana ny Qualcomm TFLite SDK ihany koa.
  7.  Ampandehano ny kaontenera docker Qualcomm TFLite SDK. Izany dia manomboka ny container amin'ny tags nomena ao amin'ny konfigurasi JSON file. $tflite-tools-host-run-container ./targets/le-tflite-tools-builder.json
  8. Ampifandraiso amin'ny kaontenera nanomboka tamin'ny dingana teo aloha.
    $ docker attach

Ny Qualcomm TFLite SDK dia natambatra, ary ny artifacts dia vonona ny hapetraka na azo atao bebe kokoa.
ampiasaina hamoronana ny plug-in QIM SDK TFLite.

Ampifandraiso amin'ny fampiantranoana sy fametrahana artifacts ny fitaovana]

Aorian'ny fanangonana dia misy mekanika roa mampifandray ny fitaovana amin'ny mpampiantrano iray ary mametraka ny
Qualcomm TFLite SDK artifacts.

  • Fitaovana mifandray amin'ny mpampiantrano Linux eo an-toerana:
    Ny mpamorona iray dia mampifandray ny fitaovana amin'ny toeram-piasana iray ary mametraka ny artifacts Qualcomm TFLite SDK avy amin'ny fitoeran-javatra mivantana amin'ny fitaovana (QCS8550).
  • Fitaovana mifandray amin'ny mpampiantrano lavitra:
    Mampifandray ny fitaovana amin'ny toeram-piasana lavitra ny developer iray, ary afaka mampiasa ny baikon'ny installer pack manager amin'ny sehatra Windows sy Linux izy ireo mba hametrahana ny artifacts Qualcomm TFLite SDK amin'ilay fitaovana (QCS8550)

Sary 4-4 Fampifandraisan'ny biraon'ny fitaovana amin'ny toeram-piasana sy ny toeram-piasana lavitra
fifandraisana

Ampifandraiso amin'ny toeram-piasana ny fitaovana

Ampifandraisina amin'ny toeram-piasana ilay fitaovana ary afaka miditra amin'ilay fitaovana amin'ny alalan'ny USB/adb ny fitoeran'entana fampandrosoana.
Ny sary dia mampiseho ny stagao amin'ny filaharan'ny Qualcomm TFLite SDK workflow:
fifandraisana

  1. Alefaso ireto baiko manaraka ireto mba hametrahana ny artifacts amin'ny fitaovana:
    $ tflite-tools-device-prepare
    $ tflite-tools-device-deploy
  2. Mba hanesorana ireo artifacts dia araho ity baiko manaraka ity:
    $ tflite-tools-device-packages-remove

Ampifandraiso amin'ny masinina lavitra ny fitaovana

Ny fitaovana dia mifandray amin'ny milina lavitra, ary ny Qualcomm TFLite SDK fitoeran-javatra tsy afaka miditra amin'ny fitaovana amin'ny USB/ad b.
Ny sary dia mampiseho ny stagao amin'ny filaharan'ny Qualcomm TFLite SDK workflow:
fifandraisana

Alefaso ao anaty fitoeran-tflite-tools ireto baiko manaraka ireto mba handikana ny artifacts amin'ny milina lavitra
miankina amin'ny mpitantana ny fonosana amin'ny fitaovana:
$ tflite-tools-remote-sync-ipk-rel-pkg
FANAMARIHANA Ny fampahalalana momba ny milina lavitra dia omena ao amin'ny konfigurasi JSON file.
Mametraka artifacts ho an'ny sehatra Windows
Ny artifacts Qualcomm TFLite SDK dia azo apetraka amin'ny fitaovana mifototra amin'ny rafitra fiasan'ny milina lavitra.

Ho an'ny sehatra Windows, ataovy izao manaraka izao:
Amin'ny PowerShell, ampiasao ity script manaraka ity: PS C:
> adb root PS C:> adb disable-verity PS C:> adb reboot PS C:> adb wait-for-device PS C:> adb root PS C:> adb remount PS C:> adb shell mount -o remount, rw / PS C:> adb shell "mkdir -p /tmp" PS C:> adb push /tmp Raha ipk ny fonosana (ho an'ny QCS8550.LE.1.0), ampiasao ireto baiko manaraka ireto: PS C:> adb shell " opkg –force-depends –force-reinstall –force-overwrite install /tmp/”

Mametraka artifacts ho an'ny sehatra Linux
Ampiasao ireto baiko manaraka ireto:
$ adb root $ adb disable-verity $ adb reboot $ adb wait-for-device $ adb root $ adb remount $ adb shell mount -o remount,rw / $ adb shell "mkdir -p /tmp" $ adb push /tmp Raha ny fonosana dia ipk (ho an'ny QCS8550.LE.1.0): $ adb shell “opkg –force-depends –force-reinstall –force-overwrite install /tmp/”

Diovy ny sary docker
Aorian'ny famitana ny workflow developer dia tokony hodiovina ny tontolon'ny docker mba hanafaka ny fitahirizana ao amin'ny kapila. Ny fanadiovana ny docker dia manala ireo fitoeran-javatra sy sary tsy ampiasaina, ka manafaka ny habaka kapila.
Ampiasao ireto baiko manaraka ireto mba hanadiovana ny sary docker:

  1. Alefaso amin'ny toeram-piasana Linux ity baiko manaraka ity:
    $cd /tflite-tools
  2. Atsaharo ny kaontenera:
    $ tflite-tools-host-stop-container ./targets/le-tflite-tools-builder.json
  3. Esory ny fitoeran-javatra:
    $ tflite-tools-host-rm-container ./targets/le-tflite-tools-builder.json
  4. Esory ny sary docker taloha:
    $ tflite-tools-host-images-cleanup

Mamaha olana ny fametrahana docker

Raha ny baiko tflite-tools-host-build-image dia mamerina ny Nospace tavela amin'ny hafatra fitaovana, dia afindrao ny lahatahiry docker mankany / local / mnt. Ataovy izao manaraka izao mba hamahana ny setup:

  1. Avereno ny docker efa misy files:
    $ tar -zcC /var/lib docker > /mnt/pd0/var_lib_docker-backup-$(daty + %s).tar.gz
  2. Atsaharo ny docker:
    $ service docker stop
  3. Hamarino fa tsy misy fizotry ny docker mandeha:
    $ ps faux | grep docker
  4. Jereo ny firafitry ny lahatahiry docker:
    $ sudo ls /var/lib/docker/
  5. Alefaso amin'ny fizarazarana vaovao ny lahatahiry docker:
    $ mv /var/lib/docker /local/mnt/docker
  6. Manaova symlink amin'ny lahatahiry docker ao amin'ny fizarana vaovao:
    $ ln -s /local/mnt/docker /var/lib/docker
  7. Ataovy azo antoka fa tsy miova ny firafitry ny lahatahiry docker:
    $ sudo ls /var/lib/docker/
  8. Manomboka docker:
    $ serivisy docker manomboka
  9. Avereno indray ny kaontenera rehetra rehefa avy namindra ny lahatahiry docker.

Mamorona TFLite SDK miaraka amin'ny toeram-piasana Linux

Ny workflow TFLite SDK dia azo alefa tsy misy kaontenera mampiasa ny toeram-piasana Linux. Ity fomba ity dia fomba hafa amin'ny fampiasana kaontenera.
Raha te hampifanaraka sy hananganana ny Qualcomm TFLite SDK dia ataovy izao manaraka izao:

  1. Mamorona lahatahiry amin'ny mpampiantrano file rafitra handrindrana ny toeram-piasana Qualcomm TFLite SDK. Ho an'ny example:
    $mkdir
    $cd
  2. Alao ny kaody loharano Qualcomm TFLite SDK avy amin'ny CodeLinaro:
    $ repo init -u https://git.codelinaro.org/clo/le/sdktflite/tflite/ manifest.git –repo-branch=qc/stable –repo-url=git://git.quicinc.com/ tools/repo.git -m TFLITE.SDK.1.0.r1-00200-TFLITE.0.xml -b release && repo sync -qc –no-tags -j8 && repo sync -qc –no-tags -j8
  3. 3. Amboary ny fanitsiana JSON file misy ao /tflite-tools/ targets/le-tflite-tools-builder.json miaraka amin'ireto fidirana manaraka ireto
    "Sary": "tflite-tools-builder", "Device_OS": "le", "Additional_tag”: “”, “TFLite_Version”: “2.11.1”, “Delegates”: { “Hexagon_delegate”: “OFF”, “Gpu_delegate”: “ON”, “Xnnpack_delegate”: “ON” }, “TFLite_rsync_destination”: “ ”, “SDK_path”: “/build-qti-distro-fullstack-perf/tmpglibc/deploy/sdk>”, “SDK_shell_file”: “”, “Base_Dir_Location”: “”
    Raha mila fanazavana fanampiny momba ny fidirana voalaza ao amin'ny configuration json file, jereo ny Docker.md readme file amin'ny /tflite-tools/.
    FANAMARIHANA Ho an'ny QCS8550, delege Hexagon DSP dia tsy tohanana
  4. Loharano ny script mba hametrahana ny tontolo iainana:
    $cd /tflite-tools
    $ loharano ./scripts/host/host_env_setup.sh
  5. Amboary ny Qualcomm TFLite SDK.
    $ tflite-tools-setup targets/le-tflite-tools-builder.json
  6.  Ampandehano amin'ny shell Linux iray ihany ireto baiko fampiasa manaraka ireto mba hanangonana ny artifacts TFLite SDK 
    TFLite_rsync_destination.
    $ tflite-tools-host-get-rel-package targets/le-tflite-tools-builder.json
    $ tflite-tools-host-get-dev-package targets/le-tflite-tools-builder.json
  7. Mametraka artifact mifototra amin'ny rafitra miasa
    • Ho an'ny sehatra Windows, amin'ny PowerShell, ampiasao ity script manaraka ity
      PS C:> adb root PS C:> adb disable-verity PS C:> adb reboot PS C:> adb wait-for-device PS C:> adb root PS C:> adb remount PS C:> adb shell mount - o remount,rw / PS C:> adb shell "mkdir -p / tmp" PS C:> adb push / tmp
      Raha ipk ny fonosana (ho an'ny QCS8550.LE.1.0), ampiasao ireto baiko manaraka ireto:
      PS C:> adb shell "opkg -force-depends -force-reinstall -forceoverwrite install /tmp/
      Ho an'ny sehatra Linux, ampiasao ity script manaraka ity:
      $ adb root $ adb disable-verity $ adb reboot $ adb wait-for-device $ adb root $ adb remount $ adb shell mount -o remount,rw / $ adb shell "mkdir -p /tmp" $ adb push /tmp Raha ipk ny fonosana (ho an'ny QCS8550.LE.1.0):
      $ adb shell "opkg -force-depends -force-reinstall -force-overwrite install /tmp/"

Mamorona artifacts Qualcomm TFLite SDK ho an'ny fananganana QIM SDK

Raha hampiasa ny artifact novokarina mba ahafahan'ny Qualcomm TFLite SDK GStreamer plug-in ao amin'ny QIM SDK, ataovy izao manaraka izao:

  1. Fenoy ny dingana ao amin'ny Sync ary manangana Qualcomm TFLite SDK, ary araho ity baiko manaraka ity: $ tflite-tools-host-get-dev-tar-package ./targets/le-tflite-toolsbuilder.json
    A tara file dia miteraka. Izy io dia misy ny Qualcomm TFLite SDK amin'ny lalana omena ao “TFLite_rsync_destination”
  2. Mba hahafahan'ny Qualcomm TFLite SDK GStreamer plug-in, ampiasao ny tara file ho tohan-kevitra ao amin'ny konfigurasi JSON file ho an'ny fananganana QIM SDK.
    Raha mila fanazavana momba ny fanangonana QIM SDK dia jereo ny Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide (80-50450-51).

Amboary tsikelikely ny Qualcomm TFLite SDK

Raha sambany ianao no manangana ny Qualcomm TFLite SDK dia jereo ny Mamorona fitaovana Qualcomm TFLite SDK - workflow developer. Ny tontolon'ny fanorenana mitovy dia azo ampiasaina indray amin'ny fampandrosoana mitombo.
Ireo kojakoja mpanampy (ao anatin'ny kaontenera) voalaza ao amin'ny sary dia azon'ny mpamorona mba hanangonana rindranasa sy plug-in novana.
Sary 5-1 Workflow ao anaty container

fifandraisana

Rehefa vita ny fanovana kaody ao amin'ny lahatahiry kaody dia ataovy izao manaraka izao:

  1. Manangona kaody novaina:
    $ tflite-tools-incremental-build-install
  2. Kaody nanangona fonosana:
    $ tflite-tools-ipk-rel-pkg na $ tflite-tools-deb-rel-pkg
  3. Ampifanaraho amin'ny mpampiantrano ny fonosana famoahana file rafitra:
    $ tflite-tools-remote-sync-ipk-rel-pkg
    Or
    $ tflite-tools-remote-sync-deb-rel-pkg
  4. Manomàna fonosana dev:
    $ tflite-tools-ipk-dev-pkg
    Ny artifact natambatra dia hita ao amin'ny lahatahiry TFLite_rsync_destination voalaza ao amin'ny JSON file, izay azo adika amin'ny lahatahiry rehetra.

Miaraha miasa amin'ny QNN ivelany TFLite Delegate

Ny Delege ivelany TFLite dia ahafahanao mampandeha ny modelyo (ampahany na manontolo) amin'ny mpanatanteraka hafa mampiasa tranomboky nomen'ny antoko fahatelo azo itokisana toa an'i QNN avy amin'ny Qualcomm. Ity mekanika ity dia afaka mampiasa karazana accelerators amin'ny fitaovana toy ny GPU na Hexagon Tensor Processor (HTP) ho an'ny fanatsoahan-kevitra. Izany dia manome ny mpamorona fomba malefaka sy misaraka avy amin'ny TFLite default mba hanafainganana ny fanatsoahan-kevitra.

Fepetra takiana:

  • Ataovy azo antoka fa mampiasa toeram-piasana Ubuntu ianao hanesorana ny stack QNN AI.
  • Ataovy azo antoka fa mampiasa QNN version 2.14 ianao miaraka amin'ny Qualcomm TFLite SDK

Ny Qualcomm TFLite SDK dia azo atao ny mampandeha inferences amin'ny QNN back-end maromaro amin'ny alàlan'ny TFLite External Delegate for QNN. Ny modely TFLite miaraka amin'ny solontena flatbuffer mahazatra dia azo atao amin'ny GPU sy HTP.
Aorian'ny fametrahana ny fonosana Qualcomm TFLite SDK amin'ny fitaovana, ataovy izao manaraka izao mba hametrahana ny tranomboky QNN amin'ny fitaovana.

  1. Ampidino ny Qualcomm Package Manager 3 ho an'ny Ubuntu.
    a. Tsindrio https://qpm.qualcomm.com/, ary tsindrio Tools.
    b. Ao amin'ny tontonana havia, ao amin'ny sehatry ny Search Tools, soraty ny QPM. Avy amin'ny lisitry ny System OS, mifidiana Linux.
    Ny valin'ny fikarohana dia mampiseho lisitry ny Qualcomm Package Managers.
    c. Safidio ny Qualcomm Package Manager 3 ary alao ny fonosana Linux debian.
  2. Mametraka Qualcomm Package Manager 3 ho an'ny Linux. Ampiasao ity baiko manaraka ity:
    $ dpkg -i –force-overwrite /path/to/
    QualcommPackageManager3.3.0.83.1.Linux-x86.deb
  3. Ampidino ny Qualcomm®
    AI Engine Direct SDK amin'ny toeram-piasana Ubuntu.
    a. Tsindrio https://qpm.qualcomm.com/ ary tsindrio Tools.
    b. Ao amin'ny tontonana havia, ao amin'ny sehatry ny Search Tools, soraty AI stack. Avy amin'ny lisitry ny System OS, mifidiana Linux.
    A Aseho ny lisitra midina misy motera stack AI isan-karazany.
    c. Kitiho ny Qualcomm® AI Engine Direct SDK ary alaivo ny fonosana Linux v2.14.0.
  4. Ampidiro ny Qualcomm® AI Engine Direct SDK amin'ny toeram-piasana Ubuntu.
    a. Ampidiro ny lisansa:
    qpm-cli –license-activate qualcomm_ai_engine_direct
    b Mametraka AI Engine Direct SDK:
    $ qpm-cli –extract /path/to/ qualcomm_ai_engine_direct.2.14.0.230828.Linux-AnyCPU.qik
  5. Alefaso any amin'ny fitaovana avy amin'ny toeram-piasana Ubuntu miaraka amin'ny adb push.
    $ cd /opt/qcom/aistack/qnn/2.14.0.230828 $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnDsp.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnDspV66Stub.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnGpu.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnHtpPrepare.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnHtp.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnHtpV68Stub.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnSaver.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnSystem.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnTFLiteDelegate.so /usr/lib/ $ adb push ./lib/hexagon-v65/ tsy misy sonia/libQnnDspV65Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v66/unsigned/libQnnDspV66Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v68/unsigned/ libQnnHtpV68Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v69/unsigned/libQnnHtpV69Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v73/unsigned/libQnnSkel.so izany /usr/lib/rfsa/adsp

Andramo ny Qualcomm TFLite SDK

Ny Qualcomm TFLite SDK dia manome ohatra sasanyample applications, izay azo ampiasaina hanamarinana, benchmark, ary hahazoana ny fahamarinan'ny maodely tian'ny mpamorona tombana.
Aorian'ny fametrahana ny fonosana Qualcomm TFLite SDK amin'ny fitaovana, dia misy ny fotoana fampandehanana amin'ny fitaovana hampandehanana ireo example applications.
fepetra takiana mialohan'ny ahafahana
Mamorona ireto lahatahiry manaraka ireto amin'ny fitaovana:
$ adb shell "mkdir / data / Models"
$ adb shell "mkdir / data / Labels"
$ adb shell "mkdir / data / profiling"

Sary etikety

Ny sary etikety dia fitaovana nomen'ny Qualcomm TFLite SDK izay mampiseho ny fomba ahafahanao mampiditra maodely TensorFlow Lite efa voaofana sy niova fo ary mampiasa azy hamantatra zavatra ao anaty sary. Fepetra takiana:
Download sampmodely sy sary:
Afaka mampiasa modely mifanentana ianao, fa ity maodely MobileNet v1 manaraka ity dia manolotra fampisehoana tsara momba ny modely voaofana hamantatra zavatra 1000 samihafa.

  • Makà modely
    $ curl https://storage.googleapis.com/download.tensorflow.org/models/mobilenet_v1_2018_02_22/mobilenet_v1_1.0_224.tgz | tar xzv -C /data $ mv /data/mobilenet_v1_1.0_224.tflite /data/Models/
  • Makà etikety
    $ curl https://storage.googleapis.com/download.tensorflow.org/models/mobilenet_v1_1.0_224_frozen.tgz | tar xzv -C /data mobilenet_v1_1.0_224/ labels.txt
    $ mv /data/mobilenet_v1_1.0_224/labels.txt /data/Labels/
    Rehefa avy mifandray amin'ny Qualcomm TFLite SDK docker container ianao dia hita ao amin'ny:
    "/mnt/tflite/src/tensorflow/tensorflow/lite/examples/label_image/testdata/grace_hopper.bmp”
    a. Tosika ity file to/data/Labels/
    b. Alefaso ny baiko:
    $ adb shell "label_image -l /data/Labels/labels.txt -i /data/Labels/ grace_hopper.bmp -m /data/Models/mobilenet_v1_1.0_224.tflite -c 10 -j 1 -p 1"

Benchmark

Ny Qualcomm TFLite SDK dia manome ny fitaovana benchmarking kajy ny fampandehanana ny fotoana mihazakazaka isan-karazany.
Mandrefy sy manao kajy antontan'isa ho an'ireto metrika zava-bita manan-danja manaraka ireto ireto fitaovana marika ireto:

  • Fotoana fanombohana
  • Fotoan'ny famintinana ny toetry ny hafanana
  • Fotoana inference amin'ny fanjakana tsy miova
  • Fampiasana fitadidiana mandritra ny fotoana fanombohana
  • Fampiasana fitadidiana ankapobeny

zavatra takiana alohan'ny

Tosika ireo modely hotsapaina avy amin'ny TFLite Model Zoo (https://tfhub.dev/) to/data/Models/. Run the script manaraka ireto:  

  • XNN Pack
    $ adb shell “benchmark_model –graph=/data/Models/ — enable_op_profiling=true –use_xnnpack=true –num_threads=4 –max_secs=300 –profiling_output_csv_file=/data/profiling/”
  • GPU Delegate
    $ adb shell “benchmark_model –graph=/data/Models/ — enable_op_profiling=true –use_gpu=true –num_runs=100 –warmup_runs=10 — max_secs=300 –profiling_output_csv_file=/data/profiling/”
  • Delege ivelany
    GPU delegasiona ivelany QNN:
    Manaova inferences miaraka amin'ny modely mitsingevana:
    $ adb shell-command “benchmark_model –graph=/data/Models/ .tflite –external_delegate_path=libQnnTFLiteDelegate.so — external_delegate_options='backend_type:gpu;library_path:/usr/lib/ libQnnGpu.so;skel_library/librf: /adsp'”
    QNN Délégué External HTP:
    Manaova inferences miaraka amin'ny modely quant:
    $ adb shell-command “benchmark_model –graph=/data/Models/ .tflite –external_delegate_path=libQnnTFLiteDelegate.so — external_delegate_options='backend_type:htp;library_path:/usr/lib/ libQnnHtp.so;skel/librrary_library/libdir: /adsp'”

Fitaovana marina

Ny Qualcomm TFLite SDK dia manome fitaovana fahitsiana mba hanombanana ny fahamarinan'ny maodely miaraka amin'ny vanim-potoana samihafa.

  • Fanasokajiana miaraka amin'ny delegasiona GPU
    Ny dingana télécharger ny ilaina fileNy fitsapana dia azo jerena ao amin'ny: "/mnt/tflite/src/tensorflow/tensorflow/lite/tools/evaluation/tasks/imagenet_image_classificatio/README.md"
    Ny binary amin'ny fampandehanana ity fitaovana ity dia efa ao anatin'ny SDK, ka tsy mila manangana azy indray ny mpamorona.
    $ adb shell "image_classify_run_eval - model_file=/data/Models/ –ground_truth_images_path=/data/ — ground_truth_labels=/data/ –model_output_labels=/ data/ –delegate=gpu”
  • Famantarana zavatra miaraka amin'ny fonosana XNN
    $ adb shell “inf_diff_run_eval –model_file=/data/Models/ –delegate=xnnpac

Fampahafantarana ara-dalàna

Ny fidiranao sy ny fampiasanao an'ity antontan-taratasy ity, miaraka amin'ny fepetra rehetra, birao fanondroana files, sary, diagnostika ary fampahalalana hafa voarakitra ato (miaraka amin'ity "Documentation"), dia miankina amin'ny anao (anisan'izany ny orinasa na fikambanana ara-dalàna hafa solonao, miaraka "Ianao" na "Ianao") fanekena ny fepetra sy fepetra ("Fepetra fampiasana") voalaza etsy ambany. Raha tsy manaiky an'ireo fepetra fampiasana ireo ianao dia tsy afaka mampiasa an'ity Documentation ity ary handrava avy hatrany izay dika mitovy aminy.

  1. Fampandrenesana ara-dalàna.
    Ity Documentation ity dia natao ho anao irery ho an'ny fampiasanao anatiny miaraka amin'ireo vokatra sy tolotra serivisy an'ny Qualcomm Technologies, Inc. Ity Documentation ity dia tsy azo ovaina, ovaina na ovaina amin'ny fomba rehetra raha tsy misy ny fankatoavana an-tsoratra avy amin'ny Qualcomm Technologies. Fampiasana tsy nahazoana alalana na fampahafantarana izany
    Voarara tanteraka ny antontan-taratasy na ny fampahalalana voarakitra ato, ary manaiky ny hanome onitra an'i Qualcomm Technologies, mpiara-miasa aminy sy mpahazo alalana amin'ny fahavoazana na fatiantoka nanjo ny Qualcomm Technologies, ny mpiara-miasa aminy ary ny licence ianao noho ny fampiasana na fampahafantarana tsy nahazoana alalana an'ity Documentation ity, manontolo na ampahany. Ny Qualcomm Technologies, ny mpiara-miasa aminy ary ny licence dia mitazona ny zo sy ny fananana rehetra amin'ity Documentation ity. Tsy misy fahazoan-dàlana amin'ny marika, patanty, zon'ny mpamorona, zo fiarovana amin'ny asa saron-tava na zon'ny fananana ara-tsaina hafa omena na voatondro ao amin'ity Documentation ity na izay fampahalalana ambara eto, ao anatin'izany, fa tsy voafetra amin'ny fahazoan-dàlana hanaovana, fampiasana, fanafarana na amidio izay vokatra, serivisy na teknolojia izay ahitana ny fampahalalana rehetra ato amin'ity Documentation ity.
    ITY DOCUMENTS ITY DIA OMENA "TOY IZAY" TSY MISY ANARANA NA IZANY, NA AVOKATRA, NA ANTSOINA, na ara-dalàna, na amin'ny hafa. AMIN'NY FARANY AVY AMIN'NY LALANA, NY TEKNOLOHIAN'NY QUALCOMM, NY MPIARA-TOETRA SY NY MPAMPIASA AZY MANDIKA MANOKANA NY TANTARAN'NY LOHATENY REHETRA, NY FAHAFAHANA, NY TSY FANDROSOANA, NY FAHASALAMANA HO AN'NY TANJONA IZAY, NY FAHASALAMANA, NY FAHAMARINANA TSY MISY FAMPIANARANA NA AVY AMIN'NY FIANARANA NA FANDAHARANA. AKORY NY TEKNOLOJIA QUALCOMM, NA IZAY MIRAY AMIN'NY MPIARA-MIASA NA MPIANARANA AO, TSY HIANATRA AMINAO NA ANTOKO TELO AMIN'NY fandaniana, ny fatiantoka, ny fampiasàna, na ny hetsika na inona na inona mitranga na tontosainao amin'ny asa fanompoana.
    Ny kitapo vokatra, fitaovana ary fitaovana voalaza ato amin'ity Documentation ity dia mety mitaky anao hanaiky fepetra sy fepetra fanampiny alohan'ny hidirana na hampiasa ireo entana ireo.
    Ny angon-drakitra ara-teknika voatondro ato amin'ity Documentation ity dia mety iharan'ny lalàna mifehy ny fanondranana any Etazonia sy ny hafa. Voarara tanteraka ny fampitana mifanohitra amin'i Etazonia sy izay lalàna manan-kery hafa.
    Tsy misy na inona na inona ato amin'ity Documentation ity dia tolotra hivarotana ireo singa na fitaovana resahina ato.
    Ity tahirin-kevitra ity dia azo ovaina tsy misy fampahafantarana fanampiny. Raha misy fifandirana eo amin'ireo fepetra fampiasana ireo sy ny WebSite Fepetra fampiasana amin'ny www.tatamoters.com na ny politikan'ny tsiambaratelo Qualcomm resahina ao www.tatamoters.com, hifehy ireo fepetra fampiasana ireo. Raha misy fifandirana eo amin'ireo fepetra fampiasana ireo sy izay fifanarahana hafa (voasoratra na tsindrio) nataonao sy Qualcomm Technologies na mpiara-miasa amin'ny Qualcomm Technologies momba ny fidiranao sy ny fampiasanao an'ity Documentation ity, dia hifehy ny fifanarahana hafa. .
    Ireo fepetra fampiasana ireo dia fehezin'ny sy adika ary ampiharina araka ny lalàn'ny Fanjakan'i Kalifornia, ankoatry ny Fifanarahan'ny Firenena Mikambana momba ny Varotra Entam-barotra Iraisam-pirenena, tsy miraharaha ny fitsipiky ny lalàna. Ny fifandirana rehetra, fitakiana na fifanolanana mipoitra na mifandray amin'ireo fepetra fampiasana ireo, na ny fanitsakitsahana na ny maha-ara-dalàna an'ity, dia tsy hotsarain'ny fitsarana mahefa afa-tsy ao amin'ny fivondronan'i San Diego, State of California, ary ianao dia manaiky izany ny fahefana manokan'ny fitsarana toy izany noho izany.
  2. Fanambarana momba ny marika sy ny vokatra.
    Qualcomm dia marika na marika voasoratra anarana an'ny Qualcomm Incorporated. Arm dia marika voasoratra anarana ao amin'ny Arm Limited (na ny sampany) any Etazonia sy/na any an-kafa. Ny marika teny Bluetooth® dia marika voasoratra anarana an'ny Bluetooth SIG, Inc. Ny vokatra sy ny marika hafa resahina ato amin'ity Documentation ity dia mety ho mari-pamantarana na mari-pamantarana nosoratan'ny tompony.
    Ny vokatra marika Snapdragon sy Qualcomm resahina ato amin'ity Documentation ity dia vokatra avy amin'ny Qualcomm Technologies, Inc. sy/na ireo sampandraharahany. Ny teknolojia patentina Qualcomm dia nahazo alalana avy amin'ny Qualcomm Incorporated.

Logo orinasa

Documents / Loharano

Qualcomm TensorFlow Lite SDK Software [pdf] Torolàlana ho an'ny mpampiasa
TensorFlow Lite SDK Software, Lite SDK Software, SDK Software, Software

References

Lahatsoratra mifandraika

Mametraha hevitra

Tsy havoaka ny adiresy mailakao. Voamarika ireo saha ilaina *