Qualcomm TensorFlow Lite SDK Программасынын Колдонуучусу
Ревизия тарыхы
| Ревизия | Дата | Description |
| AA | Сентябрь 2023 | Алгачкы чыгаруу |
| AB | Октябрь 2023 |
|
Qualcomm TFLite SDK куралдарына киришүү
Qualcomm TensorFlow Lite программалык камсыздоону иштеп чыгуу комплекти (Qualcomm TFLite SDK) шаймандары TensorFlow Lite негизин түзмөктөгү жасалма интеллекттин (AI) корутундусун камсыз кылат, бул тиркемени иштеп чыгуучуларга ылайыктуу AI тиркемелерин иштеп чыгууга же иштетүүгө көмөктөшөт.
Бул документ өз алдынча Qualcomm TFLite SDK компиляциялоо жана иштеп чыгуу чөйрөсүн орнотуу боюнча этап-этабы менен көрсөтмөлөрдү берет. Бул иштеп чыгуучунун иштөө процессин камсыздайт, ал төмөнкүлөрдү камтыйт:
- иштеп чыгуучу Qualcomm TFLite SDK түзө ала турган куруу чөйрөсүн орнотуу
- өз алдынча Qualcomm TFLite SDK тиркемелерин иштеп чыгуу
Колдоо үчүн, караңыз:https://www.qualcomm.com/колдоо. Төмөнкү сүрөттө Qualcomm TFLite SDK иш процессинин кыскача мазмуну келтирилген: ”
Сүрөт 1-1 Qualcomm TFLite SDK иштөө процесси
Курал платформа SDK жана конфигурацияны талап кылат file (JSON форматы) Qualcomm TFLite SDK артефакттарын түзүү үчүн.
Мультимедиа, AI жана компьютердик көрүү (CV) подсистемаларын колдонуу менен аягына чейин тиркемени куруу үчүн, Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide (80-50450-51) караңыз.
Таблица CodeLinaro чыгаруу менен Qualcomm TFLite SDK версиясынын картасын көрсөтөт tag:
Таблица 1-1 Чыгаруу маалыматы
| Qualcomm TFLite SDK версиясы | CodeLinaro чыгаруу tag |
| V1.0 | Qualcomm TFLITE.SDK.1.0.r1-00200-TFLITE.0 |
Таблица 1-2 Колдоого алынган Qualcomm TFLite SDK версиялары
| Qualcomm TFLite SDK версиясы | Колдоого алынган программалык продукт | Колдоого алынган TFLite версиясы |
| V1.0 | QCS8550.LE.1.0 |
|
|
||
|
||
|
||
|
||
|
Шилтемелер
Таблица 1-3 Тиешелүү документтер
| Title | Сан |
| Qualcomm | |
| 00067.1 QCS8550.LE.1.0 үчүн релиз эскертүүсү | RNO-230830225415 |
| Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide | 80-50450-51 |
| Qualcomm Intelligent Multimedia SDK (QIM SDK) маалымдамасы | 80-50450-50 |
| Ресурстар | |
| https://source.android.com/docs/setup/start/initializing | – |
Таблица 1-4 Акронимдер жана аныктамалар
| Акроним же термин | Аныктама |
| AI | Жасалма интеллект |
| BIOS | Негизги киргизүү/чыгарма системасы |
| CV | Компьютердик көрүнүш |
| IPK | Анын пакети file |
| QIM SDK | Qualcomm Intelligent мультимедиа программалык камсыздоону иштеп чыгуу комплекти |
| SDK | Программалык камсыздоону иштеп чыгуу комплекти |
| TFLite | TensorFlow Lite |
| XNN | Xth эң жакын кошуна |
Qualcomm TFLite SDK куралдары үчүн куруу чөйрөсүн орнотуңуз
Qualcomm TFLite SDK куралдары булак түрүндө чыгарылат; ошондуктан, аны компиляциялоо үчүн куруу чөйрөсүн түзүү милдеттүү, бирок бир жолку орнотуу.
Пререквизиттер
- Linux хост машинасына sudoaccess бар экенине ынаныңыз.
- Linux хост версиясы Ubuntu 18.04 же Ubuntu 20.04 экенин текшериңиз.
- Хост тутумунда максималдуу колдонуучу сааттарын жана максималдуу колдонуучу инстанцияларын көбөйтүү.
- Төмөнкү буйрук саптарын кошуңуз/etc/sysctl.confand хостту кайра жүктөө: fs.inotify.max_user_instances=8192 fs.inotify.max_user_watches=542288
Керектүү хост пакеттерин орнотуу
Хост пакеттери Linux хост машинасына орнотулган.
Хост топтомдорун орнотуу үчүн буйруктарды аткарыңыз: $ sudo apt install -y jq $ sudo apt install -y texinfo chrpath libxml-simple-perl openjdk-8-jdkheadless
Ubuntu 18.04 жана андан жогору үчүн:
$ sudo apt-get орнотуу git-core gnupg flex bison куруу-essential zip curl zlib1g-dev gcc-multilib g++-multilib libc6-dev-i386 libncurses5 lib32ncurses5- dev x11proto-core-dev libx11-dev lib32z1-dev libgl1-mesa-dev libxml2-utilsfigs
Көбүрөөк маалымат үчүн https://s караңызource.android.com/docs/setup/start/initializing.
Докер чөйрөсүн орнотуңуз
Докер - бул программалык камсыздоону куруу, иштеп чыгуу, сыноо жана жеткирүү үчүн колдонулган платформа. SDK компиляциялоо үчүн докер Linux хост машинасында конфигурацияланышы керек.
Linux хост машинасында CPU виртуалдаштыруу иштетилгенин текшериңиз. Эгер ал иштетилбесе, аны негизги киргизүү/чыгарма тутумунун (BIOS) конфигурация орнотууларынан иштетүү үчүн төмөнкүнү аткарыңыз:
- BIOS'тан виртуалдаштырууну иштетүү:
a. Система жүктөлүп жатканда BIOS'ка кирүү үчүн F1 же F2 баскычтарын басыңыз. BIOS терезеси көрсөтүлөт.
b. Өркүндөтүлгөн өтмөккө өтүңүз.
c. CPU Конфигурация бөлүмүндө, Виртуалдаштыруу технологиясын Иштетилген деп коюңуз.
a. Сактоо жана чыгуу үчүн F12 баскычын басыңыз, анан системаны өчүрүп күйгүзүңүз.
Бул кадамдар иштебесе, виртуалдаштырууну иштетүү үчүн система провайдеринин атайын көрсөтмөлөрүн аткарыңыз - Докердин бардык эски инстанцияларын алып салыңыз:
$ sudo apt docker-desktop жок кылуу
$ rm -r $HOME/.docker/рабочий стол
$ sudo rm /usr/local/bin/com.docker.cli
$ sudo apt purge docker-desktop - Докердин алыскы репозиторийин орнотуу:
$ sudo apt-get update $ sudo apt-get орнотуу ca-сертификаттарды curl gnupg lsb-релиз $ sudo mkdir -p /etc/apt/keyrings $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg — dearmor -o /etc/apt/keyrings/docker.gpg $ echo "deb [arch=$(dpkg –print-architecture) signed-by=/etc/apt/ keyrings/ docker.gpg] https:// download.docker.com/linux/ubuntu $ (lsb_release -cs) туруктуу” | sudo tee /etc/apt/sources.list.d/ docker.list > /dev/null - Докер кыймылдаткычын орнотуу:
$ sudo apt-get update $ sudo apt-get орнотуу docker-ce docker-ce-cli - Докер тобуна колдонуучу кошуу:
$ sudo groupadd докер $ sudo usermod -aG докер $USER - Системаны кайра жүктөө.
SDK платформасын түзүү
SDK платформасы Qualcomm TFLite SDK куралдарын компиляциялоо үчүн милдеттүү талап болуп саналат. Ал Qualcomm TFLite SDK талап кылган бардык платформа көз карандылыкты камсыз кылат.
SDK платформасын түзүү үчүн төмөнкүлөрдү аткарыңыз:
- Тандалган программалык продукту үчүн түзүүнү түзүңүз.
QCS8550.LE.1.0release түзүү боюнча нускамалар релиз эскертүүлөрүндө берилген. Чыгарылган эскертүүлөргө жетүү үчүн Шилтемелерди караңыз.
Сүрөттөр мурда курулган болсо, 2-кадамды аткарып, андан кийин таза түзүүнү түзүңүз. - Колдонуучунун мейкиндик сүрөттөрүн жана SDK платформасын түзүү үчүн төмөнкү буйрукту аткарыңыз:
QCS8550.LE.1.0 үчүн, kalama.conf дарегинде MACHINE_FEATURES ичинде qti-tflite-delegate машина өзгөчөлүгүн кошуңуз file жана чыгаруу эскертүүлөрүндөгү нускамаларга ылайык куруу чөйрөсүн булагы.
Курудан колдонуучу мейкиндигинин сүрөттөрүн жараткандан кийин, платформа SDK түзүү үчүн төмөнкү буйрукту аткарыңыз.
$ bitbake -fc populate_sdk qti-robotics-image
Qualcomm TFLite SDK куралдарын түзүңүз - иштеп чыгуучунун иш процесси
Qualcomm TFLite SDK куралдарынын иш процесси иштеп чыгуучудан конфигурацияны камсыз кылууну талап кылат file жарактуу киргизүү жазуулары менен. Tflite-tools долбоорунун жардамчы кабык скрипттери (Qualcomm TFLite SDK булак дарагында бар) Qualcomm TFLite SDK иш процессинде колдонулушу мүмкүн болгон кабык чөйрөсүн орнотуу үчүн жардамчы утилита функцияларын камсыз кылат.
Иштеп чыгуучу Qualcomm TFLite SDK долбоорлорун контейнердин ичинде курат жана tflite-tools тарабынан берилген утилиталарды колдонуу менен артефакттарды жаратат.
Qualcomm TFLite SDK контейнери курулгандан кийин, иштеп чыгуучу контейнерге тиркелип, үзгүлтүксүз иштеп чыгуу үчүн контейнер кабыгынын чөйрөсүндө жардамчы утилиталарды колдоно алат.
- USB/adb аркылуу Linux хостуна туташкан Qualcomm түзмөгүнө Qualcomm TFLite SDK артефакттарын орнотуу жөнүндө жобо бар.
- Ошондой эле Qualcomm TFLite SDK артефакттарын контейнерден Qualcomm түзмөгү туташтырылган башка хост машинасына көчүрүү жөнүндө жобо бар.
Төмөнкү сүрөттө Qualcomm TFLite SDK түзүү үчүн жардамчы скрипттерди колдонуу менен контейнер куруу чөйрөсүн орноткондон кийин жеткиликтүү болгон утилиталардын тизмеси келтирилген.
Сүрөт коммуналдык кызматтардын аткарылышынын ырааттуулугун көрсөтөт:
Сүрөт 4-3 Хосттагы утилиталардын ырааттуулугу
Qualcomm TFLite SDK синхрондоштуруу жана куруу
Qualcomm TFLite SDK докер сүрөтү түзүлгөндө түзүлөт. Qualcomm TFLite SDK синхрондоштуруу жана куруу үчүн, төмөнкүлөрдү аткарыңыз:
- Хостта каталог түзүңүз file системасы Qualcomm TFLite SDK жумушчу мейкиндигин синхрондоштуруу үчүн. үчүн
exampле: $mkdir $cd - CodeLinaro'дон Qualcomm TFLite SDK булак кодун алыңыз:
$ repo init -u https://git.codelinaro.org/clo/le/sdktflite/tflite/ manifest.git –repo-branch=qc/stable –repo-url=git://git.quicinc.com/ tools/repo.git -m TFLITE.SDK.1.0.r1-00200-TFLITE.0.xml -b чыгаруу && репо синхрондоштуруу -qc –no-tags -j - Хостта каталог түзүңүз file докерге орнотула турган система. Мисалы үчүнample: mkdir-p / Бул каталогду Linux хост машинасынын каалаган жеринде түзсө болот жана ал Qualcomm TFLite SDK долбоору синхрондоштуруудан көз каранды эмес. Иш процесси контейнердин ичинде аяктагандан кийин, Qualcomm TFLite SDK артефакттарын бул кадамда түзүлгөн каталогдон тапса болот.
- JSON конфигурациясын түзөтүңүз file /tflite-tools/ targets/le-tflite-tools-builder.json ичинде төмөнкү жазуулар менен көрсөтүлөт:
“Image”: “tflite-tools-builder”, “Device_OS”: “le”, “Кошумча_tag”: “”, “TFLite_Version”: “2.11.1”, “Delegates”: { “Hexagon_delegate”: “OFF”, “Gpu_delegate”: “ON”, “Xnnpack_delegate”: “ON” }, “TFLite_rsync_destination”: “ /", "SDK_path": "/build-qti-distro-fullstack-perf/tmpglibc/deploy/sdk>", "SDK_shell_file”: “”, “Base_Dir_Location”: “” }
json конфигурациясында айтылган жазуулар жөнүндө көбүрөөк маалымат алуу үчүн file, Docker.md Readme караңыз file /tflite-tools/ дарегинде.
ЭСКЕРТҮҮ QCS8550 үчүн Qualcomm® Hexagon™ DSP делегаты колдоого алынбайт. - Айлана-чөйрөнү орнотуу үчүн скрипт булагы:
$ CD /tflite-tools $ source ./scripts/host/docker_env_setup.sh - Qualcomm TFLite SDK докер сүрөтүн түзүңүз: $ tflite-tools-host-build-image ./targets/le-tflite-tools-builder.json Эгер куруу жөндөөсү ишке ашпай калса, докердин орнотулушун оңдоону караңыз. Ийгиликтүү аяктагандан кийин, төмөнкү билдирүү көрсөтүлөт: "Абал: Сүрөттү куруу ийгиликтүү аяктады!!" Бул кадамды иштетүү Qualcomm TFLite SDK да түзөт.
- Qualcomm TFLite SDK докер контейнерин иштетиңиз. Бул контейнер менен башталат tags JSON конфигурациясында берилген file. $tflite-tools-host-run-container ./targets/le-tflite-tools-builder.json
- Мурунку кадамдан башталган контейнерге бекитиңиз.
$ докер тиркелет
Qualcomm TFLite SDK түзүлдү жана артефакттарды колдонууга даяр же андан ары колдонууга болот
QIM SDK TFLite плагинди түзүү үчүн колдонулат.
Түзмөктү хостко туташтыруу жана артефакттарды жайылтуу]
Компиляциядан кийин, түзмөктү хостко туташтыруу жана жайгаштыруу үчүн эки механизм бар
Qualcomm TFLite SDK артефакттары.
- Жергиликтүү Linux хостуна туташкан түзмөк:
Иштеп чыгуучу аппаратты жумушчу станцияга туташтырат жана Qualcomm TFLite SDK артефакттарын контейнерден түз түзмөккө орнотот (QCS8550). - Алыскы хостко туташкан түзмөк:
Иштеп чыгуучу аппаратты алыскы жумушчу станцияга туташтырат жана алар Windows жана Linux платформаларында пакет менеджеринин орнотуучу буйруктарын түзмөккө Qualcomm TFLite SDK артефакттарын орнотуу үчүн колдоно алышат (QCS8550)
Сүрөт 4-4 Түзмөк тактасын иштеп чыгуучуга жана алыскы жумушчу станцияга туташтыруу
Аппаратты жумушчу станцияга туташтырыңыз
Түзмөк жумушчу станцияга туташтырылган жана өнүктүрүү контейнери түзмөккө USB/ADB аркылуу кире алат.
Сүрөттө сtagQualcomm TFLite SDK иш процессинин ырааттуулугунда:
- Артефакттарды түзмөккө орнотуу үчүн төмөнкү буйруктарды аткарыңыз:
$ tflite-куралдар-түзмөк-даярдоо
$ tflite-tools-device-deploy - Артефакттарды жок кылуу үчүн, төмөнкү буйрукту аткарыңыз:
$ tflite-tools-түзмөк-пакеттерди алып салуу
Түзмөктү алыскы машинага туташтырыңыз
Түзмөк алыскы машинага туташтырылган жана Qualcomm TFLite SDK контейнери түзмөккө USB/жарнак б аркылуу кире албайт.
Сүрөттө сtagQualcomm TFLite SDK иш процессинин ырааттуулугунда:
Артефакттарды алыскы машинага көчүрүү үчүн tflite-tools контейнеринде төмөнкү буйруктарды аткарыңыз
түзмөктөгү пакет менеджерине жараша:
$ tflite-куралдар-remote-синхрондоштуруу-ipk-rel-pkg
ЭСКЕРТҮҮ Алыскы машина маалыматы JSON конфигурациясында берилген file.
Windows платформасы үчүн артефакттарды орнотуу
Qualcomm TFLite SDK артефактылары алыскы машинанын иштөө тутумунун негизинде түзмөккө орнотулушу мүмкүн.
Windows платформасы үчүн төмөнкүнү аткарыңыз:
PowerShellде төмөнкү скриптти колдонуңуз: PS C:
> adb root PS C:> adb disable-verity PS C:> adb reboot PS C:> adb күтүү түзмөк PS C:> adb root PS C:> adb remount PS C:> adb shell mount -o remount, rw / PS C:> adb shell “mkdir -p /tmp” PS C:> adb push /tmp Эгерде пакет ipk болсо (QCS8550.LE.1.0 үчүн), төмөнкү буйруктарды колдонуңуз: PS C:> adb shell “ opkg – күчкө көз каранды – күч-кайра орнотуу – күч менен кайра жазуу – орнотуу /tmp/”
Linux платформасы үчүн артефакттарды орнотуу
Төмөнкү буйруктарды колдонуңуз:
$ adb root $ adb disable-verity $ adb reboot $ adb wait-for-device $ adb root $ adb remount $ adb shell mount -o remount,rw / $ adb shell “mkdir -p /tmp” $ adb push /tmp Эгерде пакет IPK (QCS8550.LE.1.0 үчүн): $ adb shell “opkg –force-depends –force-reinstall –force-overwrite install /tmp/”
Докер сүрөтүн тазалоо
Иштеп чыгуучунун иш процессин аяктагандан кийин, дисктеги сактагычты бошотуу үчүн докер чөйрөсүн тазалоо керек. Докерди тазалоо пайдаланылбаган контейнерлерди жана сүрөттөрдү жок кылып, дисктеги мейкиндикти бошотот.
Докер сүрөтүн тазалоо үчүн төмөнкү буйруктарды колдонуңуз:
- Linux жумушчу станциясында төмөнкү буйрукту иштетиңиз:
$ CD /tflite куралдары - Контейнерди токтотуу:
$ tflite-tools-host-stop-container ./targets/ le-tflite-tools-builder.json - Контейнерди алып салуу:
$ tflite-tools-host-rm-контейнер ./targets/ le-tflite-tools-builder.json - Эски докер сүрөттөрүн алып салуу:
$ tflite-tools-host-images-тазалоо
Докерди орнотуудагы көйгөйлөрдү чечүү
Эгерде tflite-tools-host-build-image буйругу түзмөктө калган Nospace билдирүүсүн кайтарса, анда докер каталогун/local/mnt дегенге жылдырыңыз. Орнотуудагы көйгөйлөрдү чечүү үчүн төмөнкүлөрдү аткарыңыз:
- Учурдагы докердин камдык көчүрмөсүн сактаңыз files:
$ tar -zcC /var/lib докер > /mnt/pd0/var_lib_docker-backup-$(дата + %s).tar.gz - Докерди токтотуу:
$ кызматы докер аялдамасы - Эч кандай докер процесси иштебей турганын текшериңиз:
$ ps жасалма | grep докер - Докер каталогунун түзүлүшүн текшерүү:
$ sudo ls /var/lib/docker/ - Докер каталогун жаңы бөлүмгө жылдырыңыз:
$ mv /var/lib/docker /local/mnt/docker - Жаңы бөлүмдө докер каталогуна символдук шилтеме жасаңыз:
$ ln -s /local/mnt/docker /var/lib/docker - Докер каталогунун структурасы өзгөрүүсүз калганын текшериңиз:
$ sudo ls /var/lib/docker/ - Докерди баштоо:
$ кызматы докердин башталышы - Докер каталогун жылдыргандан кийин бардык контейнерлерди кайра иштетиңиз.
Linux жумушчу станциясы менен TFLite SDK түзүңүз
TFLite SDK иш процессин Linux жумушчу станциясын колдонгон контейнерлерсиз иштетүүгө болот. Бул процедура контейнерлерди колдонууга альтернатива болуп саналат.
Qualcomm TFLite SDK синхрондоштуруу жана куруу үчүн, төмөнкүлөрдү аткарыңыз:
- Хостта каталог түзүңүз file системасы Qualcomm TFLite SDK жумушчу мейкиндигин синхрондоштуруу үчүн. Мисалы үчүнampле:
$mkdir
$cd - CodeLinaro'дон Qualcomm TFLite SDK булак кодун алыңыз:
$ repo init -u https://git.codelinaro.org/clo/le/sdktflite/tflite/ manifest.git –repo-branch=qc/stable –repo-url=git://git.quicinc.com/ tools/repo.git -m TFLITE.SDK.1.0.r1-00200-TFLITE.0.xml -b чыгаруу && репо синхрондоштуруу -qc –no-tags -j8 && репо синхрондоштуруу -qc –жок-tags -j8 - 3. JSON конфигурациясын түзөтүңүз file ичинде бар /tflite-tools/ targets/le-tflite-tools-builder.json төмөнкү жазуулар менен
“Image”: “tflite-tools-builder”, “Device_OS”: “le”, “Кошумча_tag”: “”, “TFLite_Version”: “2.11.1”, “Delegates”: { “Hexagon_delegate”: “OFF”, “Gpu_delegate”: “ON”, “Xnnpack_delegate”: “ON” }, “TFLite_rsync_destination”: “ ”, “SDK_path”: “/build-qti-distro-fullstack-perf/tmpglibc/deploy/sdk>”, “SDK_shell_file”: “”, “Base_Dir_Location”: “”
json конфигурациясында айтылган жазуулар жөнүндө көбүрөөк маалымат алуу үчүн file, Docker.md Readme караңыз file саат /tflite-tools/.
ЭСКЕРТҮҮ QCS8550 үчүн, Hexagon DSP делегаты колдоого алынбайт - Айлана-чөйрөнү орнотуу үчүн скрипт булагы:
$ CD /tflite куралдары
$ source ./scripts/host/host_env_setup.sh - Qualcomm TFLite SDK түзүңүз.
$ tflite-tools-жөндөө максаттары/le-tflite-tools-builder.json - TFLite SDK артефакттарын чогултуу үчүн ошол эле Linux кабыгында төмөнкү утилита буйруктарын иштетиңиз
TFLite_rsync_destination.
$ tflite-tools-host-get-rel-package targets/le-tflite-tools-builder.json
$ tflite-tools-host-get-dev-package targets/le-tflite-tools-builder.json - Иштөө тутумунун негизинде артефакттарды орнотуңуз
- Windows платформасы үчүн, PowerShellде, төмөнкү скриптти колдонуңуз
PS C:> adb root PS C:> adb disable-verity PS C:> adb reboot PS C:> adb күтүү түзмөк PS C:> adb root PS C:> adb remount PS C:> adb shell mount - o remount,rw / PS C:> adb shell “mkdir -p /tmp” PS C:> adb push /tmp
Топтом ipk болсо (QCS8550.LE.1.0 үчүн), төмөнкү буйруктарды колдонуңуз:
PS C:> adb shell “opkg –force-depends –force-reinstall –forceoverwrite install /tmp/
Linux платформасы үчүн төмөнкү сценарийди колдонуңуз:
$ adb root $ adb disable-verity $ adb reboot $ adb wait-for-device $ adb root $ adb remount $ adb shell mount -o remount,rw / $ adb shell “mkdir -p /tmp” $ adb push /tmp Эгерде пакет IPK болсо (QCS8550.LE.1.0 үчүн):
$ adb shell “opkg –force-depends –force-reinstall –force-overwrite install /tmp/”
- Windows платформасы үчүн, PowerShellде, төмөнкү скриптти колдонуңуз
QIM SDK түзүү үчүн Qualcomm TFLite SDK артефакттарын жаратыңыз
QIM SDK ичинде Qualcomm TFLite SDK GStreamer плагинин иштетүү үчүн түзүлгөн артефакттарды колдонуу үчүн, төмөнкүлөрдү аткарыңыз:
- Шайкештештирүүдө процедураны бүтүрүп, Qualcomm TFLite SDK куруңуз, андан соң төмөнкү буйрукту аткарыңыз: $ tflite-tools-host-get-dev-tar-package ./targets/le-tflite-toolsbuilder.json
чайыр file түзүлөт. Бул даректе көрсөтүлгөн жолдо Qualcomm TFLite SDK камтыйт “TFLite_rsync_destination” - Qualcomm TFLite SDK GStreamer плагинди иштетүү үчүн, tar колдонуңуз file JSON конфигурациясында аргумент катары file QIM SDK куруу үчүн.
QIM SDK компиляциясы боюнча маалымат алуу үчүн, Qualcomm Intelligent Multimedia SDK (QIM SDK) Quick Start Guide (80-50450-51) караңыз.
Qualcomm TFLite SDK акырындык менен түзүңүз
Эгерде сиз биринчи жолу Qualcomm TFLite SDK куруп жатсаңыз, анда Qualcomm TFLite SDK куралдарын куруу - иштеп чыгуучунун иш процессин караңыз. Ошол эле куруу чөйрөсү өсүү үчүн кайра колдонулушу мүмкүн.
Сүрөттө айтылган жардамчы утилиталар (контейнердин ичинде) иштеп чыгуучуларга өзгөртүлгөн тиркемелерди жана плагиндерди компиляциялоо үчүн жеткиликтүү.
Сүрөт 5-1 Контейнердеги иш процесси
Код каталогунда кодду өзгөртүү аяктагандан кийин, төмөнкүнү аткарыңыз:
- Өзгөртүлгөн кодду түзүү:
$ tflite-incremental-build-орнотуу - Пакет түзүлгөн коду:
$ tflite-tools-ipk-rel-pkg же $ tflite-tools-deb-rel-pkg - Чыгарылган пакеттерди хост менен шайкештирүү file системасы:
$ tflite-куралдар-remote-синхрондоштуруу-ipk-rel-pkg
Or
$ tflite-tools-remote-синхрондоштуруу-deb-rel-pkg - Иштеп чыгуучу пакетти даярдаңыз:
$ tflite-tools-ipk-dev-pkg
Компиляцияланган артефакттар JSONда айтылган TFLite_rsync_destination папкасында жайгашкан. file, каалаган каталогго көчүрүүгө болот.
QNN тышкы TFLite делегаты менен иштөө
TFLite тышкы делегаты Qualcomm тарабынан QNN сыяктуу ишенимдүү үчүнчү тарап тарабынан берилген китепканаларды колдонуу менен моделдериңизди (бөлүгү же бүтүндөй) башка аткаруучуда иштетүүгө мүмкүндүк берет. Бул механизм тыянак чыгаруу үчүн GPU же алты бурчтуу тензордук процессор (HTP) сыяктуу ар кандай түзмөктөгү тездеткичтерди колдоно алат. Бул иштеп чыгуучуларга тыянак чыгарууну тездетүү үчүн демейки TFLiteден ийкемдүү жана ажыратылган ыкманы берет.
Алдын ала шарттар:
- QNN AI стекин чыгаруу үчүн Ubuntu жумушчу станциясын колдонгонуңузду текшериңиз.
- Qualcomm TFLite SDK менен бирге болуу үчүн QNN 2.14 версиясын колдонгонуңузду текшериңиз
Qualcomm TFLite SDK QNN үчүн TFLite тышкы делегаты аркылуу бир нече QNN арткы чектеринде тыянак чыгарууга иштетилген. Жалпы жалпак буфер өкүлчүлүгү менен TFLite моделдерин GPU жана HTPде иштетүүгө болот.
Аппаратка Qualcomm TFLite SDK топтомдору орнотулгандан кийин, QNN китепканаларын түзмөккө орнотуу үчүн төмөнкүлөрдү аткарыңыз.
- Ubuntu үчүн Qualcomm Package Manager 3 жүктөп алыңыз.
a. Clickhttps://qpm.qualcomm.com/, жана Куралдар чыкылдатыңыз.
b. Сол панелдин Издөө куралдары талаасында QPM териңиз. Системанын OS тизмесинен Linux тандаңыз.
Издөө натыйжалары Qualcomm пакет менеджерлеринин тизмесин көрсөтөт.
c. Qualcomm Package Manager 3 тандаңыз жана Linux debian пакетин жүктөп алыңыз. - Linux үчүн Qualcomm Package Manager 3 орнотуңуз. Төмөнкү буйрукту колдонуңуз:
$ dpkg -i -мажбурлап кайра жазуу /жол/то/
QualcommPackageManager3.3.0.83.1.Linux-x86.deb - Qualcomm® жүктөп алыңыз
Ubuntu жумушчу станциясында AI Engine Direct SDK.
a. https:// чыкылдатыңызqpm.qualcomm.com/ жана Куралдар чыкылдатыңыз.
b. Сол панелдин Издөө куралдары талаасында AI стек деп териңиз. Системанын OS тизмесинен Linux тандаңыз.
A ар кандай AI стек кыймылдаткычтарын камтыган ылдый түшүүчү тизме көрсөтүлөт.
c. Qualcomm® AI Engine Direct SDK чыкылдатып, Linux v2.14.0 топтомун жүктөп алыңыз. - Ubuntu жумушчу станциясына Qualcomm® AI Engine Direct SDK орнотуңуз.
а. Лицензияны активдештирүү:
qpm-cli –лицензия-жандыруу qualcomm_ai_engine_direct
b AI Engine Direct SDK орнотуу:
$ qpm-cli – экстракт /path/to/ qualcomm_ai_engine_direct.2.14.0.230828.Linux-AnyCPU.qik - Ubuntu жумушчу станциясынан adb push менен китепканаларды түзмөккө түртүңүз.
$ cd /opt/qcom/aistack/qnn/2.14.0.230828 $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnDsp.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnDspV66Stub.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnGpu.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnHtpPrepare.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnHtp.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnHtpV68Stub.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnSaver.so /usr/lib/ $ adb push ./lib/aarch64-oe- linux-gcc11.2/ libQnnSystem.so /usr/lib/ $ adb push ./lib/aarch64-oe-linux-gcc11.2/ libQnnTFLiteDelegate.so /usr/lib/ $ adb push ./lib/hexagon-v65/ unsigned/ libQnnDspV65Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v66/unsigned/ libQnnDspV66Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v68/unsigned libQnnHtpV68Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v69/unsigned/ libQnnHtpV69Skel.so /usr/lib/rfsa/adsp $ adb push ./lib/hexagon-v73/unsigned.V73Slib/unsigned/ ошондуктан /usr/lib/rfsa/adsp
Qualcomm TFLite SDK сыноо
Qualcomm TFLite SDK белгилүү бир эксample тиркемелери, алар иштеп чыгуучу баа бергиси келген моделдерди текшерүү, салыштыруу жана тактыгын алуу үчүн колдонулушу мүмкүн.
Аппаратка Qualcomm TFLite SDK топтомдору орнотулгандан кийин, аларды иштетүү үчүн иштөө убактысы түзмөктө жеткиликтүү болот.ample колдонмолору.
Шарт
Түзмөктө төмөнкү каталогдорду түзүңүз:
$ adb кабык "mkdir /дата/Моделдер"
$ adb shell "mkdir /data/Lables"
$ adb кабык "mkdir /дата/профилдөө"
Этикетканын сүрөтү
Энбелги сүрөтү - бул Qualcomm TFLite SDK тарабынан берилген программа, анда алдын ала даярдалган жана конверттелген TensorFlow Lite моделин кантип жүктөй аласыз жана аны сүрөттөрдөгү объекттерди таануу үчүн колдоно аласыз. Алдын ала шарттар:
Жүктөп алуу сampмодели жана сүрөтү:
Сиз ар кандай туура келген моделди колдоно аласыз, бирок төмөнкү MobileNet v1 модели 1000 түрдүү объектилерди таанууга үйрөтүлгөн моделдин жакшы демонстрациясын сунуштайт.
- Моделди алыңыз
$ сurl https://storage.googleapis.com/download.tensorflow.org/models/ mobilenet_v1_2018_02_22/mobilenet_v1_1.0_224.tgz | tar xzv -C /дата $ mv /data/mobilenet_v1_1.0_224.tflite /data/Models/ - Энбелгилерди алыңыз
$ сurl https://storage.googleapis.com/download.tensorflow.org/models/ mobilenet_v1_1.0_224_frozen.tgz | tar xzv -C /data mobilenet_v1_1.0_224/ labels.txt
$ mv /data/mobilenet_v1_1.0_224/labels.txt /data/Labels/
Qualcomm TFLite SDK докер контейнерине туташкандан кийин, сүрөттү төмөнкү жерден тапса болот:
“/mnt/tflite/src/tensorflow/tensorflow/lite/examples/label_image/ testdata/grace_hopper.bmp”
a. Муну түрт file to/data/Labels/
b. Команданы иштетиңиз:
$ adb кабыгы “label_image -l /data/Labels/labels.txt -i /data/Labels/ grace_hopper.bmp -m /data/Models/mobilenet_v1_1.0_224.tflite -c 10 -j 1 -p 1”
Эталон
Qualcomm TFLite SDK ар кандай иштөө убакыттарынын натыйжалуулугун эсептөө үчүн салыштыруу куралын берет.
Бул эталондук инструменттер учурда төмөнкү маанилүү көрсөткүчтөрдүн статистикасын өлчөйт жана эсептейт:
- Баштоо убактысы
- Жылытуу абалынын чыгаруу убактысы
- Стационардык абалдын чыгаруу убактысы
- Инициализация учурунда эстутумдун колдонулушу
- Жалпы эстутум колдонуу
Пререквизиттер
TFLite Model зоопаркынан сыналуучу моделдерди түртүңүз (https://tfhub.dev/) to/data/Models/. иштетүү төмөнкү скрипттер:
- XNN пакети
$ adb shell “benchmark_model –graph=/data/Models/ — enable_op_profiling=true –use_xnnpack=true –num_threads=4 –max_secs=300 –profiling_output_csv_file=/data/profiling/” - GPU делегаты
$ adb shell “benchmark_model –graph=/data/Models/ — enable_op_profiling=true –use_gpu=true –num_runs=100 –warmup_runs=10 — max_secs=300 –profiling_output_csv_file=/data/profiling/” - Тышкы делегат
QNN тышкы делегат GPU:
Калкыма чекит модели менен жыйынтык чыгаруу:
$ adb shell-command “benchmark_model –graph=/data/Models/ .tflite –external_delegate_path=libQnnTFLiteDelegate.so — external_delegate_options='backend_type:gpu;library_path:/usr/lib/ libQnnGpu.so_skel_lib/usrf /adsp'”
QNN тышкы делегаты HTP:
Кванттык модель менен жыйынтык чыгаруу:
$ adb shell-command “benchmark_model –graph=/data/Models/ .tflite –external_delegate_path=libQnnTFLiteDelegate.so — external_delegate_options='backend_type:htp;library_path:/usr/lib/ libQnnHtp.so;_dirlibrary/skel_rlib/ /adsp'”
Тактык куралы
Qualcomm TFLite SDK ар кандай иштөө убакыттары менен моделдердин тактыгын эсептөө үчүн тактык куралын берет.
- GPU делегаты менен классификация
Керектүү жүктөп алуу үчүн кадамдар fileСыноо үчүн төмөнкү даректен тапса болот: “/mnt/tflite/src/tensorflow/tensorflow/lite/tools/evaluation/tasks/ imagenet_image_classicatio/README.md”
Бул куралды иштетүү үчүн бинардык SDK мурунтан эле бир бөлүгү, ошондуктан иштеп чыгуучу аны кайра куруунун кереги жок.
$ adb shell “image_classify_run_eval — модель_file=/data/Models/ –ground_truth_images_path=/data/ — ground_truth_labels=/data/ –model_output_labels=/ data/ –delegate=gpu” - XNN пакети менен объектти аныктоо
$ adb shell “inf_diff_run_eval –model_file=/дата/Модельдер/ –delegate=xnnpac
ЮРИДИКАЛЫК МААЛЫМАТ
Бул документке жетүү жана колдонуу, ошондой эле ар кандай спецификациялар, маалымдама тактасы fileс, чиймелер, диагностика жана бул жерде камтылган башка маалыматтар (жалпысынан бул "Документтер"), сизге (анын ичинде сиз өкүлчүлүк кылган корпорацияга же башка юридикалык жакка, жамааттык түрдө) баш ийет "Сен" же "Сенин") шарттарын жана шарттарын кабыл алуу («Колдонуу шарттары») төмөндө белгиленген. Эгерде Сиз бул Колдонуу шарттарына макул болбосоңуз, сиз бул Документацияны колдоно албайсыз жана анын көчүрмөсүн дароо жок кыла аласыз.
- Юридикалык эскертүү.
Бул Документация Сизге ички колдонууңуз үчүн гана берилген Qualcomm Technologies, Inc. («Qualcomm Technologies») жана анын филиалдарынын ушул Документацияда сүрөттөлгөн өнүмдөрү жана кызмат сунуштары жана башка максаттар үчүн колдонулбайт. Бул Документацияны Qualcomm Technologies компаниясынын алдын ала жазуу жүзүндөгү макулдугусуз өзгөртүүгө, оңдоого же кандайдыр бир жол менен өзгөртүүгө болбойт. Бул уруксатсыз пайдалануу же ачыкка чыгаруу
Документтерге же бул жерде камтылган маалыматка катуу тыюу салынат жана сиз Qualcomm Technologies, анын филиалдары жана лицензиарлары тарабынан Qualcomm Technologies, анын филиалдары жана лицензиарлары тарабынан келтирилген зыяндын же жоготуулардын ордун толтурууга макулдугуңузду билдиресиз. бөлүгү. Qualcomm Technologies, анын филиалдары жана лицензиарлары ушул Документациядагы жана ага болгон бардык укуктарды жана ээликти сактап калышат. Товардык белгиге, патентке, автордук укукка, масканы коргоо укугуна же башка интеллектуалдык менчик укугуна эч кандай лицензия бул Документте же бул жерде ачыкталган маалымат менен, анын ичинде, бирок алар менен чектелбестен, жасоого, пайдаланууга, импорттоого же ушул Документациядагы маалыматты камтыган ар кандай продуктуну, кызматты же технологияны сатуу.
БУЛ ДОКУМЕНТТАЦИЯ “БОЛГОНДОЙ” БЕРИЛИП ЖАТАТ. МЫЙЗАМ БЕРГЕН МАКСИМАЛДЫК ДЕҢГЭЭЛДЕ, QUALCOMM TECHNOLOGIES, ОНУН АФфилирленген жактары ЖАНА ЛИЦЕНЗОРЛОР АТАЛЫК КАБАРЛАРДЫН, САКТООЧУЛАРДЫН, БУЗУЛБАЙТКАНЧЫЛАРДЫН, КОЛДОНУУЧУЛАРДЫН, КОЛДОНУУЧУЛАРДЫН, ПРОГРАММАЛАРДЫН, БУЗУЛБАЙГАН КЕПИЛДИКТЕРДЕН АТАЙЫН БАШКА ЧЫГАРАТ СООДА КОЛДОНУУДАН КЕЛГЕН БАРДЫК КЕПИЛДИКТЕР ЖЕ ТАКТЫК ИШТЕРДИН КУРСУНАН ЖЕ АТКАРЫЛУУНУН КУРСУНАН. ОШОНДОН ДА, QUALCOMM TECHNOLOGIES ДА, ЭМНЕ АФИЛИАЛАНДЫКТАРЫНЫН ЖЕ ЛИЦЕНЗОРЛОРУНУН БИРИ ЭМЕС, ЭМЕС ЧЫГЫМДАРЫ, ЖОГОЛУШУ, КОЛДОНУУСУ ЖЕ ИШ-АРАКЕТТЕРИ ҮЧҮН СИЗГЕ ЖЕ ҮЧҮНЧҮ ТАРАПТАРГА ЖООП БЕРБЕЙТ БУЛ ДОКУМЕНТАЦИЯ БОЮНЧА CE.
Бул Документацияда шилтемеленген кээ бир продукт комплекттери, шаймандар жана материалдар ал нерселерге жетүү же колдонуудан мурун сизден кошумча шарттарды жана шарттарды кабыл алышыңызды талап кылышы мүмкүн.
Бул Документацияда көрсөтүлгөн техникалык маалыматтар АКШнын жана башка тиешелүү экспорттук көзөмөл мыйзамдарына баш ийиши мүмкүн. АКШга жана башка колдонулуучу мыйзамдарга карама-каршы келген жөнөтүүгө катуу тыюу салынат.
Бул Документациядагы эч нерсе бул жерде айтылган компоненттерди же түзмөктөрдү сатуу сунушу эмес.
Бул Документтер кошумча эскертүүсүз өзгөртүлүшү мүмкүн. Ушул Колдонуу шарттары менен Конфликттин ортосунда карама-каршылык болгон учурда Webсайтты колдонуу шарттары боюнча www.qualcomm.com же Qualcomm Купуялык саясатына шилтеме берилген www.qualcomm.com, бул Колдонуу шарттары көзөмөлдөйт. Бул Колдонуу шарттары менен Сиз жана Qualcomm Technologies же Qualcomm Technologies филиалы тарабынан аткарылган башка келишимдин (жазылган же чыкылдатуу) ортосунда карама-каршылык келип чыккан учурда, Сиздин бул Документацияга жетүү жана колдонууга карата башка келишим көзөмөлдөйт. .
Бул Колдонуу шарттары мыйзамдардын карама-каршылык принциптерин эске албастан, БУУнун Товарларды эл аралык сатуу боюнча Конвенциясын кошпогондо, Калифорния штатынын мыйзамдарына ылайык жөнгө салынат жана чечмеленет жана аткарылат. Ушул Колдонуу шарттарынан же ага байланыштуу келип чыккан ар кандай талаш-тартыштар, дооматтар же талаш-тартыштар же анын бузулушу же жарактуулугу Калифорния штатынын Сан-Диего округундагы компетенттүү юрисдикциядагы сот тарабынан гана каралат жана сиз ушуну менен ушул максатта мындай соттордун жеке юрисдикциясы. - Товардык белги жана продуктунун атрибуту жөнүндө билдирүүлөр.
Qualcomm — Qualcomm Incorporated компаниясынын соода белгиси же катталган соода белгиси. Arm - Arm Limited компаниясынын (же анын туунду компанияларынын) АКШда жана/же башка жерлерде катталган соода белгиси. Bluetooth® сөз белгиси Bluetooth SIG, Inc компаниясына таандык катталган соода белгиси болуп саналат. Бул Документацияда шилтемеленген башка продукт жана бренд аттары тиешелүү ээлеринин соода белгилери же катталган соода белгилери болушу мүмкүн.
Бул Документацияда айтылган Snapdragon жана Qualcomm бренддик өнүмдөрү Qualcomm Technologies, Inc. жана/же анын туунду компанияларынын продуктулары болуп саналат. Qualcomm патенттелген технологиялар Qualcomm Incorporated тарабынан лицензияланган.
Документтер / Ресурстар
 |
Qualcomm TensorFlow Lite SDK программасы [pdf] Колдонуучунун колдонмосу TensorFlow Lite SDK Программасы, Lite SDK Программасы, SDK Программасы, Программалык камсыздоо |
