NXP AN14270 Pagdugang Suporta sa Tingog sa GUI Guider User Guide

Abstract: Ang kini nga nota sa aplikasyon nagsusi sa paghiusa sa tingog pinaagi sa pagdugtong sa teknolohiya sa pagkilala sa sinultihan (VIT) sa GUI Guider.

Manufacturer: NXP Semiconductor

Tapos naview

Giya sa GUI: Usa ka himan sa pagpalambo sa user interface gikan sa NXP nga naggamit sa LVGL graphics library aron makahimo og taas nga kalidad nga mga display nga adunay lain-laing mga widget, animation, ug mga estilo.

Voice Intelligent Technology (VIT): Usa ka himan sa NXP alang sa pagpasabot sa mga wakeword ug mga sugo pinaagi sa libre nga online nga mga himan ug voice control software.

Pila sa Mensahe (MQUEUE): Nagpatuman sa POSIX 1003.1b message queues para sa inter-process nga komunikasyon tali sa GUI Guider ug VIT.

Mga Kinahanglanon sa Hardware, Software, ug Host

Kategorya	Deskripsyon
Hardware	Sumala sa mga kinahanglanon sa produkto
Software	Sumala sa mga kinahanglanon sa produkto
Host	Sumala sa mga kinahanglanon sa produkto

Mga Instruksyon sa Paggamit sa Produkto

Pre-requirements

Nagkidlap nga Bersyon sa Linux

Sa pag-flash sa EVK nga adunay bersyon sa Linux:

$ ./uuu.exe -b emmc_all .sd-flash_evk imx-image-full-imx93evk.wic

Toolchain uban sa Yocto Project

Paghimo og bin folder: $ mkdir ~/bin
Pag-download sa tool sa repo: $ curl https://storage.googleapis.com/git-repo-downloads/repo > ~/bin/repo
Idugang ang bin folder sa PATH variable: $ export PATH=~/bin:$PATH
Mga resipe sa clone: $ mkdir imx-yocto-bsp $ cd imx-yocto-bsp $ repo init -u https://github.com/nxp-imx/imx-manifest -b imx-linux-mickledore -m imx-6.1.55-2.2.0.xml $ repo sync
Sa pagtukod ug pag-configure: $ DISTRO=fsl-imx-fb MACHINE=imx93evk source imx-setup-release.sh -b deploy

Kanunay nga Gipangutana nga mga Pangutana (FAQ)

Q: Unsa ang VIT?
A: Ang VIT nagbarog alang sa Voice Intelligent Technology, usa ka himan sa NXP alang sa pagpasabot sa mga wakeword ug mga sugo gamit ang online nga mga himan ug voice control software.

Q: Unsa ang GUI Guider?
A: Ang GUI Guider usa ka himan sa pagpalambo sa user interface gikan sa NXP nga naggamit sa LVGL graphics library aron makamugna og taas nga kalidad nga mga display nga adunay lain-laing mga widget, animation, ug estilo.

Impormasyon sa dokumento

Impormasyon	Kontento
Mga keyword	AN14270, VIT, speech recognition, inter-process communication (IPC), message queue, GUI Guider
Abstract	Kini nga nota sa aplikasyon nagsusi sa posibilidad sa paghiusa sa tingog pinaagi sa paghimo og tulay tali sa teknolohiya sa pag-ila sa sinultihan, sama sa VIT, ug sa tiglalang sa interface nga GUI Guider.

Pasiuna

Gilimitahan sa user interface ang paggamit sa tool GUI Guider. Ang pagkuha ug interaksyon pinaagi lang sa mouse o touchscreen mahimong igo na alang sa pipila ka mga kaso sa paggamit. Bisan pa, usahay ang kaso sa paggamit kinahanglan nga molapas sa mga limitasyon niini. Gisusi niini nga dokumento ang posibilidad sa paghiusa sa tingog pinaagi sa paghimo og tulay tali sa teknolohiya sa pag-ila sa sinultihan, sama sa VIT, ug sa tiglalang sa interface nga GUI Guider. Naggamit kini usa ka unibersal nga paagi aron masumpay ang tanan nga mga mando sa pag-ila sa tingog ug usa ka wakeword sa bisan unsang interaksyon nga gihimo sa GUI Guider.

Tapos naview

Aron itakda ang komunikasyon tali sa GUI Guider ug VIT technology commands, tan-awa ang Seksyon 8. Ang komunikasyon gihimo gamit ang code nga gihimo isip handler, nga maminaw ug makapahimo niini sa pagsundog sa mga panghitabo sa GUI aron makahimo sa interaksyon.

Giya sa GUI
Ang GUI Guider usa ka himan sa pagpalambo sa user interface gikan sa NXP nga naghatag og paspas nga opsyon sa paghimo og taas nga kalidad nga display gamit ang LVGL graphics library. Naggamit kini usa ka lainlaing lainlain nga mga widget, mga animation, ug mga istilo, nga adunay lainlaing mga pag-configure sa pag-trigger ug pag-customize nga adunay posibilidad nga dili mag-coding. Para sa dugang nga impormasyon sa GUI Guider, tan-awa ang GUI Guider v1.6.1 User Guide (dokumento GUIGUIDERUG).

Intelihenteng teknolohiya sa tingog
Ang Voice Intelligent Technology (VIT) usa ka himan nga gimugna sa NXP aron ipasabot ang mga wakeword ug mga sugo gamit ang libreng online nga mga himan, librarya, ug voice control software package. Magamit kini sa MCUXpresso para sa mga micro-controller o magamit kini sa Linux BSP alang sa mga micro-processor.

Pila ka mensahe
Ang Message queue (MQUEUE) usa ka manedyer nga nagpatuman sa format nga POSIX 1003.1b nga mga pila sa mensahe. Gigamit kini isip inter-process communication (IPC) sa paghimo sa tulay tali sa GUI Guider ug VIT. Gibayloan niini ang datos sa porma sa mga mensahe, gipadala kini pinaagi sa VIT ug gihimo ang pagdumala gamit ang script
command_handler.

Mga kinahanglanon sa hardware, software, ug host

Ang talaan 1 naghatag og mga detalye sa hardware, software, ug host nga gikinahanglan sa paggamit sa VIT ug GUI Guider.

Table 1. Hardware, software, ug host gigamit

Kategorya	Deskripsyon
Hardware	• i.MX 93 EVK • Power supply: USB Type-C 45 W power-delivery supply (5 V/3 A) • USB Type-C nga lalaki ngadto sa USB Type-A nga laki nga cable: assembly, USB 3.0 compliant • LVDSL adapter ug HDMI cable o DY1212W-4856 LVCD LCD panel • Internal nga i.MX 93 nga mikropono
Software	• Bersyon sa Linux BSP: L6.1.55_2.2.0 • GUI Guider v1.6.1 nga bersyon sa unahan • Toolchain 6.1-Langdale
Host	• X86_64 Linux Ubuntu 20.04.6 LTS

Pre-requirements

Kini nga seksyon naghulagway sa pag-instalar sa lain-laing mga himan nga gikinahanglan.

Nag-flash nga bersyon sa Linux

Sa dili pa mosunod sa ubos nga mga lakang, usba ang boot configuration ngadto sa download mode ug ikonektar ang USB pinaagi sa host. Para sa dugang nga impormasyon, tan-awa ang i.MX Linux User's Guide (dokumento IMXLUG).

Sa pag-flash sa EVK, buhata ang mosunod nga mga lakang:

I-download ang bag-o nga NXP Linux BSP image release para sa i.MX 93 (L6.1.55_2.2.0 o pinakabag-o).

Aron ma-flash ang EVK, i-download ang bag-o nga UUU: https://github.com/nxp-imx/mfgtools/releases.
Ikonektar ang EVK sa host gamit ang EVK port USB1.
Gamit ang imx-image-full, ibutang ang duha ka programa sa parehas file ug i-flash ang EVK gamit ang mosunod nga sugo:

Sa laing paagi, gamita lang ang imahe aron i-flash ang EVK:

Mubo nga sulat: Siguruha nga susihon ang mga pin sa boot.

Toolchain nga adunay proyekto sa Yocto
Ang proyekto sa Yocto usa ka bukas nga gigikanan nga kolaborasyon nga makatabang sa paghimo sa naandan nga mga sistema nga nakabase sa Linux. Gihimo ni Yocto ang imahe nga gigamit sa i.MX.
Siguruha nga ang host machine adunay usa ka application development toolkit (ADT) o toolchain nga adunay parehas nga palibot sa EVK. Siguroha nga kini makahimo sa pag-compile sa mga aplikasyon alang sa target board. Para makuha ang saktong toolchain, tan-awa ang “seksyon 4.5.12” sa i.MX Linux Users Guide (dokumento IMXLUG) ug “seksyon 4” sa i.MX Yocto Project Users Guide (dokumento IMXLXYOCTOUG).

Aron makuha ang toolchain sa host machine gikan sa Yocto environment, buhata ang mosunod nga mga lakang:

Paghimo og bin folder sa home directory:
Siguroha nga ang ~/bin folder anaa sa PATH variable.
I-clone ang mga resipe nga gamiton sa repository:
Sa pagtukod, i-configure ingon sa mosunod:
Aron makamugna ang toolchain, paghimo og usa ka standalone nga palibot nga wala ang Yocto Project sama sa mosunod:

Giya sa GUI

Kini nga seksyon nagpatin-aw mahitungod sa GUI Guider ug sa unsa nga paagi sa paggamit sa mga sukaranan sa paghimo sa usa ka proyekto base sa niini nga himan. Kini usab nagpatin-aw mahitungod sa lain-laing mga kinaiya sa paggamit ug pagkuha advantage sa mga kinaiya.

Mga widget ug panghitabo sa Gui Guider
Sa diha nga ang user nagmugna og usa ka proyekto sa GUI Guider, ang paggamit sa lain-laing mga widgets gi-assign isip usa ka butang nga awtomatikong namugna. Kini nga butang adunay lain-laing mga kabtangan; usa niini ang mga Panghitabo. Depende sa widget, ang mga panghitabo mahimong adunay lainlaing mga hinungdan, ug kung unsa ang mahitabo nagdepende sa target. Kay example, Gipakita sa Figure 1 kung unsa ang mahitabo kung ang usa ka buton nagpunting sa screen nga adunay aksyon nga "Load screen".

Kini nga mga butang makit-an sa agianan /generated/gui-guider.h. Ang script command_handler nagkinahanglan advantage sa mga panghitabo nga gigamit sa mga widget nga nagsundog sa gatilyo.
Para sa dugang nga impormasyon sa mga widget ug panghitabo, tan-awa ang GUI Guider v1.6.1 User Guide (dokumento GUIGUIDERUG).

Dali nga pagsugod
Aron magsugod sa pagtrabaho, i-install ang GUI Guider.

Sa pag-instalar sa host, buhata ang mosunod nga mga lakang:

I-download ang pinakabag-o nga bersyon sa GUI Guider (1.7.1 o pinakabag-o).

Sunda ang mga lakang sa pag-download.
Dinhi, ang user makapili sa paghimo og proyekto nga adunay opisyal nga examples o ang lokal nga mga proyekto.

Aron makahimo og proyekto sa GUI, buhata ang mosunod nga mga lakang:

Ablihi ang GUI Guider 1.7.1.
Paghimo og proyekto.
Pilia ang bersyon sa LVGL.
Para sa i.MX 93, pilia ang i.MX processor.
Pagpili og template. Alang niini nga dokumento, pilia ang template nga "ScreenTransition".

Pagpili og Ngalan sa Proyekto ug sa paghimo og proyekto, i-klik ang Paghimo.
Ang panguna nga bintana kinahanglan nga makita, ingon sa gipakita sa Figure 6.

Paghimo og mga widget, panghitabo, ug mga trigger

Aron makahimo og mga widget, panghitabo, ug mga trigger, buhata ang mosunod nga mga lakang:

Sa wala nga bahin sa GUI Guider, i-klik ang buton, gipasiugda sa pula, duha ka beses.
Ingon usa ka sangputanan, ang buton molapad aron ipakita ang tanan nga magamit nga mga widget.
Mahimong adunay lainlaing mga widget nga adunay lainlaing mga kabtangan. Kini nga nota sa aplikasyon nagpunting sa buton nga tipo sa widget. Bisan pa, mahimo’g adunay ubang mga lahi sa mga widget nga adunay mga limitasyon niini. Para sa dugang nga impormasyon, tan-awa ang “Mga detalye sa widget” sa GUI Guider v1.6.1 User Guide (dokumento GUIGUIDERUG).
Idugang ang Button widget pinaagi sa pag-drag niini ngadto sa UI gikan sa widgets tab.
Pag-right-click sa Button alang sa mga kabtangan ug i-klik ang Add event.
Ang usa ka bintana mo-pop up nga nagpakita sa tanan nga mga panghitabo nga mahimo sa widget.
Sunod, gipakita sa bintana ang tanan nga mga panghitabo nga mahimo’g masunog ang gatilyo. Kini nga mga panghitabo mahimong magamit sa mga screen, uban pang mga widget, o paghimo og naandan nga mga panghitabo.
Para ani nga example, usa ka bag-ong screen ang gikarga. I-klik ang load screen ug pilia ang mga screen nga i-load.
Aron sulayan ang aplikasyon, gamita ang simulator nga gisagol sa GUI Guider. Gigamit kini sa pagpili sa sunod nga buton ug sa matang sa simulation nga gamiton. Alang niini nga kaso, gamita ang usa ka simulator sa C.
Aron ma-load ang bag-ong screen, i-klik ang Button.

Pagtukod alang sa i.MX 93

Aron matukod ang i.MX 93, buhata ang mosunod nga mga lakang:

Siguruha nga ang toolchain nga gigamit sa GUI Guider na-install sa husto. Aron ma-cross-verify, susiha ang agianan
Gikan sa kanhing exampug, sa paghimo sa aplikasyon ug modagan kini sa i.MX 93, pilia Project> Pagtukod> Yocto gikan sa ibabaw nga bar.
Aron masusi ang status sa Project, Binary size, ug Log, pilia ang Information tab sa ubos sa aplikasyon. Susiha ang log pinaagi sa pagpalapad sa tab nga Impormasyon.
Ang log naghatag og impormasyon sa pagtukod lakip ang lokasyon sa binary file. Alang niini nga kaso, ang binary anaa sa dalan / /build/gui_guider.
Pangitaa ang host terminal ug ipadala kini sa EVK gamit ang mosunod nga sugo:
Mubo nga sulat: Aron magamit ang pamaagi sa ibabaw, kinahanglan nga ang mga makina, host, ug target naa sa parehas nga network ug nahibal-an ang board IP.
Ipatuman ang binary file sa EVK gamit ang mosunod nga sugo:
Kay example, gamit ang LVDS screen, nga nagpakita sa proyekto nga gitukod sa GUI Guider, sama sa gipakita sa Figure 19.

VIT

Kini nga seksyon nagpatin-aw unsaon sa paggamit sa VIT nga standalone ug paghimo sa modelo aron masumpay kini sa GUI Guider. Gipatin-aw niini kung giunsa paggamit ang host aron makamugna usa ka modelo nga adunay gusto nga mga kinaiya. Para sa dugang nga impormasyon, tan-awa ang VOICE-INTELLIGENT-TECHNOLOGY.

Paghimo og modelo

Aron mahimo ang modelo, buhata ang mosunod nga mga lakang:

I-klik ang GENERATE MODEL nga tab.
Pilia ang SW nga plataporma ug bersyon isip "Linux BSP" ug "LF6.1.55_2.2.0". Usab, pilia ang magamit nga mga kapilian alang sa Device ingon "i.MX93" ug Pinulongan ingon "Ingles".
Idugang ang mga wakeword, nga naglihok isip usa ka trigger nga nagsulti sa VIT kung kanus-a magsugod sa pagpaminaw sa usa ka voice command. Kung gihimo ang usa ka bag-ong wakeword o mando, gihangyo niini nga itakda ang kantidad alang sa "Sensitivity". Kini nga parameter nagdugang sa rate sa pag-ila, nga nagpasabut nga kung kini usa ka positibo nga kantidad mas dali nga makit-an apan mahimong moresulta sa daghang mga sayup nga pag-ila. Imbis sa negatibo nga kantidad nga gigamit aron malikayan ang kalibog tali sa mga keyword, ipadayon ang pagkasensitibo nga kantidad ingon 0. Para sa example, dinhi, ang hugpong sa mga pulong "hey nanguna" gidugang.
Idugang ang mga voice command nga gamiton ug wagtangon ang wala gigamit.

I-klik ang Generate model button ug maghulat hangtud ma-unlock ang Download model button.
Ang modelo ipadala sa MY MODELS tab. Aron ma-download ang pinakabag-o nga modelo, i-klik ang download icon.
Kuhaa ang zip folder ug i-save ang file VIT_Model_en nga naglangkob sa VIT_package folder.

Pag-compile sa VIT voice_ui_app isip standalone
Ang Voice_ui_app kay exampGihimo ang alang sa repository nga imx-voiceui. Gigamit sa kini nga aplikasyon ang modelo aron makit-an ang mga wakeword ug mga mando. Usa ka gamit nga gigamit niini nga dokumento mao ang argumento nga "pahibalo". Kini nga argumento kung kini nakamatikod sa usa ka wakeword o sugo, nagbukas sa usa ka Python file WakeWordNotify o WWCommandNotify nga adunay argumento sa sistema gamit ang identifier (ID). Kini nga ID makatabang sa paglainlain tali sa mga hinungdan.

Aron mahimo ang voice_ui_app sa host ug makatabang sa pag-assign niini sa miaging modelo nga gihimo, buhata ang mosunod nga mga lakang:

Clone VIT repository lakip na ang bersyon sa sanga, gamit ang mosunod nga sugo:
$ git clone https://github.com/nxp-imx/imx-voiceui -b lf-6.1.55-2.2.0

Paghimo og backup sa orihinal file, gamit ang mosunod nga sugo:
$ cd /imx-voiceui
$ mv ./vit/platforms/iMX9_CortexA55/lib/VIT_Model_en.h
I-set up ang toolchain nga na-install kaniadto:
$ tinubdan /opt/fsl-imx-xwayland/6.1-langdale/environment-setup-armv8a-poky-linux
Mubo nga sulat: Gamita ang toolchain nga gihimo ni Yocto.
Pagtukod sa imong proyekto, gamit ang mosunod nga sugo:
$ himoa ang tanan nga VERSION=04_08_01 CURRENT_GCC_VERSION=10 BUILD_ARCH=CortexA55

Sa higayon nga ang proyekto matukod, kini makamugna og usa ka direktoryo nga ginganlan og release. Kopyaha ang file voice_ui_app sa kini nga direktoryo sa EVK:
$ scp release/voice_ui_app gamut@ :/balay/gamut

Gamit ang parameter -notify
Ang script nga gitawag sa voice_ui_app sa dihang gipasa ang "-notify" nga bandera, kinahanglang anaa sa dalan /usr/bin/. Gamita ang gilakip files sa / usr / bin / ug kopyaha kini nga mga script sa EVK.

$ scp WakeWordNotify gamut@ :/usr/bin/
$ scp WWCommandNotify gamut@ :/usr/bin/

Ang files sulod, gamita ang wakeword/command ID ug ipadala kini pinaagi sa message queue.
Human sa pagkopya niini files sa EVK, gamita ang parameter nga "-notify" aron ipasabot nga ang files WakeWordNotify, ug WWCommandNotify, adunay gikinahanglang permiso. Aron idugang kini sa EVK, ipatuman ang mosunod nga sugo:

gamut@imx93evk:~# chmod a+x /usr/bin/WakeWordNotify gamut@imx93evk:~# chmod a+x /usr/bin/WWCommandNotify

Audio atubangan-katapusan
Ang audio front-end (AFE) gigamit isip feed para sa VIT voice recognition. Makatabang kini sa paglimpyo sa kasaba ug echo pinaagi sa paggamit sa tinubdan ug usa ka reperensiya sa mamumulong. Busa, ang resulta mao ang usa ka tin-aw nga single channel mikropono audio nga mahimong gamiton alang sa pagproseso. Para sa dugang nga impormasyon, tan-awa ang VOICESEEKER.
Ang AFE makita sulod sa EVK sa dalan /unit_tests/nxp-afe.

Aron maandam ug ipatuman ang programa, sunda ang mga lakang sa file TODO.md sa nxp-afe:

Siguroha nga ang DTB kay imx93-11×11-evk.dtb.
I-install ang aloop module aron suportahan ang AFE:
gamut@imx93evk:~# sudo modprobe snd-aloop
Paghimo og backup sa asound.conf ug gamita ang katugbang nga asound.conf para sa board:
gamut@imx93evk:~# mv /etc/asound.conf /etc/asound-o.conf
gamut@imx93evk:~# cp /unit_tests/nxp-afe/asound.conf_imx93 /etc/asound.conf
Usba ang WakeWordEnginge aron magamit sa husto ang VIT word engine. Kini nga configuration anaa sa sulod sa file /unit_tests/nxp-afe/Config.ini.

Usba ang kabtangan nga WakeWordEngine = VoiceSpot nga naggamit sa VoiceSpot isip default sa WakeWordEngine = VIT.
Aron sulayan ang AFE, ipatuman ang voice_ui_app:
gamut@imx93evk:~# ./voice_ui_app &
Mubo nga sulat: Alang niini nga kaso, dili kinahanglan nga idugang ang parameter nga "-notify".
Ipatuman ang AFE, gamit ang mosunod nga sugo:
gamut@imx93evk:~# /unit_tests/nxp-afe/afe libvoiceseekerlight &

Aron mahibal-an kung ang AFE nagdagan sa background, gamita ang & command. Aron mahibal-an kung unsa ang ubang mga programa nga nagdagan sa background, gamita ang mosunud nga mando:
gamut@imx93evk:~# ps
Aron isira ang AFE o voice_ui_app, gamita ang mosunod nga sugo:
gamut@imx93evk:~# pkill afe
gamut@imx93evk:~# pkill voice_ui_app

Pagpadagan sa voice_ui_app nga walay -notify

Human sa pagsunod sa mga lakang sa TODO.md file, padagana ang binary voice_ui_app gikan sa terminal sa EVK. Nagpakita kini og kasayuran kung giunsa ang pagdagan sa VIT.

Aron mapakaon ang voice_ui_app, ipatuman ang AFE gamit ang mosunod nga sugo:
gamut@imx93evk:~# /unit_tests/nxp-afe/afe libvoiceseekerlight &
Isulti ang wakeword ug voice command ug susiha kung kini nagtrabaho sama sa gipaabut. Gipakita niini ang wakeword ug ang voice command sa terminal sama sa mosunod:
- Ang Wakeword nakit-an nga 1 HEY NXP StartOffset 16640
- Ang Voice Command nakit-an nga 3 TURN ON

GUI Guider VIT nga aplikasyon

Sama sa gipatin-aw sa sayo pa, ang aplikasyon/script command_handler pinaagi sa VIT nga abiso nagpadala sa command ID ug wakeword ID sa usa ka message queue isip IPC. Gikuha dayon kini nga mga ID aron i-simulate ang usa ka panghitabo sa usa ka aplikasyon sa GUI-Guider. Ang Figure 26 nagpakita kung giunsa kini nga komunikasyon gipatuman.

Mubo nga sulat: Siguruha nga i-configure ang handler aron molihok sa husto sa naandan nga modelo nga gihimo. Kini nga mga pagbag-o kinahanglan nga magamit sa host.

Gamita ang command_handler aron masundog ang mga panghitabo

Aron magamit ang command_handler aron ma-simulate ang mga panghitabo, buhata ang mosunod nga mga lakang:

Idugang ang files command_handler.h ug command_handler.c sa proyekto sa GUI Guider sa direktoryo / /custom/.

Aron mohaum sa kasamtangan nga modelo nga gigamit, usba ang command_handler.h pinaagi sa pag-ilis sa voice_cmd_t ug voice_ww_t.
Mubo nga sulat: Siguroha nga ang sama nga han-ay gigamit sa modelo.
Usba ang gidaghanon sa mga wakeword ug mga sugo sa file / /custom/command_handler.h:
#define VIT_WW_NUMBER 2
#define VIT_CMD_NUMBER 5
Pagsugod sa command interface sa file / /custom/custom.c. Ang GUI Guider naghimo niini file awtomatiko.
#include “command_handler.h”

Ang function nga gihubit isip void custom_init(lv_ui *ui) anaa sa file /
dalan>/custom/custom.c. Kini nga function mahimong usbon aron makadugang usa ka code ug ang initializer nga command start_command_handler() ingon sa mosunod:
void custom_init(lv_ui *ui)
{
/* Idugang ang imong mga code dinhi */
start_command_handler();
}
diin:
Ang start_command_handler() gigamit alang sa paghimo og thread nga nagdagan isip handler, pagkuha sa mga mensahe nga gipadala sa VIT, ug pagpatuman sa mga sugo nga gi-assign sa command_handler_link().
Aron i-link ang VIT wakewords ug command sa butang ug panghitabo, gamita ang mosunod nga sugo:
void command_handler_link(voice_ww_t WW_Id, voice_cmd_t CMD, lv_obj_t** obj, lv_event_code_t event);
diin:
• Ang command_handler_link() gigamit sa pagluwas sa usa ka panghitabo nga i-simulate para sa VIT execution.
• Ang mga input, voice_ww_t ug voice_cmd_t, gihimo sa lakang 2 nga direktang nalangkit sa VIT nga modelo.
• Ang ikatulo nga argumento, lv_obj_t**, may kalabutan sa GUI Guider nga paghimo og butang. Una, pangitaa ang butang nga i-link. Ang ngalan nahiuyon sa sunod nga istruktura _ . Aron mahibal-an kung diin kini gipasabut, susiha ang file gihimo sa GUI Guider sa generated/gui_guider.h. Dinhi, makit-an nimo ang sunod nga istruktura nga adunay tanan nga posible nga mga butang nga masumpay.

Ang function custom_init(lv_ui *ui) gigamit sa pagsugod sa pagsugod sa GUI Guider execution. Kini nga estraktura mahimong magamit sa pag-asoy niini sa usa ka butang, nahibal-an kung giunsa kini paggamit sa husto. Ang pointer sa gihatag nga istruktura mao ang *ui, ug ang pointer nga pangitaon mao ang lv_obj_t**. Busa, gikinahanglan nga gamiton kini nga istruktura sa sunod nga format:

&ui->speed_btn_1

Ang ikaupat nga argumento, lv_event_code_t event, may kalabutan sa panghitabo nga ma-trigger. Kasagaran adunay istruktura nga sama niini: LV_EVENT_ . Gitino niini kung unsa ang buhaton sa na-trigger nga panghitabo pinaagi sa code viewer sa file panghitabo_init.c.
Kay example, ang btn_1 nga gihimo sa screen speed adunay kini nga mga panghitabo nga gihimo sa GUI Guider.

Example
Kini nga seksyon nagpakita sa usa ka exampKini nga implementasyon aron idugang ang suporta sa tingog sa GUI Guider, pag-toggle sa LED widget ug pag-ilis tali sa GUI screens.

Gamit ang template sa GUI nga gihimo gamit ang buton, idugang ang mga widget. Kay exampug, pagdugang ug LED widget.

Idugang ang panghitabo nga gipugos sa btn_1 ug aron usbon ang background idugang ang configuration sa panghitabo. Alang niini nga kaso, ang background kinahanglan mapili nga itom aron "i-off" ang LED widget. Busa, ang panghitabo nga gigamit gipugos > led_1 > Background black (#000000).
Gamit ang parehas nga buton, i-configure ang usa ka panghitabo aron ma-assign kini nga "i-on". Alang niini nga kaso, idugang ang panghitabo nga gipagawas sa btn_1 ug idugang ang pula sa background. Busa, ang panghitabo nga gigamit gipagawas > led_1 > Background pula (#ff0000).
Kung mabuhat na ang GUI, idugang ang command_handler.c ug command_handler.h sa custom/folder.

Aron makahimo og link tali sa mga panghitabo ug VIT, idugang ang mosunod nga mga linya sa custom_init() sulod sa file sa kostumbre/custom.c. Aron mag-ilis tali sa mga screen, idugang ang duha pa nga mga panghitabo pinaagi sa pag-link sa btn_1 aron mabalhin sa screen 2.
diin:
- Ang wakeword HEY_LED ug command TURN_OFF nga kombinasyon gi-assign sa pagpalong sa LED. Sa laing pagkasulti, usba ang background sa itom.
- Ang wakeword HEY_LED ug command TURN_ON nga kombinasyon gi-assign aron mahimong pula ang LED.
- Ang wakeword HEY_NXP ug command NEXT nga kombinasyon gi-assign sa pag-ilis tali sa mga screen gamit ang event nga gi-assign tanan sa btn_1, ug gamit ang btn_before sa screen 2.
- Ang wakeword HEY_NXP ug command RETURN nga kombinasyon gi-assign nga mobalik sa screen 1.
Pilia ang Project> Build> Yocto ug buhata ang proyekto.

Gipadala ang bag-ong binary sa EVK.
Mubo nga sulat: Ang log sa impormasyon naghatag sa binary nga lokasyon.
scp gamut@ :/balay/gamut

Pagsulay ug pag-configure
Kung nahuman na ang pag-download, buhata ang mosunud nga mga lakang sa EVK:

Tinoa nga ang snd-aloop module na-load na pinaagi sa pagpadagan sa lsmod. Kung dili makit-an ang module, i-load kini gamit ang mosunud nga mando:
gamut@imx93evk:~# sudo modprobe snd-aloop

Pagdalag voice_ui_app gamit ang mosunod nga sugo:
gamut@imx93evk:~# ./voice_ui_app -notify &
diin:
- Ang -notify gigamit sa pagpadala og pahibalo sa WakeWordNtfy ug WWCommandNtfy.
  Mubo nga sulat: Hinumdomi ang pagkopya sa WakeWordNtfy ug WWCommandNtfy sa usr/bin.
- Ang & gigamit sa pagdagan sa background.
Tinoa nga ang VIT engine gipahimutang sa Config.ini.

Pagdalagan ang AFE nga adunay libvoiceseekerlight sa background:
gamut@imx93evk:~# cd /unit_tests/nxp-afe/
gamut@imx93evk:~# ./afe libvoiceseekerlight &
Ablihi ang aplikasyon sa GUI Guider gamit ang mosunod nga sugo:
gamut@imx93evk:~# ./gui_guider
Hangtud niini nga lakang, ang LVDS screen, o HDMI nagpakita sa GUI nga gibuhat.
Sulayi ang paggamit sa usa ka gi-assign kaniadto nga wakeword ug voice command, pananglitanample, isulti "Hey NXP" ug "I-off". Human isulti ang command para sa power off, depende sa callback nga gi-assign, ang GUI Guider mohimo ug aksyon. Para ani nga exampug, GUI Guider nag-usab sa kolor sa background alang sa LED widget.

May kalabutan nga mga kapanguhaan

Ang talaan 2 naglista sa pipila ka dugang nga mga kapanguhaan nga gigamit sa pagdugang niini nga dokumento.

Talaan 2. May kalabutan nga mga kapanguhaan

Kapanguhaan	Link/unsaon pagkuha
i.MX 93 Applications Processor Family – Arm Cortex-A55, ML Acceleration, Power Efficient MPUNXP i.MX 93 A1 (i. MX93)	https://www.nxp.com/products/processors-and- microcontrollers/arm-processors/i-mx-applications- mga processor/i-mx-9-processors/i-mx-93-applications- processor-pamilya-arm-cortex-a55-ml-pagpatulin-gahom- episyente-mpu:i.MX93
Naka-embed nga Linux para sa i.MX Applications Processors (IMXLINUX)	http://www.nxp.com/IMXLINUX
GUI Guider v1.6.1 User Guide (GUIGUIDERUG)	https://www.nxp.com/docs/en/user-guide/ GUIGUIDERUG-1.6.1.pdf
VIT i.MX voiceUI repository	https://github.com/nxp-imx/imx-voiceui

Matikdi mahitungod sa source code sa dokumento

ExampAng code nga gipakita niini nga dokumento adunay mosunod nga copyright ug BSD-3-Clause nga lisensya:
Copyright 2023-2024 NXP Redistribution ug paggamit sa tinubdan ug binary nga mga porma, adunay o walay kausaban, gitugutan basta ang mosunod nga mga kondisyon matuman:

Ang pag-apod-apod pag-usab sa source code kinahanglang magpabilin sa ibabaw sa copyright notice, kini nga listahan sa mga kondisyon ug ang mosunod nga disclaimer.

Ang mga pag-apod-apod sa binary nga porma kinahanglang kopyahon ang naa sa ibabaw nga pahibalo sa copyright, kini nga lista sa mga kondisyon ug ang mosunod nga disclaimer sa dokumentasyon ug/o uban pang mga materyales kinahanglang ihatag uban sa pag-apod-apod.
Ni ang ngalan sa tag-iya sa copyright ni ang mga ngalan sa mga nag-amot niini mahimong magamit aron i-endorso o ipromote ang mga produkto nga nakuha gikan sa kini nga software nga wala piho nga gisulat nga pagtugot.
KINI NGA SOFTWARE GIHATAG SA MGA NAGHAWAG SA COPYRIGHT UG MGA CONTRIBUTOR "AS IS" UG BISAN UNSANG GIPADAYAG O GIPAHIBALO NGA MGA WARRANTY, LAKIP, APAN DILI LIMITADO SA, ANG GIPASABOT NGA MGA WARRANTY SA KALIGTASAN UG KAAYOHAN ALANG SA PARTIKULAR NGA KATUYOAN. SA WALA KINAHANGLAN NGA ANG NAGHAWAG SA COPYRIGHT O MGA TAGAMBAG MAHIMONG MANANAB SA BISAN UNSANG DIREKTO, INDIREKTO, INSIDENTAL, ESPESYAL, EKSEMPLARY, O HINUNGDAN NGA MGA KADOT (API, APAN DILI LIMITADO SA, PAGPALIT SA SUBSTITUTE GOODS LOOR OF SERVICES; DAGHANG SERBISYO; O BUSINESS INTERRUPTION) BISAN UNSAY HINUNGDAN UG SA BISAN UNSANG TEORYA SA LIABILIDAD, SA KONTRATA MAN, STRICT LIABILITY, O TORT (KASULOD ANG NEGLIGENCE O UBAN PA) NGA NAGTUBO SA BISAN UNSANG PAAGI NGA GAWAS SA PAGGAMIT NIINING SOFTWARE, BISAN SA DAMBIBILIDAD.

Kasaysayan sa rebisyon
Ang talaan 3 nagsumaryo sa mga rebisyon niini nga dokumento.

Dokumento ID	Petsa sa pagpagawas	Deskripsyon
AN14270 v.1.0	16 Mayo 2024	Inisyal nga pagpagawas sa publiko

Legal nga impormasyon

Mga kahulugan
Draft — Usa ka draft status sa usa ka dokumento nagpakita nga ang sulod anaa pa sa internal review ug ubos sa pormal nga pag-apruba, nga mahimong moresulta sa mga kausaban o pagdugang. Ang NXP Semiconductor wala maghatag ug bisan unsang representasyon o garantiya sa katukma o pagkakompleto sa impormasyon nga gilakip sa draft nga bersyon sa usa ka dokumento ug walay tulubagon sa mga sangpotanan sa paggamit sa maong impormasyon.

Mga Disclaimer
Limitado nga warranty ug liability — Ang impormasyon sa kini nga dokumento gituohan nga tukma ug kasaligan. Bisan pa, ang NXP Semiconductor wala maghatag bisan unsang mga representasyon o garantiya, gipahayag o gipasabut, bahin sa katukma o pagkakompleto sa ingon nga kasayuran ug wala’y tulubagon sa mga sangputanan sa paggamit sa ingon nga kasayuran. Ang NXP Semiconductors walay responsibilidad sa sulod niini nga dokumento kon gihatag sa tinubdan sa impormasyon gawas sa NXP Semiconductor.
Sa bisan unsa nga panghitabo nga ang NXP Semiconductors mahimong manubag sa bisan unsang dili direkta, sulagma, pagsilot, espesyal o sangputanan nga mga kadaot (lakip ang - sa walay limitasyon - nawala nga kita, nawala nga mga tinigom, pagkabalda sa negosyo, mga gasto nga may kalabutan sa pagtangtang sa Mor puli sa bisan unsang mga produkto o bayad sa pagtrabaho) o dili ang maong mga kadaot gibase sa tort (lakip ang pagpabaya), warranty, paglapas sa kontrata o bisan unsa nga legal nga teorya.
Bisan pa sa bisan unsa nga kadaot nga mahimong maangkon sa kustomer sa bisan unsang hinungdan, ang NXP Semiconductors' aggregate ug cumulative liability ngadto sa kustomer alang sa mga produkto nga gihulagway dinhi kinahanglan nga limitado sumala sa mga Termino ug kondisyon sa komersyal nga pagbaligya sa NXP Semiconductors.

Katungod sa paghimo og mga pagbag-o — Ang NXP Semiconductors adunay katungod sa paghimo og mga pagbag-o sa impormasyon nga gipatik niini nga dokumento, lakip ang walay limitasyon nga mga detalye ug mga deskripsyon sa produkto, bisan unsang orasa ug walay pahibalo. Kini nga dokumento mipuli ug mipuli sa tanang impormasyon nga gihatag sa wala pa ang publikasyon niini.
Angayan alang sa paggamit - Ang mga produkto sa NXP Semiconductors wala gidisenyo, awtorisado o gigarantiyahan nga angayan nga gamiton sa suporta sa kinabuhi, kritikal sa kinabuhi o kritikal nga kaluwasan nga mga sistema o kagamitan, o sa mga aplikasyon diin ang pagkapakyas o pagkadaot sa usa ka produkto sa NXP Semiconductors makatarunganon nga mapaabut. nga moresulta sa personal nga kadaot, kamatayon o grabe nga kabtangan o kadaot sa kinaiyahan. Ang NXP Semiconductors ug ang mga suppliers niini walay gidawat nga tulubagon alang sa paglakip ug/o paggamit sa mga produkto sa NXP Semiconductors sa maong mga ekipo o aplikasyon ug busa ang maong paglakip ug/o paggamit anaa sa kaugalingong risgo sa kustomer.

Aplikasyon — Ang mga aplikasyon nga gihulagway dinhi alang sa bisan unsang mga produkto alang lamang sa mga katuyoan sa paghulagway. Ang NXP Semiconductors walay representasyon o garantiya nga ang maong mga aplikasyon angay alang sa espesipikong paggamit nga walay dugang pagsulay o pagbag-o.

Ang mga kustomer ang responsable sa disenyo ug operasyon sa ilang mga aplikasyon ug mga produkto gamit ang mga produkto sa NXP Semiconductors, ug ang NXP Semiconductors dili modawat ug tulubagon sa bisan unsang tabang sa mga aplikasyon o disenyo sa produkto sa kustomer. Bugtong responsibilidad sa kostumer ang pagdeterminar kung ang produkto sa NXP Semiconductors angayan ug angayan sa mga aplikasyon sa kustomer ug mga produkto nga giplano, ingon man alang sa giplano nga aplikasyon ug paggamit sa (mga) kustomer sa ikatulo nga partido. Ang mga kustomer kinahanglan maghatag ug angay nga disenyo ug mga panalipod sa pag-opera aron mamenosan ang mga risgo nga nalangkit sa ilang mga aplikasyon ug mga produkto.

Ang NXP Semiconductors dili modawat sa bisan unsang tulubagon nga may kalabotan sa bisan unsang default, kadaot, gasto o problema nga gibase sa bisan unsang kahuyang o default sa mga aplikasyon o produkto sa kustomer, o ang aplikasyon o paggamit sa (mga) kustomer sa ikatulo nga partido. Ang kostumer ang responsable sa paghimo sa tanan nga kinahanglan nga pagsulay alang sa mga aplikasyon ug produkto sa kustomer gamit ang mga produkto sa NXP Semiconductors aron malikayan ang default sa mga aplikasyon ug mga produkto o sa aplikasyon o paggamit sa (mga) kostumer sa ikatulo nga partido. Ang NXP dili modawat sa bisan unsang tulubagon niining bahina.

Mga termino ug kondisyon sa pagbaligya sa komersyo - Ang mga produkto sa NXP Semiconductors gibaligya ubos sa kinatibuk-ang mga termino ug kondisyon sa pagbaligya sa komersyo, ingon nga gipatik sa https://www.nxp.com/profile/terms, gawas kung giuyonan sa usa ka balido nga sinulat nga indibidwal nga kasabutan. Sa kaso nga ang usa ka indibidwal nga kasabutan natapos lamang ang mga termino ug kondisyon sa tagsa-tagsa nga kasabutan ang magamit. Ang NXP Semiconductors sa ingon tin-aw nga nagsupak sa pag-aplay sa kinatibuk-ang termino ug kondisyon sa kustomer bahin sa pagpalit sa mga produkto sa NXP Semiconductors sa kustomer.

Pagkontrol sa eksport - Kini nga dokumento ingon man ang (mga) butang nga gihulagway dinhi mahimong ipailalom sa mga regulasyon sa pagkontrol sa eksport. Ang pag-export mahimong magkinahanglan og una nga pagtugot gikan sa mga may katakus nga awtoridad.
Angayan alang sa paggamit sa dili automotive nga mga kwalipikado nga mga produkto - Gawas kung kini nga dokumento klaro nga nagpahayag nga kini nga piho nga produkto sa NXP Semiconductors kuwalipikado sa awto, ang produkto dili angay alang sa paggamit sa awto. Dili kini kuwalipikado o gisulayan pinauyon sa pagsulay sa awto o mga kinahanglanon sa aplikasyon. Ang NXP Semiconductors walay gidawat nga tulubagon alang sa paglakip ug/o paggamit sa mga non-automotive qualified nga mga produkto sa automotive equipment o mga aplikasyon.

Kung gigamit sa kostumer ang produkto alang sa pagdesinyo ug paggamit sa mga aplikasyon sa automotiko sa mga detalye ug sumbanan sa automotive, ang kostumer (a) kinahanglan mogamit sa produkto nga wala’y garantiya sa produkto sa NXP Semiconductor alang sa ingon nga mga aplikasyon sa awto, paggamit ug mga detalye, ug ( b) sa matag higayon nga gamiton sa kostumer ang produkto alang sa mga aplikasyon sa awto nga lapas sa mga detalye sa NXP Semiconductor ang ingon nga paggamit kinahanglan ra sa kaugalingon nga peligro sa kostumer, ug (c) hingpit nga bayad sa kostumer ang NXP Semiconductors alang sa bisan unsang liability, kadaot o napakyas nga pag-angkon sa produkto nga resulta sa disenyo ug paggamit sa kustomer sa ang produkto para sa mga aplikasyon sa automotive nga lapas pa sa standard warranty sa NXP Semiconductor ug mga detalye sa produkto sa NXP Semiconductor.

Mga Paghubad — Usa ka dili Ingles (gihubad) nga bersyon sa usa ka dokumento, lakip ang legal nga kasayuran sa kana nga dokumento, para sa pakisayran lamang. Ang English nga bersyon ang mopatigbabaw kung adunay bisan unsang kalainan tali sa gihubad ug English nga mga bersyon.

Seguridad — Nasabtan sa kostumer nga ang tanan nga mga produkto sa NXP mahimo’g mapailalom sa wala mailhi nga mga kahuyangan o mahimong suportahan ang natukod nga mga sumbanan sa seguridad o mga detalye nga adunay nahibal-an nga mga limitasyon. Ang kostumer ang responsable sa disenyo ug operasyon sa mga aplikasyon ug produkto niini sa ilang mga siklo sa kinabuhi aron makunhuran ang epekto niini nga mga kahuyangan sa mga aplikasyon ug produkto sa kustomer. Ang responsibilidad sa kustomer molapad usab sa uban pang bukas ug/o proprietary nga mga teknolohiya nga gisuportahan sa mga produkto sa NXP aron magamit sa mga aplikasyon sa kustomer. Ang NXP walay gidawat nga tulubagon alang sa bisan unsang pagkahuyang. Kinahanglang regular nga susihon sa kostumer ang mga update sa seguridad gikan sa NXP ug mag-follow up sa angay.
Kinahanglang pilion sa kustomer ang mga produkto nga adunay mga bahin sa seguridad nga labing kaayo nga nagtagbo sa mga lagda, regulasyon, ug mga sumbanan sa gituyo nga aplikasyon ug maghimo labing katapusan nga mga desisyon sa disenyo bahin sa mga produkto niini ug mao ra ang responsable sa pagsunod sa tanan nga ligal, regulasyon, ug mga kinahanglanon nga may kalabotan sa seguridad bahin sa mga produkto niini, bisan unsa pa. sa bisan unsang impormasyon o suporta nga mahimong ihatag sa NXP.

Ang NXP adunay Product Security Incident Response Team (PSIRT) (maabot sa PSIRT@nxp.com) nga nagdumala sa imbestigasyon, pagreport, ug pagpagawas sa solusyon sa mga kahuyangan sa seguridad sa mga produkto sa NXP.
Ang NXP BV - Ang NXP BV dili usa ka operating company ug wala kini nag-apod-apod o nagbaligya sa mga produkto.

Mga marka sa pamatigayon

Pahibalo: Ang tanan nga gi-refer nga mga tatak, mga ngalan sa produkto, mga ngalan sa serbisyo, ug mga marka sa pamatigayon gipanag-iya sa ilang tag-iya.

NXP — wordmark ug logo kay mga trademark sa NXP BV
i.MX — maoy marka sa NXP BV

Palihug hibaloi nga ang importante nga mga pahibalo mahitungod niini nga dokumento ug ang (mga) produkto nga gihulagway dinhi, gilakip sa seksyon nga 'Legal nga impormasyon'.
© 2024 NXP BV Tanang katungod gigahin.
Para sa dugang nga impormasyon, palihog bisitaha: https://www.nxp.com

Petsa sa pagpagawas: 16 Mayo 2024
Identifier sa dokumento: AN14270

Mga Dokumento / Mga Kapanguhaan

NXP AN14270 Pagdugang Suporta sa Tingog sa GUI Guider [pdf] Giya sa Gumagamit
AN14270 Pagdugang Suporta sa Tingog sa GUI Guider, AN14270, Pagdugang sa Suporta sa Tingog sa GUI Guider, sa GUI Guider, GUI Guider, Guider

Mga pakisayran

Manwal sa Gumagamit

NXP AN14270 Pagdugang Suporta sa Tingog sa GUI Guider

Mga Instruksyon sa Paggamit sa Produkto

Pasiuna

Tapos naview

Mga kinahanglanon sa hardware, software, ug host

Pre-requirements

Giya sa GUI

VIT

GUI Guider VIT nga aplikasyon

May kalabutan nga mga kapanguhaan

Legal nga impormasyon

Mga Dokumento / Mga Kapanguhaan

Mga pakisayran

Pagbilin ug komento

Cancel reply