NXP AN14270 Inaongeza Usaidizi wa Sauti kwa Mwongozo wa Mtumiaji wa Mwongozo wa GUI

Mwongozo wa GUI: Zana ya ukuzaji kiolesura cha mtumiaji kutoka NXP inayotumia maktaba ya michoro ya LVGL ili kuunda maonyesho ya ubora wa juu yenye wijeti, uhuishaji na mitindo mbalimbali.

Teknolojia ya Akili ya Sauti (VIT): Chombo cha NXP cha kufafanua wakewords na amri kupitia zana za mtandaoni zisizolipishwa na programu ya kudhibiti sauti.

Foleni ya Ujumbe (MQUEUE): Hutekeleza foleni za ujumbe za POSIX 1003.1b kwa mawasiliano baina ya mchakato kati ya Mwongozo wa GUI na VIT.

Vifaa, Programu, na Mahitaji ya Mwenyeji

Kategoria	Maelezo
Vifaa	Kulingana na mahitaji ya bidhaa
Programu	Kulingana na mahitaji ya bidhaa
Mwenyeji	Kulingana na mahitaji ya bidhaa

Maagizo ya Matumizi ya Bidhaa

Mahitaji ya awali

Toleo la Linux linalong'aa

Ili kuwasha EVK na toleo la Linux:

$ ./uuu.exe -b emmc_all .sd-flash_evk imx-image-full-imx93evk.wic

Mnyororo wa zana na Mradi wa Yocto

Unda folda ya bin: $ mkdir ~/bin

Pakua zana ya repo: $ curl https://storage.googleapis.com/git-repo-downloads/repo > ~/bin/repo
Ongeza folda ya bin kwa utofauti wa PATH: $ export PATH=~/bin:$PATH

Mapishi ya Clone: $ mkdir imx-yocto-bsp $ cd imx-yocto-bsp $ repo init -u https://github.com/nxp-imx/imx-manifest -b imx-linux-mickledore -m imx-6.1.55-2.2.0.xml $ repo sync
Ili kuunda na kusanidi: $ DISTRO=fsl-imx-fb MACHINE=imx93evk source imx-setup-release.sh -b deploy

Maswali Yanayoulizwa Mara Kwa Mara (FAQ)

Q: VIT ni nini?
A: VIT inasimama kwa Voice Intelligent Technology, chombo cha NXP cha kufafanua wakewords na amri kwa kutumia zana za mtandaoni na programu ya kudhibiti sauti.

Q: Mwongozo wa GUI ni nini?
A: GUI Guider ni zana ya ukuzaji kiolesura cha mtumiaji kutoka NXP inayotumia maktaba ya michoro ya LVGL ili kuunda maonyesho ya ubora wa juu yenye wijeti, uhuishaji na mitindo mbalimbali.

Taarifa za hati

Habari	Maudhui
Maneno muhimu	AN14270, VIT, utambuzi wa usemi, mawasiliano kati ya mchakato (IPC), foleni ya ujumbe, Kielekezi cha GUI
Muhtasari	Dokezo hili la programu huchunguza uwezekano wa kuunganisha sauti kwa kuunda daraja kati ya teknolojia ya utambuzi wa usemi, kama vile VIT, na Kielekezi cha kuunda kiolesura cha GUI.

Utangulizi

Kiolesura cha mtumiaji kimepunguza matumizi ya zana ya GUI Guider. Kupata mwingiliano kupitia panya au skrini ya kugusa pekee kunaweza kutosha kwa baadhi ya matukio ya utumiaji. Walakini, wakati mwingine kesi ya utumiaji inahitaji kwenda zaidi ya mapungufu yake. Hati hii inachunguza uwezekano wa kuunganisha sauti kwa kuunda daraja kati ya teknolojia ya utambuzi wa usemi, kama vile VIT, na Kielekezi cha GUI cha kuunda kiolesura. Inatumia njia ya jumla kuunganisha amri zote za utambuzi wa sauti na neno lake kuu kwa mwingiliano wowote ulioundwa na Kielekezi cha GUI.

Zaidiview

Ili kuweka mawasiliano kati ya Mwongozo wa GUI na maagizo ya teknolojia ya VIT, rejelea Sehemu ya 8. Mawasiliano hutengenezwa kwa kutumia msimbo iliyoundwa kama kidhibiti, ambacho husikiliza na kuiwezesha kuiga matukio katika GUI ili kuunda mwingiliano.

Mwongozo wa GUI
GUI Guider ni zana ya ukuzaji kiolesura cha mtumiaji kutoka NXP ambayo hutoa chaguo la haraka ili kuunda onyesho la ubora wa juu kwa kutumia maktaba ya michoro ya LVGL. Inatumia wijeti, uhuishaji na mitindo tofauti tofauti, iliyo na usanidi tofauti wa vichochezi na ubinafsishaji na uwezekano wa kutoandika. Kwa maelezo zaidi kuhusu Mwongozo wa GUI, rejelea Mwongozo wa Mtumiaji wa GUI v1.6.1 (hati GUIGUIDERUG).

Teknolojia ya akili ya sauti
Voice Intelligent Technology (VIT) ni zana iliyoundwa na NXP kufafanua wakewords na amri kwa kutumia zana za mtandaoni za bure, maktaba, na kifurushi cha programu cha kudhibiti sauti. MCUXpresso inaweza kuitumia kwa vidhibiti vidogo au Linux BSP inaweza kuitumia kwa vichakataji vidogo.

Foleni ya ujumbe
Foleni ya ujumbe (MQUEUE) ni kidhibiti kinachotekeleza foleni za ujumbe za POSIX 1003.1b. Inatumika kama mawasiliano kati ya mchakato (IPC) kuunda daraja kati ya Mwongozo wa GUI na VIT. Inabadilishana data katika mfumo wa ujumbe, kuituma kupitia VIT na kutekeleza usimamizi na hati
kidhibiti_amri.

Mahitaji ya maunzi, programu, na mwenyeji

Jedwali la 1 linatoa maelezo ya maunzi, programu, na seva pangishi inayohitajika ili kutumia VIT na GUI Guider.

Jedwali 1. Vifaa, programu, na seva pangishi vilivyotumika

Kategoria	Maelezo
Vifaa	• i.MX 93 EVK • Ugavi wa umeme: Usambazaji wa nishati ya USB Aina-C 45 W (5 V/3 A) • Kebo ya kiume ya USB Aina ya C hadi USB ya Aina ya A ya kiume: kuunganisha, USB 3.0 inatii • Adapta ya LVDSL na kebo ya HDMI au paneli ya DY1212W-4856 LVCD LCD • Maikrofoni ya ndani ya i.MX 93
Programu	• Toleo la Linux BSP: L6.1.55_2.2.0 • Toleo la GUI Guider v1.6.1 kuendelea • Mnyororo wa zana 6.1-Langdale
Mwenyeji	• X86_64 Linux Ubuntu 20.04.6 LTS

Mahitaji ya awali

Sehemu hii inaelezea usakinishaji wa zana tofauti zinazohitajika.

Toleo la Linux linalong'aa

Kabla ya kufuata hatua zilizo hapa chini, badilisha usanidi wa boot kwa hali ya kupakua na uunganishe USB kupitia mwenyeji. Kwa maelezo zaidi, rejelea Mwongozo wa Mtumiaji wa i.MX Linux (hati IMXLUG).

Ili kuwasha EVK, fanya hatua zifuatazo:

Pakua toleo la hivi majuzi la picha la NXP Linux BSP la i.MX 93 (L6.1.55_2.2.0 au jipya zaidi).
Ili kuangaza EVK, pakua UUU ya hivi karibuni: https://github.com/nxp-imx/mfgtools/releases.
Unganisha EVK na mwenyeji kwa kutumia bandari ya EVK USB1.
Kwa kutumia imx-image-full, weka programu zote mbili sawa file na uangaze EVK kwa kutumia amri ifuatayo:

Vinginevyo, tumia picha tu kuwasha EVK:

Kumbuka: Hakikisha kuangalia pini za boot.

Toolchain na mradi wa Yocto
Mradi wa Yocto ni ushirikiano wa chanzo huria ambao husaidia kuunda mifumo maalum inayotegemea Linux. Yocto huunda picha inayotumiwa na i.MX.
Hakikisha kuwa mashine mwenyeji ina zana ya ukuzaji programu (ADT) au mnyororo wa zana ili kuwa na mazingira sawa na EVK. Hakikisha kuwa ina uwezo wa kukusanya maombi ya bodi inayolengwa. Ili kupata msururu sahihi wa zana, rejelea "sehemu 4.5.12" katika Mwongozo wa Watumiaji wa i.MX Linux (hati IMXLUG) na "sehemu ya 4" katika Mwongozo wa Watumiaji wa Mradi wa i.MX Yocto (hati IMXLXYOCTOUG).

Ili kupata mnyororo wa zana kwenye mashine mwenyeji kutoka kwa mazingira ya Yocto, fanya hatua zifuatazo:

Unda folda ya bin kwenye saraka ya nyumbani:
Hakikisha kuwa ~/bin folda iko kwenye kigezo cha PATH.
Sambaza mapishi ya kutumia kwenye hazina:

Ili kuunda, panga kama ifuatavyo:
Ili kutengeneza msururu wa zana, weka mazingira ya pekee bila Mradi wa Yocto kama ifuatavyo:

Mwongozo wa GUI

Sehemu hii inaelezea kuhusu Mwongozo wa GUI na jinsi ya kutumia misingi ili kuunda mradi kulingana na zana hii. Pia inaelezea kuhusu sifa tofauti za kutumia na kuchukua advantage ya sifa hizo.

Gui Guider vilivyoandikwa na matukio
Mtumiaji anapounda mradi katika Kielekezi cha GUI, matumizi ya wijeti tofauti huwekwa kama kitu kinachozalishwa kiotomatiki. Kitu hiki kina sifa tofauti; moja wapo ni Matukio. Kulingana na wijeti, matukio yanaweza kuwa na vichochezi tofauti, na kinachotokea kinategemea lengo. Kwa mfanoampna, Kielelezo 1 kinaonyesha kinachotokea ikiwa kitufe kinalenga skrini kuwa na kitendo cha "Pakia skrini".

Vitu hivi vinaweza kupatikana kwenye njia /generated/gui-guider.h. script command_handler inachukua advantage ya matukio yanayotumiwa na wijeti zinazoiga kichochezi.
Kwa maelezo zaidi kuhusu wijeti na matukio, rejelea Mwongozo wa Mtumiaji wa GUI v1.6.1 (hati GUIGUIDERUG).

Kuanza haraka
Ili kuanza kufanya kazi, sakinisha Mwongozo wa GUI.

Kwenye usakinishaji wa mwenyeji, fanya hatua zifuatazo:

Pakua toleo la hivi punde zaidi la GUI Guider (1.7.1 au la hivi punde).

Fuata hatua za kupakua.
Hapa, mtumiaji anaweza kuchagua kuunda mradi na ex rasmiamples au miradi ya ndani.

Ili kuunda mradi wa GUI, fanya hatua zifuatazo:

Fungua Mwongozo wa GUI 1.7.1.

Unda mradi.
Chagua toleo la LVGL.
Kwa i.MX 93, chagua kichakataji cha i.MX.

Chagua kiolezo. Kwa hati hii, chagua kiolezo cha "ScreenTransition".
Chagua Jina la Mradi na kuunda mradi, bofya Unda.
Dirisha kuu lazima lionekane, kama inavyoonyeshwa kwenye Mchoro 6.

Kuunda wijeti, matukio na vichochezi

Ili kuunda wijeti, matukio na vichochezi, fanya hatua zifuatazo:

Upande wa kushoto wa Kielekezi cha GUI, bofya kitufe, kilichoangaziwa kwa rangi nyekundu, mara mbili.

Kwa hivyo, kitufe hupanuka ili kuonyesha wijeti zote zinazopatikana.
Kunaweza kuwa na vilivyoandikwa mbalimbali na sifa tofauti. Dokezo hili la programu huangazia kitufe cha aina ya wijeti. Hata hivyo, kunaweza kuwa na aina nyingine za vilivyoandikwa na mapungufu yao. Kwa maelezo zaidi, rejelea “Maelezo ya Wijeti” katika Mwongozo wa Mtumiaji wa GUI v1.6.1 (hati GUIGUIDERUG).
Ongeza wijeti ya Kitufe kwa kuiburuta hadi kwenye UI kutoka kwa kichupo cha wijeti.
Bofya kulia kwenye Kitufe cha mali na ubofye Ongeza tukio.

Dirisha linatokea linaloonyesha matukio yote ambayo wijeti inaweza kuanzisha.
Ifuatayo, dirisha linaonyesha matukio yote ambayo kichochezi kinaweza kuwasha. Matukio haya yanaweza kutumika kwenye skrini, wijeti zingine, au kuunda matukio maalum.
Kwa huyu exampna, skrini mpya imepakiwa. Bofya skrini ya upakiaji na uchague skrini za kupakiwa.

Ili kujaribu programu, tumia kiigaji kilichounganishwa na Kielekezi cha GUI. Inatumika kuchagua kitufe kinachofuata na aina ya simulation ya kutumia. Kwa kesi hii, tumia simulator katika C.
Ili kupakia skrini mpya, bofya Kitufe.

Jengo la i.MX 93

Ili kuunda i.MX 93, fanya hatua zifuatazo:

Hakikisha kuwa msururu wa zana unaotumiwa na Kielekezi cha GUI umesakinishwa kwa usahihi. Ili kuthibitisha, angalia njia

Kutoka kwa ex uliopitaample, ili kuunda programu na kuiendesha kwenye i.MX 93, chagua Mradi > Jenga > Yocto kutoka upau wa juu.
Kuangalia hali ya Mradi, saizi ya binary, na Kumbukumbu, chagua kichupo cha Habari chini ya programu. Angalia logi kwa kupanua kichupo cha Habari.
Logi hutoa habari ya ujenzi ikijumuisha eneo la jozi file. Kwa kesi hii, binary iko kwenye njia / /build/gui_guider.

Pata terminal ya mwenyeji na uitume kwa EVK kwa kutumia amri ifuatayo:
Kumbuka: Ili kutumia mbinu iliyo hapo juu, ni muhimu kwamba mashine, seva pangishi na walengwa ziwe kwenye mtandao mmoja na IP ya bodi ijulikane.
Tekeleza binary file kwenye EVK kwa kutumia amri ifuatayo:
Kwa mfanoample, kwa kutumia skrini ya LVDS, ambayo inaonyesha mradi uliojengwa na Mwongozo wa GUI, kama inavyoonyeshwa kwenye Mchoro 19.

VIT

Sehemu hii inaelezea jinsi ya kutumia VIT iliojitegemea na kutoa modeli ili kuiunganisha na Mwongozo wa GUI. Inaelezea jinsi ya kutumia seva pangishi kutoa mfano na sifa zinazohitajika. Kwa maelezo zaidi, rejelea VOICE-INTELLIGENT-TECHNOLOGY.

Unda mfano

Ili kuunda mfano, fanya hatua zifuatazo:

Ingia kwenye VIT webtovuti: Zana ya Uzalishaji wa Mfano wa VIT
Bofya kichupo cha GENERATE MODEL.
Chagua jukwaa na toleo la SW kama "Linux BSP" na "LF6.1.55_2.2.0". Pia, chagua chaguo zinazotumika za Kifaa kama “i.MX93” na Lugha kama “Kiingereza”.

Ongeza maneno yake, ambayo hufanya kama kichochezi kinachoambia VIT wakati wa kuanza kusikiliza kwa amri ya sauti. Wakati neno lake jipya au amri inapoundwa, inauliza kuweka thamani ya "Usikivu". Kigezo hiki huongeza kasi ya utambuzi, ambayo inamaanisha ikiwa ni thamani chanya ni rahisi kugundua lakini inaweza kusababisha ugunduzi zaidi wa uwongo. Badala ya thamani hasi inayotumiwa ili kuepuka mkanganyiko kati ya manenomsingi, dumisha thamani ya hisia kama 0. Kwa mfanoample, hapa, maneno "hey led" imeongezwa.
Ongeza amri za sauti zitakazotumika na uondoe zile ambazo hazijatumika.
Bofya kitufe cha Kuzalisha mfano na usubiri hadi kitufe cha Upakuaji kitakapofunguliwa.

Muundo huo unatumwa kwa kichupo cha MY MODELS. Ili kupakua muundo wa hivi karibuni, bofya ikoni ya upakuaji.
Toa folda ya zip na uhifadhi faili ya file VIT_Model_en iliyo na folda ya VIT_package.

Inakusanya VIT voice_ui_app kama ya pekee
Voice_ui_app ni exampimeundwa kwa ajili ya hifadhi imx-voiceui. Programu tumizi hii hutumia modeli kugundua maneno yake na amri. Huduma inayotumiwa na hati hii ni hoja ya "arifu". Hoja hii inapogundua neno lake au amri, inafungua Python file WakeWordNotify au WWCommandNotify kwa hoja ya mfumo kwa kutumia kitambulisho (Kitambulisho). Kitambulisho hiki husaidia kutofautisha kati ya vichochezi.

Ili kuunda voice_ui_app kwenye seva pangishi na kusaidia kuikabidhi kwa muundo wa awali ulioundwa, tekeleza hatua zifuatazo:

Clone VIT hazina pamoja na toleo la tawi, kwa kutumia amri ifuatayo:
$ git clone https://github.com/nxp-imx/imx-voiceui -b lf-6.1.55-2.2.0
Unda nakala ya asili file, kwa kutumia amri ifuatayo:
$ cd /imx-sauti
$ mv ./vit/platforms/iMX9_CortexA55/lib/VIT_Model_en.h

Sanidi safu ya zana iliyosanikishwa hapo awali:
$ source /opt/fsl-imx-xwayland/6.1-langdale/environment-setup-armv8a-poky-linux
Kumbuka: Tumia mnyororo wa zana iliyoundwa na Yocto.
Jenga mradi wako, kwa kutumia amri ifuatayo:
$ tengeneza zote VERSION=04_08_01 CURRENT_GCC_VERSION=10 BUILD_ARCH=CortexA55
Mara tu mradi unapojengwa, hutoa saraka inayoitwa kutolewa. Nakili ya file voice_ui_app katika saraka hii kwa EVK:
$ scp kutolewa/voice_ui_app root@ :/nyumbani/mzizi

Kwa kutumia parameta -notify
Hati inayoitwa na voice_ui_app wakati wa kupitisha alama ya "-notify", lazima iwe kwenye njia /usr/bin/. Tumia iliyoambatanishwa files kwa /usr/bin/ na unakili hati hizi kwa EVK.

$ scp WakeWordNotify root@ :/usr/bin/
$ scp WWCommandNotify root@ :/usr/bin/

The files ndani, tumia wakeword/command ID na utume kupitia foleni ya ujumbe.
Baada ya kunakili hizi files kwa EVK, tumia kigezo "-notify" kuashiria kwamba files WakeWordNotify, na WWCommandNotify, wana ruhusa zinazohitajika. Ili kuiongeza kwenye EVK, fanya amri ifuatayo:

mzizi@imx93evk:~# chmod a+x /usr/bin/WakeWordNotify root@imx93evk:~# chmod a+x /usr/bin/WWCommandNotify

Mbele ya sauti
Sehemu ya mbele ya sauti (AFE) inatumika kama mlisho wa utambuzi wa sauti wa VIT. Inasaidia kusafisha kelele na mwangwi kwa kutumia chanzo na rejeleo la mzungumzaji. Kwa hiyo, matokeo ni sauti ya wazi ya maikrofoni ya kituo kimoja ambayo inaweza kutumika kwa usindikaji. Kwa maelezo zaidi, angalia VOICESEEKER.
AFE inaweza kupatikana ndani ya EVK kwenye njia /unit_tests/nxp-afe.

Ili kuandaa na kutekeleza programu, fuata hatua katika file TODO.md katika nxp-afe:

Hakikisha kuwa DTB ni imx93-11×11-evk.dtb.
Sakinisha moduli ya aloop ili kusaidia AFE:
mzizi@imx93evk:~# sudo modprobe snd-aloop
Unda nakala rudufu ya asound.conf na utumie asound.conf inayolingana kwa ubao:
mzizi@imx93evk:~# mv /etc/asound.conf /etc/asound-o.conf
mzizi@imx93evk:~# cp /unit_tests/nxp-afe/asound.conf_imx93 /etc/asound.conf

Badilisha WakeWordEnginge ili kutumia injini ya maneno ya VIT ipasavyo. Usanidi huu uko ndani ya file /unit_tests/nxp-afe/Config.ini.
Rekebisha kipengele WakeWordEngine = VoiceSpot inayotumia VoiceSpot kama chaguo-msingi kwa WakeWordEngine = VIT.
Ili kujaribu AFE, tumia voice_ui_app:
mzizi@imx93evk:~# ./voice_ui_app &
Kumbuka: Kwa kesi hii, si lazima kuongeza parameter "-notify".

Tekeleza AFE, kwa kutumia amri ifuatayo:
mzizi@imx93evk:~# /unit_tests/nxp-afe/afe libvoiceseekerlight &
Kuamua kama AFE inaendeshwa chinichini, tumia & amri. Ili kujua ni programu gani zingine zinazoendesha nyuma, tumia amri ifuatayo:
mzizi@imx93evk:~# ps
Ili kufunga AFE au voice_ui_app, tumia amri ifuatayo:
mzizi@imx93evk:~# pkill afe
mzizi@imx93evk:~# pkill voice_ui_app

Inaendesha voice_ui_app bila -notify

Baada ya kufuata hatua katika TODO.md file, endesha binary voice_ui_app kutoka kwenye terminal kwenye EVK. Inaonyesha maelezo kuhusu jinsi VIT inavyofanya kazi.
Ili kulisha voice_ui_app, tekeleza AFE kwa kutumia amri ifuatayo:
mzizi@imx93evk:~# /unit_tests/nxp-afe/afe libvoiceseekerlight &

Sema neno lake na amri ya sauti na uangalie ikiwa inafanya kazi inavyotarajiwa. Inaonyesha wakeword na amri ya sauti kwenye terminal kama ifuatavyo:
- Wakeword imegunduliwa 1 HEY NXP StartOffset 16640
- Amri ya Sauti imegunduliwa 3 WASHA

Programu ya GUI Guider VIT

Kama nilivyoeleza hapo awali, application/script command_handler kupitia arifa ya VIT hutuma kitambulisho cha amri na wakeword ID kwenye foleni ya ujumbe kama IPC. Kisha inanasa vitambulisho hivi ili kuiga tukio katika programu ya GUI-Guider. Kielelezo 26 kinaonyesha jinsi mawasiliano haya yametekelezwa.

Kumbuka: Hakikisha kusanidi kidhibiti kufanya kazi ipasavyo na muundo maalum iliyoundwa. Marekebisho haya lazima yatumike kwa seva pangishi.

Tumia command_handler kuiga matukio

Ili kutumia command_handler kuiga matukio, fanya hatua zifuatazo:

Ongeza files command_handler.h na command_handler.c kwa mradi wa Mwongozo wa GUI kwenye saraka / /desturi/.
Ili kulinganisha muundo wa sasa uliotumika, rekebisha command_handler.h kwa kubadilisha voice_cmd_t na voice_ww_t.
Kumbuka: Hakikisha kwamba utaratibu sawa unatumika katika mfano.
Rekebisha wingi wa wakewords na amri katika file / /custom/command_handler.h:
#fafanua VIT_WW_NUMBER 2
#fafanua VIT_CMD_NUMBER 5

Anzisha kiolesura cha amri katika faili ya file / /desturi/desturi.c. Mwongozo wa GUI hutoa hii file moja kwa moja.
#pamoja na "command_handler.h"
Kazi iliyofafanuliwa kama void custom_init(lv_ui *ui) inapatikana katika faili ya file /
njia>/desturi/desturi.c. Chaguo hili la kukokotoa linaweza kurekebishwa ili kuongeza msimbo na amri ya kianzilishi start_command_handler() kama ifuatavyo:
batili custom_init(lv_ui *ui)
{
/* Ongeza misimbo yako hapa */
start_command_handler();
}
Wapi:
Start_command_handler() hutumika kuunda uzi unaoendeshwa kama kidhibiti, kuchukua ujumbe uliotumwa na VIT, na kutekeleza amri zilizotolewa na command_handler_link().
Ili kuunganisha maneno yake ya VIT na amri na kitu na tukio, tumia amri ifuatayo:
batili command_handler_link(voice_ww_t WW_Id, voice_cmd_t CMD, lv_obj_t** obj, lv_event_code_t tukio);
Wapi:
• Command_handler_link() hutumika kuhifadhi tukio ili kuiga kwa utekelezaji wa VIT.
• Ingizo, voice_ww_t na voice_cmd_t, zimeundwa katika hatua ya 2 zinahusiana moja kwa moja na muundo wa VIT.
• Hoja ya tatu, lv_obj_t**, inahusiana na uundaji wa kitu cha Mwongozo wa GUI. Kwanza, tafuta kitu cha kuunganishwa. Jina linalingana na muundo unaofuata _ . Ili kupata mahali inapofafanuliwa, angalia file imetolewa na GUI Guider katika generated/gui_guider.h. Hapa, unaweza kupata muundo unaofuata na vitu vyote vinavyowezekana vya kuunganisha.

Chaguo za kukokotoa custom_init(lv_ui *ui) hutumika kuanzisha mwanzoni mwa utekelezaji wa Kielekezi cha GUI. Muundo huu unaweza kutumika kuihusisha na kitu, kujua jinsi ya kuitumia kwa usahihi. Kielekezi cha muundo uliotolewa ni *ui, na kielekezi cha kutafuta ni lv_obj_t**. Kwa hivyo, ni muhimu kutumia muundo huu na muundo unaofuata:

&ui->kasi_btn_1

Hoja ya nne, lv_event_code_t tukio, inahusiana na tukio ambalo litaanzishwa. Kawaida huwa na muundo kama huu: LV_EVENT_ . Huamua nini cha kufanya na tukio lililoanzishwa kupitia msimbo viewer katika file matukio_init.c.
Kwa mfanoample, btn_1 iliyoundwa katika kasi ya skrini ina matukio haya yanayotolewa na GUI Guider.

Example
Sehemu hii inaonyesha example ya utekelezaji huu ili kuongeza usaidizi wa sauti kwa Kielekezi cha GUI, kugeuza wijeti ya LED na kubadilisha kati ya skrini za GUI.

Kwa kutumia kiolezo cha GUI kilichoundwa na kitufe, ongeza vilivyoandikwa. Kwa mfanoample, ongeza wijeti ya LED.
Ongeza tukio lililoshinikizwa kwa btn_1 na kubadilisha mandharinyuma ongeza usanidi wa tukio. Kwa hali hii, mandharinyuma lazima ichaguliwe kama nyeusi ili "kuzima" wijeti ya LED. Kwa hivyo, tukio lililotumiwa limebonyezwa > led_1 > Mandharinyuma nyeusi (#000000).
Kwa kutumia kitufe sawa, sanidi tukio ili kulikabidhi ili "kuwasha". Kwa kesi hii, ongeza tukio lililotolewa kwa btn_1 na uongeze nyekundu kwenye usuli. Kwa hivyo, tukio lililotumiwa limetolewa > led_1 > Nyekundu ya usuli (#ff0000).

Mara tu GUI inapoundwa, ongeza command_handler.c na command_handler.h kwenye desturi/folda.
Ili kuunda kiungo kati ya matukio na VIT, ongeza mistari ifuatayo katika custom_init() ndani ya file kwa desturi/desturi.c. Ili kubadilisha kati ya skrini, ongeza matukio mawili zaidi kwa kuunganisha btn_1 ili kubadilisha hadi skrini ya 2.
Wapi:
- Mchanganyiko wa wakeword HEY_LED na amri TURN_OFF umekabidhiwa kuzima LED. Kwa maneno mengine, badilisha mandharinyuma kuwa nyeusi.
- Mchanganyiko wa wakeword HEY_LED na amri TURN_ON umekabidhiwa kuwasha taa ya LED.
- Wakeword HEY_NXP na mseto wa amri NEXT umepewa kubadilika kati ya skrini kwa kutumia tukio lililogawiwa yote kwa btn_1, na kutumia btn_before kwenye skrini ya 2.
- Wakeword HEY_NXP na mchanganyiko wa amri RETURN umekabidhiwa kurudi kwenye skrini ya 1.

Chagua Mradi > Jenga > Yocto na ujenge mradi.
Ilituma jozi mpya kwa EVK.
Kumbuka: Kumbukumbu ya habari hutoa eneo la binary.
scp mzizi @ :/nyumbani/mzizi

Mtihani na usanidi
Mara tu upakuaji utakapokamilika, fanya hatua zifuatazo kwenye EVK:

Thibitisha kuwa moduli ya snd-looop tayari imepakiwa kwa kuendesha lsmod. Ikiwa moduli haipatikani, pakia kwa kutumia amri ifuatayo:
mzizi@imx93evk:~# sudo modprobe snd-aloop
Endesha voice_ui_app kwa kutumia amri ifuatayo:
mzizi@imx93evk:~# ./voice_ui_app -arifu &
Wapi:
- The -notify hutumiwa kutuma arifa kwa WakeWordNtfy na WWCommandNtfy.
  Kumbuka: Kumbuka kunakili WakeWordNtfy na WWCommandNtfy kwa usr/bin.
- The & inatumika kuendeshwa chinichini.
Thibitisha kuwa injini ya VIT imewekwa kwenye Config.ini.
Endesha AFE na libvoiceseekerlight nyuma:
mzizi@imx93evk:~# cd /unit_tests/nxp-afe/
mzizi@imx93evk:~# ./afe libvoiceseekerlight &
Fungua programu ya Mwongozo wa GUI kwa kutumia amri ifuatayo:
mzizi@imx93evk:~# ./gui_guider
Hadi hatua hii, skrini ya LVDS, au HDMI huonyesha GUI iliyoundwa.
Jaribu kutumia wakeword na amri ya sauti uliyopewa hapo awali, kwa mfanoample, sema "Hey NXP" na "Zima". Baada ya kusema amri ya kuzima, kulingana na urejeshaji simu uliokabidhiwa, Mwongozo wa GUI hufanya kitendo. Kwa huyu example, GUI Guider hubadilisha rangi ya usuli kwa wijeti ya LED.

Rasilimali zinazohusiana

Jedwali la 2 linaorodhesha baadhi ya nyenzo za ziada zilizotumika kuongezea hati hii.

Jedwali 2. Rasilimali zinazohusiana

Rasilimali	Kiungo/jinsi ya kupata
i.MX 93 Programu ya Familia ya Kichakataji - Arm Cortex-A55, Uongezaji Kasi wa ML, MPUNXP ya Ufanisi wa Nguvu I.MX 93 A1 (i. MX93)	https://www.nxp.com/products/processors-and- microcontrollers/arm-processors/i-mx-applications- vichakataji/i-mx-9-vichakataji/i-mx-93-programu- processor-familia-arm-cortex-a55-ml-kuongeza kasi-nguvu- ufanisi-mpu:i.MX93
Linux iliyopachikwa kwa i.MX Applications Processors (IMXLINUX)	http://www.nxp.com/IMXLINUX
Mwongozo wa GUI v1.6.1 Mwongozo wa Mtumiaji (GUIGUIDERUG)	https://www.nxp.com/docs/en/user-guide/ GUIGUIDERUG-1.6.1.pdf
hazina ya VIT i.MX voiceUI	https://github.com/nxp-imx/imx-voiceui

Kumbuka kuhusu msimbo wa chanzo katika hati

Exampmsimbo ulioonyeshwa katika hati hii una hakimiliki ifuatayo na leseni ya Kifungu cha BSD-3:
Hakimiliki 2023-2024 NXP Ugawaji upya na matumizi katika aina chanzo na mfumo wa jozi, pamoja na au bila marekebisho, inaruhusiwa mradi masharti yafuatayo yametimizwa:

Ugawaji upya wa msimbo wa chanzo lazima uhifadhi notisi ya hakimiliki iliyo hapo juu, orodha hii ya masharti na kanusho lifuatalo.
Ugawaji upya katika mfumo wa mfumo wa jozi lazima uzalishe notisi ya hakimiliki iliyo hapo juu, orodha hii ya masharti na kanusho lifuatalo katika hati na/au nyenzo zingine lazima zitolewe kwa usambazaji.
Hakuna jina la mwenye hakimiliki wala majina ya wachangiaji wake yanayoweza kutumiwa kuidhinisha au kukuza bidhaa zinazotokana na programu hii bila idhini maalum ya maandishi.
SOFTWARE HII IMETOLEWA NA WENYE HAKI NA WACHANGIAJI "KAMA ILIVYO" NA DHAMANA ZOZOTE ZILIZOONEKANA AU ZILIZODHANISHWA, IKIWEMO, LAKINI SI KIKOMO, DHAMANA ILIYOHUSIKA YA UUZAJI NA KUFAA KWA MADHUMUNI MAALUM. KWA MATUKIO YOYOTE MWENYE HAKI AU WACHANGIAJI HATATAWIKIWA KWA HASARA ZOZOTE ZA MOJA KWA MOJA, MOJA KWA MOJA, TUKIO, MAALUM, MFANO, AU KUTOKANA NA UHARIBIFU (Ikiwa ni pamoja na, LAKINI SI KIKOMO, UNUNUZI WA HUDUMA, HUDUMA MBADALA, HUDUMA; AU KUKATAZWA KWA BIASHARA) HATA HIVYO ILIVYOSABABISHWA NA KWA NADHARIA YOYOTE YA DHIMA, IKIWA KWA MKATABA, DHIMA MADHUBUTI, AU UTETEZI (pamoja na UZEMBE AU VINGINEVYO) UNAOTOKEA KWA NJIA YOYOTE NJE YA MATUMIZI YA SOFTWARE HII, HATA IKITOKEA USHAURI.

Historia ya marekebisho
Jedwali la 3 linatoa muhtasari wa masahihisho ya waraka huu.

Kitambulisho cha Hati	Tarehe ya kutolewa	Maelezo
AN14270 v.1.0	16 Mei 2024	Toleo la kwanza kwa umma

Taarifa za kisheria

Ufafanuzi
Rasimu - Hali ya rasimu kwenye hati inaonyesha kuwa maudhui bado yako chini ya urekebishaji wa ndaniview na kulingana na idhini rasmi, ambayo inaweza kusababisha marekebisho au nyongeza. NXP Semiconductors haitoi uwakilishi au dhamana yoyote kuhusu usahihi au ukamilifu wa taarifa iliyojumuishwa katika toleo la rasimu ya hati na haitakuwa na dhima kwa matokeo ya matumizi ya habari kama hiyo.

Kanusho
Dhima na dhima ndogo - Taarifa katika hati hii inaaminika kuwa sahihi na ya kuaminika. Hata hivyo, NXP Semiconductors haitoi uwakilishi au dhamana yoyote, iliyoelezwa au kudokezwa, kuhusu usahihi au ukamilifu wa taarifa kama hizo na haitakuwa na dhima kwa matokeo ya matumizi ya habari hiyo. NXP Semiconductors haiwajibikii maudhui katika hati hii ikiwa yametolewa na chanzo cha habari nje ya NXP Semiconductors.
Kwa hali yoyote, Semiconductors za NXP hazitawajibika kwa uharibifu wowote usio wa moja kwa moja, wa bahati mbaya, wa adhabu, maalum au wa matokeo (pamoja na - bila kikomo - faida iliyopotea, akiba iliyopotea, usumbufu wa biashara, gharama zinazohusiana na uondoaji wa Mor wa bidhaa yoyote au malipo ya kutengeneza upya) iwe au sio uharibifu kama huo unatokana na tort (ikiwa ni pamoja na uzembe), dhamana, uvunjaji wa mkataba au nadharia nyingine yoyote ya kisheria.
Bila kujali uharibifu wowote ambao mteja anaweza kupata kwa sababu yoyote ile, jumla ya Waendeshaji Semiconductors wa NXP na dhima limbikizi kwa mteja kwa bidhaa zilizofafanuliwa hapa zitapunguzwa kwa mujibu wa Sheria na Masharti ya uuzaji wa kibiashara wa Semiconductors za NXP.

Haki ya kufanya mabadiliko — NXP Semiconductors inahifadhi haki ya kufanya mabadiliko kwa habari iliyochapishwa katika hati hii, ikijumuisha bila vikwazo na maelezo ya bidhaa, wakati wowote na bila taarifa. Hati hii inachukua nafasi na kuchukua nafasi ya maelezo yote yaliyotolewa kabla ya kuchapishwa kwake.
Kufaa kwa matumizi - Bidhaa za Semiconductors za NXP hazijaundwa, zimeidhinishwa au kuthibitishwa kuwa zinafaa kwa matumizi ya usaidizi wa maisha, mifumo au vifaa muhimu vya maisha au muhimu sana, wala katika matumizi ambapo kushindwa au kutofanya kazi kwa bidhaa ya NXP Semiconductors inaweza kutarajiwa kwa njia inayofaa. kusababisha majeraha ya kibinafsi, kifo au uharibifu mkubwa wa mali au uharibifu wa mazingira. NXP Semiconductors na wasambazaji wake hawakubali dhima yoyote ya kujumuishwa na/au matumizi ya bidhaa za NXP Semiconductors katika vifaa au programu kama hizo na kwa hivyo kujumuishwa na/au matumizi ni kwa hatari ya mteja mwenyewe.

Maombi - Maombi ambayo yamefafanuliwa humu kwa bidhaa yoyote kati ya hizi ni kwa madhumuni ya kielelezo pekee. Semiconductors ya NXP haitoi uwakilishi au dhamana kwamba programu kama hizo zitafaa kwa matumizi maalum bila majaribio zaidi au marekebisho.

Wateja wanawajibika kwa muundo na uendeshaji wa programu na bidhaa zao kwa kutumia bidhaa za NXP Semiconductors, na NXP Semiconductors haikubali dhima yoyote kwa usaidizi wowote wa programu au muundo wa bidhaa za mteja. Ni jukumu la mteja pekee kubainisha ikiwa bidhaa ya NXP Semiconductors inafaa na inafaa kwa programu na bidhaa zilizopangwa za mteja, na vile vile kwa utumaji uliopangwa na matumizi ya mteja(wateja wengine). Wateja wanapaswa kutoa muundo unaofaa na ulinzi wa uendeshaji ili kupunguza hatari zinazohusiana na programu na bidhaa zao.

NXP Semiconductors haikubali dhima yoyote inayohusiana na chaguomsingi, uharibifu, gharama au tatizo lolote ambalo linatokana na udhaifu wowote au chaguo-msingi katika programu au bidhaa za mteja, au maombi au matumizi ya mteja/watu wengine wa mteja. Mteja ana wajibu wa kufanya majaribio yote yanayohitajika kwa ajili ya maombi na bidhaa za mteja kwa kutumia bidhaa za NXP Semiconductors ili kuepuka chaguo-msingi la programu na bidhaa au programu au matumizi ya wateja wengine wa mteja. NXP haikubali dhima yoyote katika suala hili.

Sheria na Masharti ya uuzaji wa kibiashara - Bidhaa za NXP Semiconductors zinauzwa kulingana na sheria na masharti ya jumla ya uuzaji wa kibiashara, kama ilivyochapishwa katika https://www.nxp.com/profile/terms, isipokuwa kama imekubaliwa vinginevyo katika makubaliano halali ya maandishi ya mtu binafsi. Ikiwa makubaliano ya mtu binafsi yamehitimishwa tu sheria na masharti ya makubaliano husika yatatumika. NXP Semiconductors inapinga waziwazi kutumia sheria na masharti ya jumla ya mteja kuhusu ununuzi wa bidhaa za NXP Semiconductors na mteja.

Udhibiti wa usafirishaji nje - Hati hii pamoja na bidhaa zilizofafanuliwa hapa zinaweza kuwa chini ya kanuni za udhibiti wa usafirishaji. Usafirishaji nje unaweza kuhitaji idhini ya awali kutoka kwa mamlaka husika.
Inafaa kwa matumizi ya bidhaa zisizo za magari - Isipokuwa waraka huu unasema waziwazi kuwa bidhaa hii mahususi ya NXP Semiconductors ina sifa za ugari, bidhaa hiyo haifai kwa matumizi ya magari. Haijahitimu wala kujaribiwa kwa mujibu wa majaribio ya magari au mahitaji ya maombi. NXP Semiconductors haikubali dhima ya kujumuishwa na/au matumizi ya bidhaa zisizo za kigari zilizohitimu katika vifaa vya magari au programu.

Iwapo mteja atatumia bidhaa kwa ajili ya kubuni-ndani na kutumia katika programu za magari kwa vipimo na viwango vya magari, mteja (a) atatumia bidhaa bila dhamana ya NXP ya Semiconductors ya bidhaa kwa ajili ya maombi hayo ya magari, matumizi na vipimo, na ( b) wakati wowote mteja anapotumia bidhaa kwa ajili ya maombi ya magari zaidi ya vipimo vya NXP Semiconductors matumizi kama hayo yatakuwa kwa hatari ya mteja mwenyewe, na (c) mteja anafidia kikamilifu Semiconductors za NXP kwa dhima yoyote, uharibifu au madai ya bidhaa yaliyofeli kutokana na muundo na matumizi ya mteja. bidhaa kwa ajili ya maombi ya magari zaidi ya udhamini wa kiwango cha NXP Semiconductors na vipimo vya bidhaa vya NXP Semiconductors.

Tafsiri — Toleo lisilo la Kiingereza (lililotafsiriwa) la hati, ikijumuisha maelezo ya kisheria katika hati hiyo, ni la marejeleo pekee. Toleo la Kiingereza litatumika iwapo kutatokea hitilafu yoyote kati ya matoleo yaliyotafsiriwa na ya Kiingereza.

Usalama - Mteja anaelewa kuwa bidhaa zote za NXP zinaweza kuwa chini ya udhaifu usiojulikana au zinaweza kusaidia viwango vilivyowekwa vya usalama au vipimo vilivyo na vikwazo vinavyojulikana. Mteja anawajibika kwa muundo na uendeshaji wa programu na bidhaa zake katika maisha yake yote ili kupunguza athari za udhaifu huu kwenye programu na bidhaa za mteja. Wajibu wa Mteja pia unaenea hadi kwa teknolojia zingine huria na/au za umiliki zinazoungwa mkono na bidhaa za NXP kwa matumizi katika programu za mteja. NXP haikubali dhima yoyote ya athari yoyote. Mteja anapaswa kuangalia mara kwa mara masasisho ya usalama kutoka kwa NXP na kufuatilia ipasavyo.
Mteja atachagua bidhaa zilizo na vipengele vya usalama ambavyo vinakidhi vyema sheria, kanuni na viwango vya matumizi yaliyokusudiwa na kufanya maamuzi ya mwisho ya muundo kuhusu bidhaa zake na anawajibika kikamilifu kwa kufuata mahitaji yote ya kisheria, udhibiti na usalama yanayohusiana na bidhaa zake, bila kujali. habari au usaidizi wowote ambao unaweza kutolewa na NXP.

NXP ina Timu ya Majibu ya Tukio la Usalama wa Bidhaa (PSIRT) (inaweza kufikiwa kwa saa PSIRT@nxp.com) ambayo inadhibiti uchunguzi, kuripoti na kutolewa kwa suluhisho kwa udhaifu wa usalama wa bidhaa za NXP.
NXP BV — NXP BV si kampuni inayofanya kazi na haisambazi au kuuza bidhaa.

Alama za biashara

Notisi: Chapa zote zinazorejelewa, majina ya bidhaa, majina ya huduma na chapa za biashara ni mali ya wamiliki husika.

NXP — alama ya neno na nembo ni alama za biashara za NXP BV
i.MX — ni chapa ya biashara ya NXP BV

Tafadhali fahamu kwamba arifa muhimu kuhusu hati hii na bidhaa/bidhaa zilizofafanuliwa hapa, zimejumuishwa katika sehemu ya 'Maelezo ya Kisheria'.
© 2024 NXP BV Haki zote zimehifadhiwa.
Kwa habari zaidi, tafadhali tembelea: https://www.nxp.com

Tarehe ya kutolewa: 16 Mei 2024
Kitambulisho cha hati: AN14270

Nyaraka / Rasilimali

NXP AN14270 Inaongeza Usaidizi wa Sauti kwa Mwongozo wa GUI [pdf] Mwongozo wa Mtumiaji
AN14270 Inaongeza Usaidizi wa Sauti kwa Mwongozo wa GUI, AN14270, Kuongeza Usaidizi wa Sauti kwa Mwongozo wa GUI, kwa Mwongozo wa GUI, Mwongozo wa GUI, Mwongozo

Marejeleo

Mwongozo wa Mtumiaji

NXP AN14270 Inaongeza Usaidizi wa Sauti kwa Mwongozo wa GUI

Maagizo ya Matumizi ya Bidhaa

Utangulizi

Zaidiview

Mahitaji ya maunzi, programu, na mwenyeji

Mahitaji ya awali

Mwongozo wa GUI

VIT

Programu ya GUI Guider VIT

Rasilimali zinazohusiana

Taarifa za kisheria

Nyaraka / Rasilimali

Marejeleo

Acha maoni

Ghairi jibu