Amazon Alexa AI

Ágrip
Að byggja upp félagslega vélmenni sem geta átt djúp og grípandi samtöl á opnu léni við menn er ein af stóru áskorunum gervigreindar (AI). Í þessu skyni þurfa vélmenni að geta nýtt sér heimsþekkingu sem spannar nokkur svið á áhrifaríkan hátt þegar þeir tala við menn sem hafa sína eigin heimsþekkingu. Núverandi þekkingargrunnuð samtalsgagnasöfn eru fyrst og fremst stílfærð með skýrum hlutverkum fyrir samtalsfélaga. Þessi gagnasöfn kanna heldur ekki dýpt eða breidd efnislegrar umfjöllunar með breytingum í samtölum. Við kynnum Topical-Chat, þekkingargrunnað mann-mannlegt samtal gagnasafn þar sem undirliggjandi þekking spannar 8 víðtæk efni og samtalsfélagar hafa ekki skýrt skilgreint hlutverk, til að hjálpa frekari rannsóknum á opnu léni samtals AI. Við þjálfum einnig nokkur nýjustu samræðulíkön um kóðara og afkóðara á Topical-Chat og framkvæmum sjálfvirkt og mannlegt mat til samanburðar. Vísitöluskilmálar: samræðukerfi, þekkingargrunnur, félagsleg samtöl, svarmyndun

Inngangur

Að byggja upp samtalsbotta sem geta haft samskipti við menn á náttúrulegu tungumáli (einnig þekkt sem gervigreind í samtali) hefur verið áhugavert fyrir vísindamenn frá fyrstu dögum tölvunar, eins og dæmi eru um með textabundnum kerfum eins og ELIZA [1]. Vinna við gervigreind í samtali tilheyrir almennt einum af eftirfarandi tveimur flokkum: verkefnismiðað og opið lén. Verkefnamiðaðir vélmenni miða að því að hjálpa mönnum að ná tilteknu verkefni í gegnum margsnúninga samskipti, en opið léns vélmenni miða að því að þjóna sem félagslegum samræðuaðilum sem menn geta átt náttúruleg og grípandi samtöl við. Auk þess að ná tökum á hefðbundinni tungumálakunnáttu eins og skilningi, þurfa opið lénsbots (einnig þekkt sem félagslegir bottar) að fullkomna nokkra samræðuhæfileika sem koma mönnum eðlilega: rifja upp úr heimsþekkingu, rökhugsun í tengslum við samtalssöguna og búa til gild svör. Socialbots þurfa einnig að vera fær um að hafa fullnægjandi staðbundna breidd og dýpt og framkvæma slétt efnisskipti.

Mikilvægur takmarkandi þáttur fyrir rannsóknir á því að læra þessa samræðufærni er skortur á gagnasettum af þekkingartengdum samtölum og tengdum þekkingarheimildum. Við kynnum Topical-Chat, gagnasafn með ~11 þúsund samræðum manna og manna um þekkingu sem spannar 8 víðtæk efni. Mynd 1 inniheldur samtalsbrot úr Topical-Chat. Gagnapakkinu var safnað með því að fara í samstarf við starfsmenn Amazon Mechanical Turk, útvega þeim staðbundin lestrarsett og biðja samstarfsaðila um að eiga náttúrulega samfelld og grípandi samtöl á grundvelli lessettanna sem þau hafa fengið. Samstarfsaðilar hafa ekki skýrt skilgreind hlutverk sem þeir þurfa að þjóna meðan á samtali stendur og lestrarsettin sem þeim eru veitt gætu verið samhverf eða ósamhverf í mismiklum mæli, sem endurspeglar nákvæmlega raunveruleikasamtöl þar sem heimsþekkingin sem báðir samstarfsaðilar öðluðust fyrir samtal gæti eða er kannski ekki samhverft. Samstarfsaðilar eru einnig beðnir um að gera athugasemdir við hverja umferð samtals síns á nokkrum víddum, svo sem notkun lessetts og viðhorf.
Til þess að búa til viðmið fyrir framtíðarrannsóknir með Topical-Chat, þjálfuðum við nokkur umrita-afkóðara [2, 3] samtalslíkön á Topical-Chat, sem hvert um sig miðar að því að skapa svar sem byggist á lestrarsetti og er skilyrt af samtalssögu. Við nýtum sérstaklega Transformer arkitektúrinn [4] svipað og [5]. Við sýnum getu líkananna okkar til að eiga grípandi samtöl byggð á þekkingu með sjálfvirku og mannlegu mati.

• Umboðsmaður Skilaboð. . . . . .
• Túrkari 2
  Mér þætti vænt um það starf. Það væri líka flott að heimsækja Júpíter, en það er ómögulegt vegna mikillar geislunar.
• Túrkari 1
  Já. Jörðin verður helíumlaus í lok 21. aldar. Ég velti því fyrir mér hvort við gætum gert meira af því í rannsóknarstofu? Er það jafnvel þörf?

Mynd 1: Brot úr Topical-Chat samtali (setning notuð úr samsvarandi lestrarsetti auðkennd með feitletrun)

Tengd vinna

Áhugi nýlegra rannsókna á samræðum á grundvelli þekkingar hefur leitt til opinberrar útgáfu margra gagnasafna. [6] gaf út gagnasafn með ~4K samtölum þar sem Wikipedia greinar um 30 kvikmyndir þjónuðu sem þekkingargrunnur. Safnið var framkvæmt með hluta af greinunum sem sýndir voru samtalsaðilum á tilsettan hátt. [7] gaf út svipað gagnasafn af samtölum um kvikmyndir, þar sem þekkingargrunnurinn samanstendur af Wikipedia greinum, umviews og athugasemdir unnar frá web um ~1K kvikmyndir. Söfnunin fól í sér sjálfssamræður þar sem einn mannfjöldi vinnur fram orð fyrir báða aðila. Nýlega var gefin út Wizard of Wikipedia (WoW) gagnasafnið [5] þar sem áherslan, svipað og okkar, er á söfnun þekkingargrundaðra samtöla á opnu léni. Lykilmunur er þekkingargrunnur þeirra samanstendur af Wikipedia greinum, en við treystum á margar gagnaheimildir, sérstaklega Washington Post greinar og Reddit skemmtilegar staðreyndir til viðbótar við Wikipedia greinar um einingar, til að gera lífleg samskipti.

Röð-til-röð kynslóðarlíkanaaðferðir hafa orðið vinsælar fyrir svörunarmyndun, þar sem markmiðið er að búa til svar miðað við fyrri snúning í samtali [2, 3]. Hins vegar eru svör sem myndast af þessum röð-til-röð líkönum ekki alltaf samfelld eða samhengisfræðilega viðeigandi og er tekið fram að þau séu oft almenn og skorti áhugavert efni [2]. Slíkar aðferðir byggja ekki beinlínis viðbrögð á viðeigandi þekkingu. Þetta hefur leitt til þess að unnið er að aðferðum sem fela í sér heimsþekkingu inn í samtalssvörun. [8] notaði enda-til-enda minnisnet til að skilyrða svörin sem myndast við þekkingu, þar sem athygli á þekkingunni sem skiptir máli fyrir samtalssamhengið er metin og margar þekkingarframsetningar eru innifaldar sem inntak við afkóðun svars. [9] sækir viðeigandi þekkingargröf miðað við samtalssamhengið og umritar línuritin með kyrrstæðum línuritaeftirlitskerfi. Afkóðarinn les af athygli þekkingargrafin sem sótt eru og þekkingin þrefaldast innan hvers línurits. Nýlega [5] notaðu Transformer Memory Network til að umrita þekkingarsetningar og samtalssamhengi og afkóða svar.

Staðbundið-spjall

Starfsmenn á Amazon Mechanical Turk (einnig þekktir sem Turk-ers) eru í samstarfi og útvega mjög málefnaleg lessett og hvert par af starfsmönnum er beðið um að eiga eðlilega samfellt og grípandi samtal sem byggist á þeim lessettum sem þeir fá. Í okkar stillingu gætu lessettin sem viðmælendum eru veitt samhverf eða haft mismikla ósamhverfu, en lessett eru kölluð samhverf ef þau innihalda nákvæmlega sömu upplýsingar og ósamhverf að öðru leyti. Þetta þjónar sem alhæfing á Wizard-Apprentice stillingunni í [5]. Ólíkt flestum (þekkingartengdum eða öðrum) samtalsstillingum [5, 10, 11, 12] hafa samstarfsaðilar ekki sérstaklega skilgreint hlutverk sem þeir þurfa að þjóna meðan á samtali stendur. Við notum ósamhverfu upplýsinga til að valda því að báðir samstarfsaðilar gegni tvöföldum hlutverkum kennara og þátttakanda meðan á samtali stendur. Þessi stilling endurspeglar samtöl í raunveruleikanum betur, þar sem heimsþekkingin sem báðir aðilar hafa öðlast fyrir samtal getur verið samhverf eða ekki. Þetta gerir Topical-Chat gagnasafnið fjölhæft og raunhæft og gerir líkan beggja samstarfsaðila kleift.

Sköpun þekkingargrunns
Til að búa til lestrarsett bjuggum við til þekkingargrunn sem samanstendur af þremur frumstæðum: einingum, staðreyndum og greinum.

Tafla 1: Viðfangsefni og fjárhagsáætlanir þeirra

Umræðuefni	Fjárhagsáætlun
Tíska	20
Stjórnmál	25
Bækur	33
Íþróttir	35
Almenn skemmtun	38
Tónlist	39
Vísindi og tækni	44
Kvikmyndir	66
Samtals	300

Val á einingum: Við völdum fyrst 300 vinsælar einingar sem spanna 8 efni úr fyrri samræðugagnasöfnum manna-botna sem safnað var í umfangsmikilli opnu lénssamkeppni milli fræðilegra rannsóknarhópa [13]. Við völdum einingarnar sérstaklega úr öllum orðum notenda í þessu fyrri gagnasafni, þar sem orð notenda upplýsa okkur um hvað notendur hafa áhuga á að tala við félagslega vélmenni um. Til að viðhalda fjölbreytileika efnisþátta, skoðuðum við tíðni dreifingu efnisþáttanna 8 yfir öll orð notenda til að úthluta fjárhagsáætlun einingar Bi fyrir hvert efni i (með öllum fjárveitingum eru allt að 300). Við völdum síðan efstu Bi-einingarnar fyrir hvert efni, i. Viðfangsefnin og fjárhagsáætlun þeirra er að finna í töflu 1.

Staðreyndaval: Við sóttum Wikipedia leiðarhluta þessara 300 aðila og hópuðum 8-10 skemmtilegar staðreyndir fyrir hverja aðila með Reddit [14]. Fyrir hverja einingu héldum við tveimur útgáfum af sóttum Wikipedia leiðarhlutum. Sú fyrri er stytt útgáfa sem samanstendur af fyrstu málsgrein aðalkafla og valkvætt annarri málsgrein ef fyrsta málsgrein inniheldur færri en 50 orð. Önnur er samandregin útgáfa búin til með því að draga saman allan aðalhlutann með TextRank [15] í 150 orð eða minna.

Greinarval: Við sóttum Washington Post greinar frá 2018 sem hver um sig vísaði til 3 eða fleiri af 300 einingunum og innihéldu 600-1000 orð. Við fjarlægðum greinar með fagnaðarorðum og skoðuðum síðan fjárhagsáætlun efniseiningar til að ganga frá 3088 greinum, sem tryggðum viðunandi umfjöllun um öll efni.

Sköpun lestrarsetta
Með því að nota þann þekkingargrunn sem búið er til, smíðum við par af lestrarsettum í rauntíma til að veita samstarfsaðilum í samtali. Grunnurinn að pari af lestrarsettum er grein. Fyrir hvert samtal sem á að safna völdum við af handahófi grein úr þekkingargrunni okkar sem hefur ekki þegar verið notuð að hámarki 4 sinnum til að safna viðunandi samtali. Við notum síðan handahófskennda uppsetningu úr fyrirfram skilgreindum lista yfir stillingar á þá grein. Stillingar eru skilgreindar til að koma á mismikilli upplýsingasamhverfu eða ósamhverfu milli samstarfsaðila, sem leiðir til söfnunar á margs konar samtölum.

Ósamhverfar stillingar

Mynd 2: Lessett fyrir Turkers 1 og 2 í Config A
Stillingar A: Báðir Tyrkir fá Washington Post grein og stytta leiðarhluta Wikipedia um efstu 3 einingarnar eftir tíðni atvika í greininni. Hins vegar fá þeir hver um sig mismunandi skemmtilegar staðreyndir um þessar einingar. Þetta gerir ósamhverfu í skemmtilegum staðreyndum á einingastigi kleift.

Mynd 3: Lessett fyrir Turkers 1 og 2 í Config B
Config B: Báðir Turkers fá Washington Post grein og 4-5 skemmtilegar staðreyndir um efstu 3 einingarnar eftir tíðni atvika í greininni. Hins vegar fær einn Turker stytta Wikipedia leiðarakafla og hinn fær samantekna Wikipedia leiðarahluta um þessar einingar. Þetta gerir ósamhverfu kleift í Wikipedia-lýsingum á einingastigi.

Samhverfar stillingar
Config C: Báðir Turkers fá stytta Wikipedia leiðarhluta og 4-5 skemmtilegar staðreyndir sem samsvara efstu 3 einingunum eftir tíðni atvika í Washington Post grein. Hins vegar er Washington Post greinin sjálf ekki sýnd neinum Turker. Config D: Báðir Turkers fá Washington Post grein, stytta Wikipedia leiðarhluta og 4-5 skemmtilegar staðreyndir sem samsvara efstu 3 einingarnar eftir tíðni atvika í greininni.

Samtalasafn
Hæfir starfsmenn á Mechanical Turk sem taka að sér mannleg upplýsingaöflun okkar (einnig þekkt sem HITs) eru í samstarfi og útvega staðbundin lestrarsett til að lesa og þar af leiðandi spjalla um. Lessettin eru einnig sýnd á skjám Tyrkjanna, nálægt spjallglugganum, meðan á samtalinu stendur til viðmiðunar. Allar upplýsingar um aðila E1 (styttir/samdrættir Wikipedia leiðarhlutar og skemmtilegar staðreyndir) eru sýndar sem hópur sem ber titilinn Factual Section 1. Washington Post greinin um einingar E1, E2 og E3 er skipt í 4 hluta af svipaðri stærð, sem eru sýndir með titlunum 1.-4. gr. Tyrkir eru gjaldgengir fyrir HITs okkar ef fyrri samþykktir HITs þeirra og samþykkishlutfall er að minnsta kosti 1000 og 99% í sömu röð, sem tryggir að samtöl okkar taka til reynslu Tyrkja. Við notuðum sérsniðna útgáfu af ParlAI [16] rammanum til að safna samtölum.

Við leyfum tyrkneskum samstarfsaðilum að senda samtal sitt aðeins ef þeir hafa talað í að minnsta kosti 20 snúninga. Í hverri umferð á meðan á samtali stendur, á meðan þeir bíða eftir að maki þeirra svari, biðjum við hvern maka um að: gera athugasemdir við tilfinningar skilaboða sinna á 8 punkta kvarða (Reiður, Ógeðslegur, Fearful, Sad, Happy, Surprised, Curious to Kafa dýpra, hlutlaus), tilgreindu þekkingaruppsprettu sem notaður er til að búa til skilaboð þeirra (staðreyndarkafli 1-3, greinarhluti 1-4 og/eða persónuleg þekking) og metið gæði fyrri skilaboða maka síns á 5 punkta kvarða (léleg , Ekki gott, viðráðanlegt, gott og frábært). Í lok samtals biðjum við báða samstarfsaðila um að meta gæði samtalsins á sama 5 punkta kvarða.

Við reiddum okkur á blöndu af handvirkri endurviewog sjálfvirkar athuganir til að tryggja að samtölin sem við vorum að safna væru viðunandi. Sjálfvirku eftirlitið fólst í því að reikna út og sannreyna að gæðamælingar okkar væru yfir stilltum viðmiðunarmörkum. Tyrkir sem áttu óvenjulega vönduð samtöl fengu bónusa. Tölfræði um gagnasafnið okkar er sýnt í töflu 2. Við bjuggum til tvær útgáfur af staðfestingar- og prófunarsettinu: tíðar og sjaldgæfar, nokkuð svipaðar [5]. Tíðasettið inniheldur einingar sem oft sést í þjálfunarsettinu, en sjaldgæfa settið inniheldur einingar sem sáust sjaldan eða aldrei í þjálfunarsettinu. Tilvist margra eininga í hverju samtali með hönnun lestrarsettanna gerði það erfiðara að framkvæma fullkomna skiptingu einingarstigs á gagnasafninu okkar ólíkt [5], þar sem þetta er miklu auðveldara að framkvæma þar sem hvert samtal er tengt einni einingu (vísað til sem efni í blaðinu þeirra). Aðferðin sem notuð er til að skipta gagnasafninu okkar verður veitt í aukinni útgáfu af þessari grein.

Fyrirmyndir

Táknum samtal að hluta Cj = [x1, . . . , xj ], þar sem fyrir 1 ≤ i ≤ j, xi er ith beygja í samtalinu. Samtalsferill okkar er táknaður sem Hj = x1 ⊕· · ·⊕xj , sem er fletja röð allra tákna í Cj. xj+1, grunn-sannleikssvörun við beygju j + 1, er markröð okkar sem spáð er fyrir fyrir allar gerðir. Táknaðu lestrarsettið sem samsvarar Turker sem tengist beygju j + 1 sem R, sem við táknum í röð þekkingarframbjóðenda [ki], i = 1, . . . , NR. Táknaðu WK sem stytta færibreytu fyrir þekkingarsetningu K, sem geymir í mesta lagi WK tákn frá upphafi í K. Táknaðu WH sem styttu færibreytu fyrir samtalssögu H, sem geymir í mesta lagi WH tákn frá enda í H.

Transformer
Við þjálfum Transformer með (Hj, xj+1) pörum. Meðan á ályktun stendur afkóðar það svar y gefið samtalssögu H.

Transformer með þekkingu
Hj og valin setning kˆ úr [ki] eru kóðaðar með sameiginlegum Transformer, samkeyrðar og sendar til Transformer afkóðarans. Þekkingarval í fjarveru grunnsannleikasvars xj+1 er opið vandamál. Sem stendur notum við xj+1 í argmax véfréttinni til að velja kˆ, sem hér segir:

xj+1 og ki eru TF-IDF vektorar fyrir xj+1 og ki. TF-IDF vektorizerinn er lærður með því að setningamerkja öll lessett í Topical-Chat og meðhöndla hverja setningu sem skjal.

Mynd 4: Transformer með þekkingu

Tilraunir

Allar gerðir voru þjálfaðar með því að nota ParlAI [16]. Transformerinn okkar inniheldur tvö lög með tveimur athyglishausum og földu lagstærð sem er 300 fram og aftur með brottfalli 0.2. Við frumstilltum af handahófi 300-víddar innfellingar orða, sem lærðar eru við þjálfun. Við lærum ekki staðsetningarinnfellingar og kóðunarstaðsetningu með því að nota einn heita vektora. Við notum lotustærð 32, stochastic hallafall til hagræðingar með hallaklemmu upp á 0.1 og hrörnun námshraðaáætlunar 0.5 með þolinmæði 3. Við hættum að þjálfa þegar ráðvilla á sannprófunartíðni minnkar ekki í 10 tímabil. Við notum geislaleit með geislastærð 5 fyrir afkóðun.
Við gerðum einnig tilraunir með að forþjálfa Transformer á BookCorpus [17] með því að nota tungumálslíkanmarkmið um að hámarka loglíkur á næsta tákni með hliðsjón af samhengisglugga tákna [18]. Við notum bætaparkóðun (BPE) [19] við forþjálfun (orðaforðastærð 37758). Þegar við erum ekki í forþjálfun notum við ekki BPE (orðaforðastærð 49957).

Niðurstöður

Við notum eftirfarandi skammstöfun fyrir líkön til að styttast í: TF = Transformer, m/ pt = með forþjálfun, m/ k. =

Tafla 2: Tölfræði um málefnaleg spjall

Staðbundið-spjall	Config	Lest	Gild tíðni.	Gildir Sjaldgæft	Test Freq.	Próf Sjaldgæft
Fjöldi samtala	A BCD	2199 2114 2259 2486	141 144 150 130	127 138 143 158	131 141 125 168	136 154 139 136
	Samtals	9058	565	566	565	565
Fjöldi orða	A BCD	48022 46098 49705 54481	3083 3177 3248 2859	2792 3066 3237 3445	2875 3116 2737 3735	2955 3348 3012 3023
	Samtals	198306	12367	12540	12463	12338
Meðalfjöldi snúninga á samtali	A BCD	21.8 21.8 22.0 21.9	21.8 22.0 21.6 22.0	22.0 22.2 22.6 21.8	21.9 22.1 21.9 22.2	21.7 21.7 21.7 22.2
	Samtals	21.9	21.9	22.1	22.0	21.8
Meðallengd framburðar	A BCD	19.7 19.7 19.6 19.7	19.9 20.1 20.1 19.2	20.2 19.0 19.1 19.6	19.4 19.1 20.0 20.0	19.4 20.2 19.9 20.0
	Samtals	19.7	19.8	19.8	19.6	19.9

með þekkingu. Við notuðum stóran WK = 128 þegar við notum þekkingu, sem gerði færibreytuna í raun óviðkomandi í stillingu okkar þar sem flestar þekkingarsetningar hafa færri en 128 tákn. Til þess að ákveða viðeigandi WH reyndum við að þjálfa Transformer sem notar þekkingu með mismunandi WH og metum þær á sjálfvirkum mælingum sem lýst er hér að neðan (tafla 5). Við sjáum að WH = 32 virkar best. Við teljum að þetta endurspegli vanhæfni þekkingarlíkans okkar til að sinna mikilvægum táknum í samhenginu þegar stórt WH er notað. Þar af leiðandi notuðum við WH = 32 í töflum 3 og 4.

Fyrir sjálfvirkt mat, lítum við á mælikvarða eins og ráðvillu (PPL), einrit F1 af líkanaspá með grunnsannleika svörun og n-gramma fjölbreytileika (Div.) [8]. Í töflu 3 sjáum við að öll líkönin okkar eru með mikla fjölbreytileika ein- og tvírita, sem sýnir að líkönin læra að afkóða svör sem eru orðafræðilega upplýsandi og fjölbreytt. Við fylgjumst einnig með framförum í einriti F1 og aukningu á PPL þegar þekking er notuð.

Við gerðum mannlegt mat á líkönunum okkar með því að búa fyrst til 150 matsbúta, sem hver samanstendur af {Cj , kˆ, [rc]}, c = 1 . . . N, þar sem [rc] er safn af N svörum (N−1 úr þjálfuðum líkönum og eitt grunnsannleikssvar xj+1) gefið samtal að hluta Cj og valin setning kˆ. Hlutasamtalið sem samsvarar hverju broti kom úr sérstöku samtali í Topical-Chat prófinu oft settinu. Fyrir hvern rc í hverjum bút, báðum við tvo menn um að skrifa sérstaklega athugasemdir [20, 21](möguleg gildi innan sviga) hvort rc sé skiljanlegt (0/1), viðfangsefni (0/1) og áhugavert (0/1) .

Við báðum þá líka að gera athugasemd við hversu áhrifaríkan hátt kˆ er nýtt í rc (0-3) og hvort þeir hefðu viljað halda áfram samtalinu eftir rc (0/1). Við reiknuðum Cohen's kappa fyrir tvöfalda og Fleiss' kappa fyrir nafnkvarða athugasemdir sem mælikvarða á áreiðanleika samræmis og horfðum á lélega samræmi fyrir áhugavert (0.29) og héldum samtalinu áfram (0.27). Þar af leiðandi tökum við saman og greinum frá meðalskýringastigum fyrir færibreytur með miklu samræmi í töflu 4. Við notum eftirfarandi skammstafanir í stuttu máli: skiljanlegt = samþ., efnisatriði = ot, nýta þekkingu = lk Við athugum að öll líkön eru metin til að framleiða að mestu skiljanleg svör og líkönin sem taka til sín þekkingu eru metin til að framleiða svör sem nýta þau, þó aðeins á áhrifaríkan hátt.

Tafla 3: Sjálfvirkar mælingar á prófunarsetti (tíðar/sjaldgæfar)

Tafla 4: Mannlegt matsmælingar fyrir 150 prófunartíðni. brot

Tafla 5: Áhrif mismunandi WH fyrir TF (w/ k.) á prófunartíðni.

Niðurstaða

Við kynnum Topical-Chat, opið léns þekkingargrunn samtalsgagnasett án skýrra hlutverka fyrir samtalsfélaga og inniheldur dýpt og breidd efnislegrar umfjöllunar með breytingum í samtölum. Við þjálfum einföld Transformer-undirstaða líkön til að mynda svörun og metum þau með því að nota sjálfvirkar mælikvarða til samanburðar. Við leggjum einnig fram vísbendingar um eigindlegt gildi með mannlegu mati á þessum gerðum. Við vonum að útgáfa Topical-Chat ýti undir gagnastýrðar rannsóknir í opnu léni þekkingargrunnaðrar gervigreindar í samtali.

1Módel sem notuð voru fyrir mannlegt mat voru þjálfuð á undirmengi þjálfunarsettsins.

Heimildir

1. J. Weizenbaum o.fl., „Eliza—tölvuforrit til að rannsaka náttúrumálssamskipti milli manns og vélar,“
   Samskipti ACM, bindi. 9, nr. 1, bls. 36–45, 1966.
2. O. Vinyals og Q. Le, „A taugasamtalslíkan,“ arXiv forprentun arXiv:1506.05869, 2015.
3. A. Ritter, C. Cherry og B. Dolan, „Unservised modeling of Twitter-samtal,“ í Human Language Technologies: The 2010 Annual Conference of the North American Department of the Association for Computational Linguistics. Félag um tölvumálvísindi, 2010, bls. 172–180.
4. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, AN Gomez, Ł. Kaiser og I. Polosukhin, „Attention er allt sem þú þarft,“ í Advances in Neural Information Processing Systems, 2017, bls. 5998–6008.
5. E. Dinan, S. Roller, K. Shuster, A. Fan, M. Auli og J. Weston, „Wizard of Wikipedia: Knowledge-powered conversational agents,“ arXiv preprint arXiv:1811.01241, 2018.
6. K. Zhou, S. Prabhumoye og AW Black, „Gapagnagögn fyrir samræður á skjali,“ arXiv forprentun arXiv:1809.07358, 2018.
7. N. Moghe, S. Arora, S. Banerjee og MM Khapra, „Til að nýta bakgrunnsþekkingu til að byggja upp samtalskerfi,“ 2018.
8. M. Ghazvininejad, C. Brockett, M.-W. Chang, B. Dolan, J. Gao, W.-t. Yih og M. Galley, „Þekkingargrundað taugasamtallíkan,“ í Þrjátíu og annarri AAAI ráðstefnu um gervigreind, 2018.
9. H. Zhou, T. Young, M. Huang, H. Zhao, J. Xu og X. Zhu, „Samræða meðvituð um samfélagsþekkingu með athygli á grafi.“ í IJCAI, 2018, bls. 4623–4629.
10. JE Weston, „Dialog-based language learning,“ í Advances in Neural Information Processing Systems, 2016, bls. 829–837.
11. M. Lewis, D. Yarats, YN Dauphin, D. Parikh og D. Batra, „Samningur eða enginn samningur? nám frá enda til enda fyrir samningaviðræður,“ arXiv forprentun arXiv:1706.05125, 2017.
12. S. Zhang, E. Dinan, J. Urbanek, A. Szlam, D. Kiela og J. Weston, „Að sérsníða samtalsfulltrúa: Ég á hund, áttu gæludýr líka?“ í fundargerð 56. ársfundar Félags um tölvumálvísindi (1. bindi: Löng erindi), 2018, bls. 2204–2213.
13. C. Khatri, B. Hedayatnia, A. Venkatesh, J. Nunn, Y. Pan,
    Q. Liu, H. Song, A. Gottardi, S. Kwatra, S. Pancholi, M. Cheng,
    Q. Chen, L. Stubel, K. Gopalakrishnan, K. Bland, R. Gabriel, A. Mandal, D. Hakkani-Tur, G. Hwang, N. Michel, E. King og R. Prasad, “ Að efla nýjustu tækni í opnu lénssamskiptakerfum í gegnum Alexa verðlaunin,“ í Alexa Prize Proceedings (https://developer.amazon.com/alexaprize/challenges/past-challenges/2018/), 2018.
14. Reddit, "r/todayilearned," https://www.reddit.com/r/todayilearned/.
15. R. Mihalcea og P. Tarau, „Textrank: Bringing order into text,“ í Proceedings of the 2004 conference on empirical methods in natural language processing, 2004.
16. AH Miller, W. Feng, A. Fisch, J. Lu, D. Batra, A. Bordes,
    D. Parikh og J. Weston, „Parlai: A dialog research software platform,“ arXiv forprentun arXiv:1705.06476, 2017.
17. BookCorpus, https://github.com/soskek/bookcorpus/.
18. A. Radford, K. Narasimhan, T. Salimans og
    I. Sutskever, „Að bæta tungumálaskilning með generative forþjálfun,“
    URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/languageunsupervised/
    tungumálaskilningur paper.pdf, 2018.
19. R. Sennrich, B. Haddow og A. Birch, „Taugavélþýðing á sjaldgæfum orðum með undirorðaeiningum,“ arXiv forprentun arXiv:1508.07909, 2015.
20. A. Venkatesh, C. Khatri, A. Ram, F. Guo, R. Gabriel, A. Nagar,
    R. Prasad, M. Cheng, B. Hedayatnia, A. Metallinou, R. Goel,
    S. Yang og A. Raju, „Um að meta og bera saman opin kerfiskerfi,“ 2018.
21. A. Sjá, S. Roller, D. Kiela og J. Weston, „Hvað gerir gott samtal? hvernig stjórnanlegir eiginleikar hafa áhrif á mannlega dóma,“ 2019.

Heimildir

• Notendahandbók