Amazon Alexa AI

Abstrak
Mbangun bot sosial sing bisa duwe obrolan domain mbukak sing jero lan mbukak karo manungsa minangka salah sawijining tantangan gedhe saka intelijen buatan (AI). Kanggo tujuan iki, bot kudu bisa nggunakake kawruh donya sing nyakup sawetara domain kanthi efektif nalika ngobrol karo manungsa sing duwe kawruh donya dhewe. Dataset obrolan adhedhasar kawruh sing wis ana utamane digayakake kanthi peran eksplisit kanggo mitra obrolan. Dataset kasebut uga ora njelajah ambane utawa jembar jangkoan topikal kanthi transisi ing obrolan. Kita ngenalake Topical-Chat, kumpulan data obrolan manungsa-manungsa sing adhedhasar kawruh ing ngendi kawruh dhasar kalebu 8 topik sing wiyar lan mitra obrolan ora duwe peran sing ditetepake kanthi jelas, kanggo mbantu riset luwih lanjut babagan AI percakapan domain terbuka. Kita uga nglatih sawetara model obrolan encoder-decoder sing paling canggih ing Topical-Chat lan nindakake evaluasi otomatis lan manungsa kanggo benchmarking. Istilah Indeks: sistem dialog, landasan pengetahuan, obrolan sosial, generasi tanggapan

Pambuka

Mbangun bot conversational sing bisa sesambungan karo manungsa ing basa alam (uga dikenal minangka AI conversational) wis dadi kapentingan kanggo peneliti wiwit dina awal komputasi, minangka conto dening sistem basis teks kayata ELIZA [1]. Nggarap AI percakapan umume kalebu ing salah siji saka rong kategori ing ngisor iki: berorientasi tugas lan domain mbukak. Bot berorientasi tugas nduweni tujuan kanggo mbantu manungsa ngrampungake tugas tartamtu liwat interaksi multi-turn, dene bot domain mbukak nduweni tujuan kanggo dadi mitra obrolan sosial sing bisa ngobrol kanthi alami lan nyenengake. Saliyane nguwasani katrampilan basa tradisional kaya pangerten, bot open-domain (uga dikenal minangka bot sosial) kudu nyempurnakake sawetara katrampilan pacelathon sing alamiah kanggo manungsa: ngeling-eling saka kawruh donya, nalar bebarengan karo sejarah percakapan lan mbangun respon sing bener. Socialbots uga kudu bisa duwe jembar lan ambane topikal sing cukup lan nindakake transisi topik sing lancar.

Faktor watesan kritis kanggo riset sinau katrampilan obrolan iki yaiku kekurangan set data obrolan sing adhedhasar kawruh lan sumber pengetahuan sing ana gandhengane. Kita ngenalake Topical-Chat, kumpulan data saka ~11K obrolan manungsa-manungsa babagan kawruh babagan 8 topik sing wiyar. Gambar 1 ngemot cuplikan obrolan saka Topical-Chat. Data kasebut diklumpukake kanthi kerja sama karo para pekerja Amazon Mechanical Turk, nyedhiyakake set maca topikal lan njaluk mitra supaya duwe obrolan sing koheren lan nyenengake kanthi dhasar ing set maca sing diwenehake. Mitra ora duwe peran sing ditetepake kanthi jelas sing kudu ditindakake sajrone obrolan lan set maca sing diwenehake bisa dadi simetris utawa asimetris kanthi derajat sing beda-beda, sing kanthi akurat nggambarake obrolan ing donya nyata ing ngendi kawruh donya sing dipikolehi pasangan sadurunge obrolan bisa uga. utawa bisa uga ora simetris. Mitra uga dijaluk menehi anotasi saben obrolan ing sawetara dimensi, kayata panggunaan lan sentimen set maca.
Kanggo nggawe benchmarks kanggo riset mangsa karo Topical-Chat, kita dilatih sawetara encoder-decoder [2, 3] model conversational ing Topical-Chat, saben kang yakuwi kanggo generate respon adhedhasar pesawat maca lan kahanan ing sajarah conversational. Kita khusus nggunakake arsitektur Transformer [4] padha karo [5]. Kita nduduhake kemampuan model kita duwe obrolan sing menarik adhedhasar kawruh liwat evaluasi otomatis lan manungsa.

• Agen Pesen . . . . . .
• Turk 2
  Aku seneng proyek kasebut. Ngunjungi Jupiter uga keren, nanging ora mungkin amarga radiasi sing kuat.
• Turk 1
  Ya. Bumi bakal bebas helium ing pungkasan abad kaping 21. Aku kepengin weruh yen kita bisa nggawe luwih akeh ing laboratorium? Apa malah dibutuhake?

Gambar 1: Cuplikan saka obrolan Topik-Chat (ukara sing digunakake saka kumpulan wacan sing cocog disorot kanthi kandel)

Karya sing gegandhengan

Kapentingan riset anyar babagan obrolan adhedhasar kawruh wis nyebabake rilis umum saka pirang-pirang set data. [6] ngrilis set data ∼4K obrolan ing ngendi artikel Wikipedia babagan 30 film dadi basis kawruh. Koleksi kasebut digawe kanthi bagean saka artikel sing dituduhake menyang mitra obrolan kanthi cara sing wis dijadwal. [7] dirilis dataset padha obrolan bab film, ngendi basis kawruh dumadi artikel Wikipedia, reviews lan komentar ditambang saka web udakara ∼1K film. Koleksi kasebut kalebu dialog-dialog, ing ngendi siji buruh akeh ngasilake ujaran kanggo loro-lorone. Paling anyar, Wizard of Wikipedia (WoW) dataset [5] dirilis, ing ngendi fokus, padha karo kita, yaiku kanggo ngumpulake obrolan adhedhasar kawruh domain mbukak. Bentenane utama yaiku basis kawruh kalebu artikel Wikipedia, dene kita ngandelake macem-macem sumber data, utamane artikel Washington Post lan fakta-fakta nyenengake Reddit saliyane artikel Wikipedia babagan entitas, kanggo ngaktifake interaksi sing meriah.

Pendekatan modeling generatif sequence-to-sequence wis dadi populer kanggo generasi respon, ing ngendi tujuane kanggo ngasilake respon diwenehi giliran sadurunge ing obrolan [2, 3]. Nanging, respon sing diasilake dening model urutan-kanggo-urutan iki ora tansah koheren utawa cocog kontekstual lan kacathet asring umum lan kurang isi sing menarik [2]. Pendekatan kasebut ora kanthi tegas menehi tanggapan babagan kawruh sing relevan. Iki wis nyebabake pendekatan sing kalebu kawruh donya menyang generasi respon conversational. [8] digunakake jaringan memori end-to-end kanggo kahanan respon kui ing kawruh, ngendi manungsa waé liwat kawruh sing cocog kanggo konteks obrolan kira-kira lan sawetara perwakilan kawruh kalebu minangka input sak respon dekoding. [9] njupuk grafik kawruh sing relevan diwenehi konteks obrolan lan ngodhe grafik kanthi mekanisme perhatian grafik statis. Dekoder kanthi ati-ati maca grafik kawruh sing dijupuk lan kawruh kaping telu ing saben grafik. Paling anyar, [5] nggunakake Transformer Memory Network kanggo encode ukara kawruh lan konteks obrolan lan decode respon.

Obrolan topikal

Buruh ing Amazon Mechanical Turk (uga dikenal minangka Turk-ers) digandhengake lan nyedhiyakake set maca topikal banget, lan saben pasangan buruh dijaluk duwe obrolan sing koheren lan nyenengake kanthi dhasar ing set maca sing diwenehake. Ing setelan kita, set maca sing disedhiyakake kanggo mitra obrolan bisa simetris utawa duwe derajat asimetri sing beda-beda, dene sepasang set maca diarani simetris yen ngemot informasi sing padha lan asimetris liyane. Iki minangka generalisasi setelan Wisaya-Magang ing [5]. Ora kaya setelan obrolan sing paling akeh (kaweruh utawa liya-liyane) [5, 10, 11, 12], mitra ora duwe peran sing jelas sing kudu ditindakake sajrone obrolan. Kita nggunakake informasi asimetri kanggo implicitly nimbulaké loro partners kanggo ngawula peran dual saka guru lan peserta sak obrolan sing. Setelan iki luwih akurat nggambarake obrolan donya nyata, ngendi kawruh donya sing loro partner wis gained sadurunge obrolan bisa utawa ora simetris. Iki ndadekake dataset Topical-Chat serbaguna, lan nyata lan mbisakake modeling saka loro partners.

Penciptaan Pangkalan Pengetahuan
Kanggo mbangun set maca, kita nggawe basis kawruh sing kasusun saka telung primitif: entitas, fakta lan artikel.

Tabel 1: Topik lan anggaran entitas

Topik	Anggaran
busana	20
politik	25
Buku	33
Olahraga	35
Hiburan Umum	38
Musik	39
Ilmu & Teknologi	44
Wayang	66
Total	300

Pilihan Entitas: Kita pisanan milih 300 entitas populer sing nyakup 8 topik saka dataset conversational manungsa-bot sadurunge sing diklumpukake sajrone kompetisi socialbot domain mbukak skala gedhe antarane kelompok riset akademik [13]. Kita khusus milih entitas saka kabeh pocapan pangguna ing set data sadurunge iki, amarga pocapan pangguna ngandhani apa sing dikarepake pangguna kanggo ngobrol karo bot sosial. Kanggo njaga keragaman topik, kita nganggep distribusi frekuensi saka 8 topik ing kabeh ucapan pangguna kanggo nyedhiyakake anggaran entitas Bi kanggo saben topik i (karo kabeh anggaran nambah nganti 300). Kita banjur milih ndhuwur-Bi paling kerep entitas kanggo saben topik i. Topik lan anggaran kasebut kasedhiya ing Tabel 1.

Pilihan Fact: We njupuk bagean timbal Wikipedia saka 300 entitas lan crowdsourced 8-10 fun fakta kanggo saben entitas nggunakake Reddit [14]. Kanggo saben entitas, kita njaga rong versi bagean timbal Wikipedia sing dijupuk. Kapisan minangka versi cendhak sing kasusun saka paragraf pisanan saka bagean utama lan opsional paragraf kapindho yen paragraf pisanan ngemot kurang saka 50 tembung. Kapindho yaiku versi ringkesan sing digawe kanthi ekstraktif ngringkes kabeh bagean utama nggunakake TextRank [15] dadi 150 tembung utawa kurang.

Pilihan Artikel: Kita njupuk artikel Washington Post saka 2018 sing saben referensi 3 utawa luwih saka 300 entitas lan ngemot 600-1000 tembung. Kita mbusak artikel nganggo basa pro-fane lan banjur nimbang anggaran entitas topik kanggo ngrampungake 3088 artikel, njamin jangkoan sing cukup kanggo kabeh topik.

Reading Sets Creation
Nggunakake basis kawruh digawe, kita mbangun pasangan maca set ing wektu nyata kanggo nyedhiyani partners ing obrolan. Dhasar saka pasangan maca set yaiku artikel. Kanggo saben obrolan sing diklumpukake, kita milih artikel kanthi acak saka basis kawruh sing durung digunakake paling akeh kaping 4 kanggo ngumpulake obrolan sing bisa ditampa. Banjur kita aplikasi konfigurasi acak saka dhaptar konfigurasi sing wis ditemtokake menyang artikel kasebut. Konfigurasi ditetepake kanggo nemtokke macem-macem derajat saka simetri informasi utawa asimetri antarane partners, anjog kanggo koleksi saka sudhut obrolan.

Konfigurasi asimetris

Gambar 2: Reading set kanggo Turkers 1 lan 2 ing Config A
Konfigurasi A: Loro-lorone Turker entuk artikel Washington Post lan nyepetake bagean timbal Wikipedia babagan 3 entitas paling dhuwur miturut frekuensi kedadeyan ing artikel kasebut. Nanging, saben wong entuk macem-macem fakta sing nyenengake babagan entitas kasebut. Iki mbisakake asimetri ing kasunyatan fun tingkat entitas.

Gambar 3: Reading set kanggo Turkers 1 lan 2 ing Config B
Config B: Loro-lorone Turker entuk artikel Washington Post lan 4-5 fakta sing nyenengake babagan 3 entitas paling dhuwur miturut frekuensi kedadeyan ing artikel kasebut. Nanging, siji Turker bakal nyepetake bagean timbal Wikipedia lan liyane bakal ngringkes bagean timbal Wikipedia babagan entitas kasebut. Iki mbisakake asimetri ing katrangan Wikipedia tingkat entitas.

Konfigurasi simetris
Config C: Loro-lorone Turkers njaluk bagean timbal Wikipedia disingkat lan 4-5 fakta nyenengake sing cocog karo 3 entitas paling dhuwur miturut frekuensi kedadeyan ing artikel Washington Post. Nanging, artikel Washington Post dhewe ora ditampilake kanggo Turker. Config D: Loro-lorone Turkers entuk artikel Washington Post, bagean timbal Wikipedia sing disingkat lan 4-5 fakta nyenengake sing cocog karo 3 entitas paling dhuwur miturut frekuensi kedadeyan ing artikel kasebut.

Koleksi obrolan
Buruh sing mumpuni ing Mechanical Turk sing njupuk Tugas Intelijen Manungsa (uga dikenal minangka HIT) digarap lan nyedhiyakake set maca topikal kanggo diwaca lan banjur ngobrol. Set maca uga ditampilake ing layar Turk-ers, cedhak jendhela chatting, sak obrolan kanggo referensi. Kabeh informasi babagan entitas E1 (bagean utama Wikipedia sing disingkat/diringkes lan fakta sing nyenengake) ditampilake minangka grup kanthi judhul Faktual Bagian 1. Artikel Washington Post babagan entitas E1, E2 lan E3 dipérang dadi 4 bagean ukuran sing padha, sing ditampilake kanthi judhul Artikel Bagian 1-4. Turkers nduweni kualifikasi kanggo HITs yen HIT sing wis disetujoni lan tarif persetujuan paling sethithik 1000 lan 99% masing-masing, mesthekake obrolan kita kalebu wong Turker sing berpengalaman. Kita nggunakake versi selaras saka ParlAI [16] framework kanggo ngumpulake obrolan.

Kita ngidini partner Turkers ngirim obrolan mung yen padha wis conversed kanggo ing paling 20 giliran. Ing saben giliran sajrone pacelathon, nalika lagi ngenteni mitrane nanggapi, kita njaluk saben mitra: menehi anotasi sentimen pesen kanthi skala 8 (Nesu, Jijik, Wedi, Sedhih, Seneng, Kaget, Penasaran Dive Deeper, Neutral), nemtokake sumber kawruh sing digunakake kanggo ngasilake pesen kasebut (Bagian Faktual 1-3, Bagean Artikel 1-4 lan/utawa Kawruh Pribadi) lan menehi rating kualitas pesen sadurunge partner ing skala 5 poin (Miskin). , Ora Apik, Lumayan, Apik lan Apik). Ing pungkasan obrolan, kita takon loro partners kanggo menehi rating kualitas obrolan ing skala 5-titik padha.

We gumantung ing dicampur saka re manualviewmriksa lan otomatis kanggo mesthekake obrolan sing diklumpukake bisa ditampa. Pemeriksa otomatis kalebu komputasi lan verifikasi manawa metrik kualitas kita ambang sing wis disetel ing ndhuwur. Turkers sing wis obrolan kualitas banget dhuwur dianugerahi bonus. Statistik babagan dataset kita ditampilake ing Tabel 2. Kita nggawe rong versi validasi lan set tes: kerep lan langka, meh padha karo [5]. Set kerep ngemot entitas sing kerep katon ing set latihan, dene set langka ngemot entitas sing jarang utawa ora tau katon ing set latihan. Anane macem-macem entitas saben obrolan kanthi desain set maca nggawe luwih angel nindakake pamisah tingkat entitas sing sampurna saka set data kita ora kaya ing [5], ing ngendi iki luwih gampang ditindakake amarga saben obrolan digandhengake karo entitas siji. (disebut minangka topik ing makalah). Pendekatan sing digunakake kanggo pamisah dataset kita bakal kasedhiya ing versi lengkap saka kertas iki.

Model

Ayo kita ndudohake obrolan parsial Cj = [x1,. . . , xj ], ing ngendi kanggo 1 ≤ i ≤ j, xi minangka giliran ith ing pacelathon. Sajarah pacelathon kita dicathet minangka Hj = x1 ⊕· · ·⊕xj , yaiku urutan sing rata saka kabeh token ing Cj. xj+1, respon ground-truth ing giliran j + 1, minangka urutan target sing bakal diprediksi kanggo kabeh model. Nduduhake pesawat maca sing cocog karo Turker sing digandhengake karo giliran j + 1 minangka R, sing kita tokenize menyang seri ukara calon kawruh [ki], i = 1,. . . , NR. Tegese WK minangka parameter truncate kanggo ukara kawruh K, sing nahan paling token WK saka wiwitan ing K. Tegese WH minangka parameter truncate kanggo riwayat obrolan H, sing nahan paling token WH saka mburi ing H.

Transformer
Kita nglatih Transformator kanthi pasangan (Hj, xj+1). Sajrone inferensi, decode respon y diwenehi riwayat obrolan H.

Transformer karo Kawruh
Hj lan ukara sing dipilih kˆ saka [ki] dienkode nganggo Transformer sing dienggo bareng, digabung, lan diterusake menyang dekoder Trans-former. Pamilihan kawruh yen ora ana respon ground-truth xj+1 minangka masalah sing mbukak. Saiki kita nggunakake xj+1 ing oracle argmax kanggo milih kˆ, kaya ing ngisor iki:

xj+1 lan ki minangka vektor TF-IDF kanggo xj+1 lan ki. Vektorizer TF-IDF dipelajari kanthi menehi tokenisasi ukara kabeh set maca ing Topical-Chat lan nganggep saben ukara minangka dokumen.

Gambar 4: Transformer kanthi kawruh

Eksperimen

Kabeh model dilatih nggunakake ParlAI [16]. Transformer kita ngemot rong lapisan kanthi rong kepala perhatian lan ukuran lapisan sing didhelikake feed-maju 300 kanthi dropout 0.2. Kita miwiti kanthi acak embeddings tembung 300-dimensi, sing disinaoni sajrone latihan. Kita ora sinau embeddings posisi lan posisi en-kode nggunakake vektor siji-panas. Kita nggunakake ukuran kumpulan 32, stochastic gradient keturunan kanggo Optimization karo gradient clip 0.1 lan learning rate scheduler bosok 0.5 karo sabar 3. We mungkasi latihan nalika perplexity ing validasi pesawat Kerep ora suda kanggo 10 epochs. Kita nggunakake telusuran balok kanthi ukuran balok 5 kanggo dekoding.
Kita uga eksperimen karo pre-training Transformer ing BookCorpus [17] nggunakake tujuan modeling basa kanggo nggedhekake kemungkinan log saka token sabanjure diwenehi jendhela konteks token [18]. Kita nggunakake byte-pair encoding (BPE) [19] nalika pra-training (ukuran kosakata 37758). Nalika ora pre-training, kita ora nggunakake BPE (ukuran kosakata 49957).

Asil

Kita nggunakake akronim ing ngisor iki kanggo model kanggo ringkesan: TF = Transformer, w/ pt = karo pre-training, w/ k. =

Tabel 2: Statistik obrolan topikal-Chat

Obrolan topikal	Konfigurasi	Sepur	Frekuensi sing sah.	Valid Langka	Frekuensi tes.	Tes Langka
Jumlah Obrolan	A BCD	2199 2114 2259 2486	141 144 150 130	127 138 143 158	131 141 125 168	136 154 139 136
	Total	9058	565	566	565	565
Jumlah Pocapan	A BCD	48022 46098 49705 54481	3083 3177 3248 2859	2792 3066 3237 3445	2875 3116 2737 3735	2955 3348 3012 3023
	Total	198306	12367	12540	12463	12338
Rata-rata Jumlah Giliran saben Obrolan	A BCD	21.8 21.8 22.0 21.9	21.8 22.0 21.6 22.0	22.0 22.2 22.6 21.8	21.9 22.1 21.9 22.2	21.7 21.7 21.7 22.2
	Total	21.9	21.9	22.1	22.0	21.8
Rata-rata Dawane Ngucap	A BCD	19.7 19.7 19.6 19.7	19.9 20.1 20.1 19.2	20.2 19.0 19.1 19.6	19.4 19.1 20.0 20.0	19.4 20.2 19.9 20.0
	Total	19.7	19.8	19.8	19.6	19.9

kanthi kawruh. Kita nggunakake WK = 128 gedhe nalika nggunakake kawruh, kanthi efektif nggawe parameter ora relevan ing setelan kita amarga akeh ukara kawruh kurang saka 128 token. Kanggo mutusake WH sing cocog, kita nyoba nglatih Transformer sing nggunakake kawruh kanthi macem-macem WH lan ngevaluasi metrik otomatis sing diterangake ing ngisor iki (Tabel 5). Kita mirsani yen WH = 32 paling apik. Kita pitados bilih iki nggambarake model kawruh kita kang ora bisa kanggo rawuh token penting ing konteks dialog nalika WH gedhe digunakake. Akibate, kita nggunakake WH = 32 ing Tabel 3 lan 4.

Kanggo evaluasi otomatis, kita nimbang metrik kayata perplexity (PPL), unigram F1 saka prediksi model kanthi respon ground-truth lan keragaman n-gram (Div.) [8]. Ing Tabel 3, kita mirsani manawa kabeh model duwe keragaman unigram lan bigram sing dhuwur, nuduhake yen model sinau kanggo decode respon sing leksikal informatif lan maneka warna. Kita uga mirsani dandan ing unigram F1 lan nambah PPL nalika kawruh digunakake.

Kita nindakake evaluasi manungsa kanggo model kita kanthi nggawe 150 cuplikan evaluasi, saben kalebu {Cj, kˆ, [rc]}, c = 1. . . N, ing ngendi [rc] minangka sakumpulan respon N (N−1 saka model sing dilatih lan siji respon ground-truth xj+1) diwenehi obrolan parsial Cj lan ukara kˆ sing dipilih. Obrolan sebagean sing cocog karo saben cuplikan asale saka obrolan sing beda-beda ing tes Topical-Chat sing kerep disetel. Kanggo saben rc ing saben snippet, kita njaluk wong loro kanggo menehi anotasi kanthi kapisah [20, 21] (kamungkinan nilai ing kurung) apa rc bisa dipahami (0/1), ing topik (0/1) lan menarik (0/1) .

Kita uga njaluk dheweke menehi annotate carane efektif kˆ digunakake ing rc (0-3) lan yen padha seneng nerusake obrolan sawise rc (0/1). Kita ngitung kappa Cohen kanggo binar lan kappa Fleiss kanggo anotasi skala nominal minangka ukuran linuwih persetujuan lan mirsani persetujuan sing kurang apik kanggo menarik (0.29) lan nerusake obrolan (0.27). Akibate, kita nglumpukake lan nglaporake skor anotasi rata-rata kanggo paramèter kanthi persetujuan dhuwur ing Tabel 4. Kita nggunakake akronim ing ngisor iki kanggo ringkesan: comprehensible = comp., on-topic = ot, leverage knowledge = lk Kita mirsani yen kabeh model dirating kanggo biasane ngasilake respon sing bisa dingerteni lan model sing nyerep kawruh dirating kanggo ngasilake tanggapan sing bisa digunakake, sanajan mung kanthi efektif.

Tabel 3: Metrik otomatis ing set tes (Sering / Langka)

Tabel 4: Metrik evaluasi manungsa kanggo 150 frekuensi tes. cuplikan

Tabel 5: Efek saka macem-macem WH kanggo TF (w / k.) ing test freq.

Kesimpulan

Kita ngenalake Topical-Chat, kumpulan data obrolan adhedhasar kawruh domain mbukak tanpa peran eksplisit kanggo mitra obrolan lan ngemot ambane lan jembar jangkoan topikal kanthi transisi ing obrolan. Kita nglatih model basis Transformer sing prasaja kanggo ngasilake respon lan ngevaluasi kanthi nggunakake metrik otomatis kanggo benchmarking. Kita uga menehi bukti nilai kualitatif liwat evaluasi manungsa saka model kasebut. Muga-muga rilis Topical-Chat nyengkuyung riset sing didorong data ing AI percakapan sing adhedhasar pengetahuan domain terbuka.

1Model sing digunakake kanggo evaluasi manungsa dilatih ing subset saka set latihan.

Referensi

1. J. Weizenbaum et al., "Eliza-program komputer kanggo sinau komunikasi basa alam antarane manungsa lan mesin,"
   Komunikasi ACM, vol. 9, ora. 1, kaca 36–45, 1966.
2. O. Vinyals lan Q. Le, "Model percakapan saraf," arXiv preprint arXiv: 1506.05869, 2015.
3. A. Ritter, C. Cherry, lan B. Dolan, "Pemodelan unsupervised saka obrolan Twitter," ing Human Language Technologies: Konferensi Tahunan 2010 saka Amérika Lor Bab Asosiasi kanggo Linguistik Komputasi. Association for Computational Linguistics, 2010, pp. 172–180.
4. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, AN Gomez, Ł. Kaiser, lan I. Polosukhin, "Wigati iku kabeh sing perlu," ing Advances ing Sistem Pengolahan Informasi Neural, 2017, pp. 5998-6008.
5. E. Dinan, S. Roller, K. Shuster, A. Fan, M. Auli, lan J. Weston, "Wizard of Wikipedia: Knowledge-powered conversational agents," arXiv preprint arXiv: 1811.01241, 2018.
6. K. Zhou, S. Prabhumoye, lan AW Black, "A dataset for document grounded conversations," arXiv preprint arXiv:1809.07358, 2018.
7. N. Moghe, S. Arora, S. Banerjee, lan MM Khapra, "Menyang eksploitasi kawruh latar mburi kanggo mbangun sistem obrolan," 2018.
8. M. Ghazvininejad, C. Brockett, M.-W. Chang, B. Dolan, J. Gao, W.-t. Yih, lan M. Galley, "Model obrolan saraf sing adhedhasar kawruh," ing Konferensi AAI Telung Puluh Kapindho babagan Kecerdasan Buatan, 2018.
9. H. Zhou, T. Young, M. Huang, H. Zhao, J. Xu, lan X. Zhu, "Generasi obrolan sing ngerti kawruh umum kanthi perhatian grafik." ing IJCAI, 2018, kaca 4623-4629.
10. JE Weston, "Dialog-based language learning," in Advances in Neural Information Processing Systems, 2016, pp. 829-837.
11. M. Lewis, D. Yarats, YN Dauphin, D. Parikh, and D. Batra, "Deal or no deal? sinau end-to-end kanggo dialog negosiasi," arXiv preprint arXiv:1706.05125, 2017.
12. S. Zhang, E. Dinan, J. Urbanek, A. Szlam, D. Kiela, lan J. Weston, "Agen dialog pribadi: Aku duwe asu, apa sampeyan uga duwe pets?" ing Prosiding Rapat Tahunan 56th Association for Computational Linguistics (Volume 1: Long Papers), 2018, pp. 2204–2213.
13. C. Khatri, B. Hedayatnia, A. Venkatesh, J. Nunn, Y. Pan,
    Q. Liu, H. Song, A. Gottardi, S. Kwatra, S. Pancholi, M. Cheng,
    Q. Chen, L. Stubel, K. Gopalakrishnan, K. Bland, R. Gabriel, A. Mandal, D. Hakkani-T¨ur, G. Hwang, N. Michel, E. King, and R. Prasad, " Majukake negara seni ing sistem dialog domain mbukak liwat hadiah alexa, "ing Alexa Prize Proceedings (https://developer.amazon.com/alexaprize/challenges/past-challenges/2018/), 2018.
14. Reddit, "r/dayilearned," https://www.reddit.com/r/todayilearned/.
15. R. Mihalcea lan P. Tarau, "Textrank: Bringing order into text," ing Proceedings of the 2004 conference on empirical method in natural language processing, 2004.
16. AH Miller, W. Feng, A. Fisch, J. Lu, D. Batra, A. Bordes,
    D. Parikh, lan J. Weston, "Parlai: A dialog research software platform," arXiv preprint arXiv: 1705.06476, 2017.
17. BookCorpus, https://github.com/soskek/bookcorpus/.
18. A. Radford, K. Narasimhan, T. Salimans, and
    I. Sutskever, "Ngapikake pemahaman basa kanthi pre-training generatif,"
    URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/languageunsupervised/
    makalah pemahaman basa.pdf, 2018.
19. R. Sennrich, B. Haddow, lan A. Birch, "Terjemahan mesin saraf saka tembung langka karo unit subword," arXiv preprint arXiv: 1508.07909, 2015.
20. A. Venkatesh, C. Khatri, A. Ram, F. Guo, R. Gabriel, A. Nagar,
    R. Prasad, M. Cheng, B. Hedayatnia, A. Metallinou, R. Goel,
    S. Yang, lan A. Raju, "Ing ngevaluasi lan mbandhingake sistem dialog do-utama sing mbukak," 2018.
21. A. Waca, S. Roller, D. Kiela, lan J. Weston, "Apa sing nggawe obrolan apik? carane atribut sing bisa dikontrol mengaruhi penilaian manungsa, "2019.

Referensi

• Manual pangguna