Amazon Alexa AI

អរូបី
ការបង្កើតរូបយន្តសង្គមដែលអាចមានការសន្ទនាបើកចំហរដែលចូលរួមយ៉ាងស៊ីជម្រៅជាមួយមនុស្សគឺជាបញ្ហាប្រឈមដ៏ធំមួយនៃបញ្ញាសិប្បនិមិត្ត (AI)។ ដល់ទីបញ្ចប់នេះ bots ត្រូវតែអាចប្រើប្រាស់ចំណេះដឹងពិភពលោកដែលលាតសន្ធឹងលើដែនជាច្រើនប្រកបដោយប្រសិទ្ធភាពនៅពេលសន្ទនាជាមួយមនុស្សដែលមានចំណេះដឹងពិភពលោកផ្ទាល់ខ្លួន។ សំណុំទិន្នន័យការសន្ទនាផ្អែកលើចំណេះដឹងដែលមានស្រាប់ ត្រូវបានរៀបចំជាចម្បងជាមួយនឹងតួនាទីច្បាស់លាស់សម្រាប់ដៃគូសន្ទនា។ សំណុំទិន្នន័យទាំងនេះក៏មិនស្វែងយល់ពីជម្រៅ ឬទំហំនៃការគ្របដណ្តប់ប្រធានបទជាមួយនឹងការផ្លាស់ប្តូរនៅក្នុងការសន្ទនាផងដែរ។ យើងណែនាំ Topical-Chat ដែលជាសំណុំទិន្នន័យនៃការសន្ទនារបស់មនុស្ស និងមនុស្សដែលមានចំណេះដឹងជាមូលដ្ឋាន ដែលចំណេះដឹងមូលដ្ឋានលាតសន្ធឹងលើប្រធានបទទូលំទូលាយចំនួន 8 ហើយដៃគូសន្ទនាមិនមានតួនាទីដែលបានកំណត់ច្បាស់លាស់ ដើម្បីជួយស្រាវជ្រាវបន្ថែមទៀតនៅក្នុង AI ការសន្ទនាបើកចំហដែន។ យើងក៏បណ្តុះបណ្តាលគំរូការសន្ទនាតាមអ៊ិនកូដឌ័រឌិកូដដែលទំនើបបំផុតមួយចំនួននៅលើ Topical-Chat ហើយអនុវត្តការវាយតម្លៃដោយស្វ័យប្រវត្តិ និងមនុស្សសម្រាប់ការដាក់ពិន្ទុ។ លក្ខខណ្ឌលិបិក្រម៖ ប្រព័ន្ធសន្ទនា មូលដ្ឋានចំណេះដឹង ការសន្ទនាសង្គម ការបង្កើតការឆ្លើយតប

សេចក្តីផ្តើម

ការកសាងរូបយន្តសន្ទនាដែលអាចប្រាស្រ័យទាក់ទងជាមួយមនុស្សជាភាសាធម្មជាតិ (ត្រូវបានគេស្គាល់ថាជា AI សន្ទនា) មានការចាប់អារម្មណ៍ចំពោះអ្នកស្រាវជ្រាវតាំងពីជំនាន់ដំបូងនៃការគណនា ដូចដែលបានឧទាហរណ៍ដោយប្រព័ន្ធផ្អែកលើអត្ថបទដូចជា ELIZA [1]។ ការងារលើការសន្ទនា AI ជាទូទៅស្ថិតក្នុងប្រភេទមួយក្នុងចំណោមពីរប្រភេទខាងក្រោម៖ ភារកិច្ចតម្រង់ទិស និងដែនបើកចំហ។ bots តម្រង់ទិសកិច្ចការមានគោលបំណងជួយមនុស្សឱ្យសម្រេចកិច្ចការជាក់លាក់មួយតាមរយៈអន្តរកម្មពហុវេន ចំណែក bots បើកចំហមានគោលបំណងបម្រើជាដៃគូសន្ទនាសង្គមដែលមនុស្សអាចមានការសន្ទនាធម្មជាតិ និងទាក់ទាញ។ បន្ថែមពីលើជំនាញភាសាប្រពៃណីដូចជាការយល់ឃើញ bots ដែនបើកចំហ (ត្រូវបានគេស្គាល់ថាជា bots សង្គម) ចាំបាច់ត្រូវបំពេញជំនាញសន្ទនាជាច្រើនដែលកើតឡើងដោយធម្មជាតិរបស់មនុស្ស៖ ការរំលឹកពីចំណេះដឹងពិភពលោក ការវែកញែកដោយភ្ជាប់ជាមួយប្រវត្តិនៃការសន្ទនា និងការបង្កើតការឆ្លើយតបត្រឹមត្រូវ។ Socialbots ក៏ត្រូវមានលទ្ធភាពមានទទឹង និងជម្រៅគ្រប់គ្រាន់ និងដំណើរការការផ្លាស់ប្តូរប្រធានបទដោយរលូន។

កត្តាកំណត់សំខាន់សម្រាប់ការស្រាវជ្រាវក្នុងការរៀនជំនាញសន្ទនាទាំងនេះគឺកង្វះសំណុំទិន្នន័យនៃការសន្ទនាផ្អែកលើចំណេះដឹង និងប្រភពចំណេះដឹងដែលពាក់ព័ន្ធ។ យើងណែនាំ Topical-Chat ដែលជាសំណុំទិន្នន័យនៃការសន្ទនារវាងមនុស្ស និងមនុស្ស ∼11K អំពីចំណេះដឹងដែលគ្របដណ្តប់លើប្រធានបទធំៗចំនួន 8។ រូបភាពទី 1 មានព័ត៌មានសង្ខេបនៃការសន្ទនាពី Topical-Chat ។ សំណុំទិន្នន័យត្រូវបានប្រមូលដោយការចាប់ដៃគូជាមួយបុគ្គលិក Amazon Mechanical Turk ដោយផ្តល់ឱ្យពួកគេនូវសំណុំការអានប្រធានបទ និងសុំឱ្យដៃគូមានការសន្ទនាប្រកបដោយភាពស៊ីសង្វាក់គ្នា និងទាក់ទាញដោយផ្អែកទៅលើសំណុំអានដែលបានផ្តល់ឱ្យរបស់ពួកគេ។ ដៃគូមិនមានតួនាទីកំណត់ច្បាស់លាស់ដែលពួកគេត្រូវការដើម្បីបម្រើក្នុងអំឡុងពេលសន្ទនាទេ ហើយសំណុំនៃការអានដែលផ្តល់ឱ្យពួកគេអាចមានភាពស៊ីសង្វាក់គ្នា ឬមិនស៊ីមេទ្រីដល់កម្រិតផ្សេងៗគ្នា ដែលឆ្លុះបញ្ចាំងយ៉ាងត្រឹមត្រូវនូវការសន្ទនាក្នុងពិភពពិត ដែលចំណេះដឹងពិភពលោកដែលដៃគូទាំងពីរទទួលបានមុនការសន្ទនាអាច ឬប្រហែលជាមិនស៊ីមេទ្រី។ ដៃគូក៏ត្រូវបានស្នើសុំឱ្យកត់ចំណាំរាល់វេននៃការសន្ទនារបស់ពួកគេលើវិមាត្រជាច្រើន ដូចជាការប្រើប្រាស់សំណុំការអាន និងអារម្មណ៍។
ដើម្បីបង្កើតគំរូសម្រាប់ការស្រាវជ្រាវនាពេលអនាគតជាមួយ Topical-Chat យើងបានបណ្តុះបណ្តាលគំរូការសន្ទនាជាច្រើននៅលើ Topical-Chat ដែលនីមួយៗមានគោលបំណងបង្កើតការឆ្លើយតបដែលមានមូលដ្ឋាននៅក្នុងសំណុំអាន និងកំណត់លើប្រវត្តិនៃការសន្ទនា។ យើងប្រើជាពិសេសទៅលើស្ថាបត្យកម្ម Transformer [2] ស្រដៀងនឹង [3]។ យើងបង្ហាញពីសមត្ថភាពនៃគំរូរបស់យើងក្នុងការសន្ទនាប្រកបដោយការចូលរួមដោយផ្អែកទៅលើចំណេះដឹងតាមរយៈការវាយតម្លៃដោយស្វ័យប្រវត្តិ និងការវាយតម្លៃរបស់មនុស្ស។

• ភ្នាក់ងារ សារ។ . . . . .
• ទួរគី ២
  ខ្ញុំចង់ស្រលាញ់ការងារនោះ។ ការទៅទស្សនាភពព្រហស្បតិ៍ក៏ត្រជាក់ដែរ ប៉ុន្តែវាមិនអាចទៅរួចនោះទេ ដោយសារតែវិទ្យុសកម្មខ្លាំង។
• ទួរគី ២
  បាទ។ ផែនដី​នឹង​គ្មាន​អេលីយ៉ូម​នៅ​ចុង​សតវត្សរ៍​ទី ២១។ ខ្ញុំឆ្ងល់ថាតើយើងអាចបង្កើតវាបន្ថែមទៀតនៅក្នុងមន្ទីរពិសោធន៍បានទេ? តើវាត្រូវការសូម្បីតែ?

រូបភាពទី 1៖ អត្ថបទខ្លីៗពីការសន្ទនាតាមប្រធានបទ (ប្រយោគដែលប្រើពីសំណុំការអានដែលត្រូវគ្នាដែលបានបន្លិចជាដិត)

ការងារពាក់ព័ន្ធ

ការចាប់អារម្មណ៍លើការស្រាវជ្រាវថ្មីៗលើការសន្ទនាផ្អែកលើចំណេះដឹងបាននាំឱ្យមានការចេញផ្សាយជាសាធារណៈនូវសំណុំទិន្នន័យជាច្រើន។ [6] បានចេញផ្សាយសំណុំទិន្នន័យនៃការសន្ទនា ∼4K ដែលអត្ថបទវិគីភីឌាអំពីភាពយន្តចំនួន 30 បានបម្រើជាមូលដ្ឋានចំណេះដឹង។ បណ្តុំនេះត្រូវបានបង្កើតឡើងដោយផ្នែកនៃអត្ថបទដែលបង្ហាញដល់ដៃគូសន្ទនាតាមរបៀបដែលបានកំណត់ពេល។ [7] បានចេញផ្សាយសំណុំទិន្នន័យស្រដៀងគ្នានៃការសន្ទនាអំពីភាពយន្ត ដែលមូលដ្ឋានចំណេះដឹងរួមមានអត្ថបទវិគីភីឌា ឡើងវិញviews និងមតិយោបល់ដែលបានដកយកចេញពី web អំពី ∼1K ភាពយន្ត។ ការប្រមូលផ្ដុំនេះពាក់ព័ន្ធនឹងការសន្ទនាដោយខ្លួនឯង ដែលបុគ្គលិកមួយហ្វូងបង្កើតពាក្យសម្ដីសម្រាប់ភាគីទាំងពីរ។ ថ្មីៗនេះ សំណុំទិន្នន័យអ្នកជំនួយការនៃវិគីភីឌា (WoW) [5] ត្រូវបានចេញផ្សាយ ដែលការផ្តោតអារម្មណ៍ស្រដៀងទៅនឹងរបស់យើងគឺលើការប្រមូលការសន្ទនាដែលផ្អែកលើចំណេះដឹងលើដែនបើកចំហ។ ភាពខុសគ្នាសំខាន់មួយគឺមូលដ្ឋានចំណេះដឹងរបស់ពួកគេរួមមានអត្ថបទ Wikipedia ខណៈពេលដែលយើងពឹងផ្អែកលើប្រភពទិន្នន័យជាច្រើន ជាពិសេសអត្ថបទ Washington Post និងការពិតអំពី Reddit បន្ថែមលើអត្ថបទ Wikipedia អំពីអង្គភាព ដើម្បីបើកអន្តរកម្មដ៏រស់រវើក។

វិធីសាស្រ្តបង្កើតគំរូតាមលំដាប់លំដោយបានក្លាយជាការពេញនិយមសម្រាប់ការបង្កើតការឆ្លើយតប ដែលគោលដៅគឺដើម្បីបង្កើតការឆ្លើយតបដែលបានផ្តល់ឱ្យវេនមុននៅក្នុងការសន្ទនា [2, 3] ។ ទោះជាយ៉ាងណាក៏ដោយ ការឆ្លើយតបដែលបង្កើតឡើងដោយគំរូតាមលំដាប់លំដោយទាំងនេះមិនតែងតែមានភាពស៊ីសង្វាក់គ្នា ឬសមស្របតាមបរិបទទេ ហើយត្រូវបានកត់សម្គាល់ថាជាញឹកញាប់មានលក្ខណៈទូទៅ និងខ្វះខ្លឹមសារគួរឱ្យចាប់អារម្មណ៍ [2] ។ វិធីសាស្រ្តបែបនេះមិនមានការឆ្លើយតបច្បាស់លាស់លើចំណេះដឹងដែលពាក់ព័ន្ធនោះទេ។ នេះបាននាំឱ្យធ្វើការលើវិធីសាស្រ្តដែលរួមបញ្ចូលចំណេះដឹងពិភពលោកទៅក្នុងការបង្កើតការឆ្លើយតបការសន្ទនា។ [8] បានប្រើបណ្តាញអង្គចងចាំពីចុងដល់ចប់ ដើម្បីកំណត់លក្ខខណ្ឌនៃការឆ្លើយតបដែលបានបង្កើតលើចំណេះដឹង ដែលការយកចិត្តទុកដាក់លើចំណេះដឹងដែលពាក់ព័ន្ធនឹងបរិបទនៃការសន្ទនាត្រូវបានប៉ាន់ស្មាន ហើយតំណាងចំណេះដឹងជាច្រើនត្រូវបានរួមបញ្ចូលជាការបញ្ចូលក្នុងអំឡុងពេលការឌិកូដការឆ្លើយតប។ [9] ទាញយកក្រាហ្វចំណេះដឹងដែលពាក់ព័ន្ធដែលបានផ្ដល់ឱ្យបរិបទសន្ទនា និងអ៊ិនកូដក្រាហ្វជាមួយនឹងយន្តការយកចិត្តទុកដាក់ក្រាហ្វឋិតិវន្ត។ ឧបករណ៍ឌិកូដអានដោយប្រុងប្រយ័ត្ននូវក្រាហ្វចំណេះដឹងដែលបានទាញយក ហើយចំណេះដឹងកើនឡើងបីដងក្នុងក្រាហ្វនីមួយៗ។ ថ្មីៗនេះ [5] ប្រើបណ្តាញអង្គចងចាំ Transformer ដើម្បីអ៊ិនកូដប្រយោគចំណេះដឹង និងបរិបទនៃការសន្ទនា ហើយឌិកូដការឆ្លើយតប។

ប្រធានបទ-ជជែក

កម្មករនៅលើ Amazon Mechanical Turk (ត្រូវបានគេស្គាល់ថាជា Turk-ers) ត្រូវបានចាប់ដៃគូ និងផ្តល់សំណុំការអានដែលមានប្រធានបទខ្ពស់ ហើយកម្មករនិមួយៗត្រូវបានស្នើសុំឱ្យមានការសន្ទនាដែលស៊ីសង្វាក់គ្នា និងទាក់ទាញដោយធម្មជាតិនៅក្នុងសំណុំអានដែលបានផ្តល់ឱ្យរបស់ពួកគេ។ នៅក្នុងការកំណត់របស់យើង សំណុំការអានដែលផ្តល់ដល់ដៃគូសន្ទនាអាចស៊ីមេទ្រី ឬមានកម្រិតខុសគ្នានៃ asymmetry ចំណែកឯសំណុំនៃការអានមួយគូត្រូវបានគេហៅថាស៊ីមេទ្រី ប្រសិនបើពួកគេមានព័ត៌មានដូចគ្នាពិតប្រាកដ និង asymmetric បើមិនដូច្នេះទេ។ នេះបម្រើជាការកំណត់ទូទៅនៃការកំណត់អ្នកជំនួយការនៅក្នុង [5] ។ មិនដូចភាគច្រើន (ផ្អែកលើចំណេះដឹង ឬបើមិនដូច្នេះទេ) ការកំណត់ការសន្ទនា [5, 10, 11, 12] ដៃគូមិនមានតួនាទីកំណត់យ៉ាងច្បាស់ដែលពួកគេត្រូវការដើម្បីបម្រើក្នុងអំឡុងពេលសន្ទនារបស់ពួកគេ។ យើងប្រើប្រាស់ភាពមិនស៊ីសង្វាក់គ្នានៃព័ត៌មាន ដើម្បីបណ្តាលឱ្យដៃគូទាំងពីរបម្រើតួនាទីពីររបស់គ្រូបង្រៀន និងអ្នកចូលរួមក្នុងអំឡុងពេលសន្ទនារបស់ពួកគេ។ ការ​កំណត់​នេះ​បង្ហាញ​ឱ្យ​ឃើញ​កាន់​តែ​ច្បាស់​ពី​ការ​សន្ទនា​ក្នុង​ពិភព​ពិត ដែល​ចំណេះដឹង​ពិភពលោក​ដែល​ដៃគូ​ទាំង​ពីរ​បាន​ទទួល​មុន​ការ​សន្ទនា​អាច​ឬ​មិន​ស៊ីមេទ្រី។ នេះធ្វើឱ្យសំណុំទិន្នន័យ Topical-Chat មានភាពចម្រុះ និងមានភាពប្រាកដនិយម និងអនុញ្ញាតឱ្យមានគំរូនៃដៃគូទាំងពីរ។

ការបង្កើតមូលដ្ឋានចំណេះដឹង
ដើម្បី​បង្កើត​សំណុំ​ការ​អាន យើង​បាន​បង្កើត​មូលដ្ឋាន​ចំណេះ​ដឹង​ដែល​មាន​លក្ខណៈ​បឋម​ចំនួន​បី៖ អង្គភាព អង្គហេតុ និង​អត្ថបទ។

តារាងទី 1៖ ប្រធានបទ និងថវិកាអង្គភាពរបស់ពួកគេ។

ប្រធានបទ	ថវិកា
ម៉ូត	20
នយោបាយ	25
សៀវភៅ	33
កីឡា	35
ការកំសាន្តទូទៅ	38
តន្ត្រី	39
វិទ្យាសាស្ត្រ និងបច្ចេកវិទ្យា	44
ភាពយន្ត	66
សរុប	300

ការជ្រើសរើសអង្គភាព៖ ជាលើកដំបូង យើងបានជ្រើសរើសអង្គភាពពេញនិយមចំនួន 300 ដែលមានប្រធានបទចំនួន 8 ពីសំណុំទិន្នន័យនៃការសន្ទនារវាងមនុស្ស និងរូបយន្តពីមុនដែលប្រមូលបានក្នុងអំឡុងពេលការប្រកួតប្រជែង socialbot ដែនបើកចំហទ្រង់ទ្រាយធំរវាងក្រុមស្រាវជ្រាវសិក្សា [13] ។ យើងបានជ្រើសរើសយ៉ាងពិសេសនូវអង្គភាពពីការនិយាយរបស់អ្នកប្រើប្រាស់ទាំងអស់នៅក្នុងសំណុំទិន្នន័យមុននេះ ចាប់តាំងពីសុន្ទរកថារបស់អ្នកប្រើប្រាស់ប្រាប់យើងពីអ្វីដែលអ្នកប្រើចាប់អារម្មណ៍ក្នុងការនិយាយទៅកាន់ bots សង្គមអំពី។ ដើម្បីរក្សាភាពចម្រុះនៃប្រធានបទ យើងបានពិចារណាលើការចែកចាយប្រេកង់នៃប្រធានបទទាំង 8 នៅទូទាំងការនិយាយរបស់អ្នកប្រើប្រាស់ទាំងអស់ ដើម្បីបែងចែកថវិកាអង្គភាព Bi សម្រាប់ប្រធានបទនីមួយៗ i (ជាមួយនឹងថវិកាទាំងអស់បន្ថែមរហូតដល់ 300)។ បន្ទាប់មកយើងជ្រើសរើសធាតុដែលញឹកញាប់បំផុតកំពូល-Bi សម្រាប់ប្រធានបទនីមួយៗ i. ប្រធានបទ និងថវិការៀងៗខ្លួនត្រូវបានផ្តល់ជូនក្នុងតារាងទី 1 ។

ការជ្រើសរើសការពិត៖ យើងបានទៅយកផ្នែកនាំមុខនៃវិគីភីឌានៃអង្គភាពចំនួន 300 និងបានប្រមូលព័ត៌មានរីករាយពី 8-10 សម្រាប់អង្គភាពនីមួយៗដោយប្រើ Reddit [14] ។ សម្រាប់អង្គភាពនីមួយៗ យើងបានរក្សាកំណែពីរនៃផ្នែកនាំមុខរបស់វិគីភីឌាដែលបានទាញយក។ ទីមួយគឺជាកំណែខ្លីដែលមានកថាខណ្ឌទីមួយនៃផ្នែកនាំមុខ និងជាជម្រើសកថាខណ្ឌទីពីរ ប្រសិនបើកថាខណ្ឌទីមួយមានតិចជាង 50 ពាក្យ។ ទីពីរ​គឺ​ជា​កំណែ​សង្ខេប​ដែល​ត្រូវ​បាន​បង្កើត​ឡើង​ដោយ​ការ​ស្រង់​ចេញ​ដោយ​សង្ខេប​ផ្នែក​នាំ​មុខ​ទាំងមូល​ដែល​យើង​ប្រើ TextRank [15] ជា 150 ពាក្យ ឬ​តិច​ជាង​នេះ។

ការជ្រើសរើសអត្ថបទ៖ យើង​បាន​ទៅ​យក​អត្ថបទ Washington Post ពី​ឆ្នាំ 2018 ដែល​នីមួយៗ​បាន​យោង 3 ឬ​ច្រើន​ជាង​នេះ​ក្នុង​ចំណោម 300 អង្គភាព ហើយ​មាន​ពាក្យ 600-1000។ យើងបានលុបអត្ថបទដែលមានភាសាគាំទ្រ ហើយបន្ទាប់មកបានពិចារណាលើថវិកាប្រធានបទ ដើម្បីបញ្ចប់អត្ថបទចំនួន 3088 ដោយធានាបាននូវការគ្របដណ្តប់គ្រប់គ្រាន់សម្រាប់ប្រធានបទទាំងអស់។

ការអានកំណត់ការបង្កើត
ដោយប្រើមូលដ្ឋានចំណេះដឹងដែលបានបង្កើត យើងបង្កើតសំណុំនៃការអានជាគូក្នុងពេលវេលាជាក់ស្តែង ដើម្បីផ្តល់ជូនដៃគូក្នុងការសន្ទនា។ មូលដ្ឋានគ្រឹះនៃសំណុំអានមួយគូគឺជាអត្ថបទមួយ។ សម្រាប់ការសន្ទនានីមួយៗដែលត្រូវប្រមូល យើងបានជ្រើសរើសអត្ថបទដោយចៃដន្យពីមូលដ្ឋានចំណេះដឹងរបស់យើងដែលមិនទាន់បានប្រើច្រើនជាង 4 ដង ដើម្បីប្រមូលការសន្ទនាដែលអាចទទួលយកបាន។ បន្ទាប់​មក​យើង​អនុវត្ត​ការ​កំណត់​រចនាសម្ព័ន្ធ​ចៃដន្យ​ពី​បញ្ជី​កំណត់​រចនាសម្ព័ន្ធ​ដែល​បាន​កំណត់​ជាមុន​ទៅ​អត្ថបទ​នោះ។ ការកំណត់រចនាសម្ព័ន្ធត្រូវបានកំណត់ដើម្បីដាក់កម្រិតផ្សេងៗគ្នានៃស៊ីមេទ្រីព័ត៌មាន ឬភាពមិនស៊ីសង្វាក់គ្នារវាងដៃគូ ដែលនាំទៅដល់ការប្រមូលផ្តុំនៃការសន្ទនាជាច្រើនប្រភេទ។

ការកំណត់រចនាសម្ព័ន្ធ asymmetric

រូបភាពទី 2៖ ការអានសំណុំសម្រាប់ Turkers 1 និង 2 នៅក្នុង Config A
កំណត់រចនាសម្ព័ន្ធ A៖ Turkers ទាំងពីរទទួលបានអត្ថបទ Washington Post និងខ្លីផ្នែកនាំមុខរបស់ Wikipedia អំពីអង្គភាពកំពូលទាំង 3 ដោយភាពញឹកញាប់នៃការកើតឡើងនៅក្នុងអត្ថបទ។ ទោះជាយ៉ាងណាក៏ដោយ ពួកគេម្នាក់ៗទទួលបានការពិតដ៏គួរឱ្យរីករាយផ្សេងៗគ្នាអំពីអង្គភាពទាំងនេះ។ នេះអនុញ្ញាតឱ្យភាពមិនស៊ីមេទ្រីនៅក្នុងការពិតរីករាយកម្រិតអង្គភាព។

រូបភាពទី 3៖ ការអានសំណុំសម្រាប់ Turkers 1 និង 2 នៅក្នុង Config B
Config B: Turkers ទាំងពីរទទួលបានអត្ថបទ Washington Post និងការពិត 4-5 អំពីអង្គភាពកំពូលទាំង 3 ដោយភាពញឹកញាប់នៃការកើតឡើងនៅក្នុងអត្ថបទ។ ទោះជាយ៉ាងណាក៏ដោយ Turker មួយទទួលបានផ្នែកនាំមុខវិគីភីឌាខ្លី ហើយមួយទៀតទទួលបានផ្នែកនាំមុខវិគីភីឌាសង្ខេបអំពីអង្គភាពទាំងនេះ។ វាបើកដំណើរការ asymmetry នៅក្នុងការពិពណ៌នាវិគីភីឌាកម្រិតអង្គភាព។

ការកំណត់រចនាសម្ព័ន្ធស៊ីមេទ្រី
Config C: Turkers ទាំងពីរទទួលបានផ្នែកនាំមុខរបស់ Wikipedia ខ្លីៗ និងការពិតដ៏រីករាយចំនួន 4-5 ដែលទាក់ទងទៅនឹងអង្គភាពកំពូលទាំង 3 ដោយភាពញឹកញាប់នៃការកើតឡើងនៅក្នុងអត្ថបទ Washington Post ។ ទោះជាយ៉ាងណាក៏ដោយ អត្ថបទរបស់ Washington Post ខ្លួនឯងមិនត្រូវបានបង្ហាញដល់ Turker ទាំងពីរនោះទេ។ កំណត់រចនាសម្ព័ន្ធ D: Turkers ទាំងពីរទទួលបានអត្ថបទ Washington Post ខ្លីផ្នែកនាំមុខរបស់ Wikipedia និងការពិត 4-5 ដែលត្រូវគ្នាទៅនឹងអង្គភាពកំពូលទាំង 3 ដោយភាពញឹកញាប់នៃការកើតឡើងនៅក្នុងអត្ថបទ។

ការប្រមូលការសន្ទនា
បុគ្គលិកដែលមានលក្ខណៈសម្បត្តិគ្រប់គ្រាន់នៅលើ Mechanical Turk ដែលទទួលភារកិច្ចស៊ើបការណ៍មនុស្សរបស់យើង (ហៅម្យ៉ាងទៀតថា HITs) ត្រូវបានចាប់ដៃគូ និងផ្តល់សំណុំការអានប្រធានបទដើម្បីអាន និងជជែកជាលទ្ធផល។ សំណុំនៃការអានក៏ត្រូវបានបង្ហាញនៅលើអេក្រង់របស់ Turk-ers នៅជិតបង្អួចជជែក កំឡុងពេលសន្ទនាសម្រាប់ជាឯកសារយោង។ ព័ត៌មានទាំងអស់អំពីអង្គភាព E1 (ផ្នែកនាំមុខរបស់វិគីភីឌាសង្ខេប/សង្ខេប និងការពិតដ៏រីករាយ) ត្រូវបានបង្ហាញជាក្រុមដែលមានចំណងជើងថា ផ្នែកការពិត 1។ អត្ថបទរបស់ Washington Post អំពីអង្គភាព E1, E2 និង E3 ត្រូវបានបែងចែកទៅជាផ្នែកដែលមានទំហំស្រដៀងគ្នាចំនួន 4 ដែលត្រូវបានបង្ហាញ។ ជាមួយនឹងចំណងជើង មាត្រា ១-៤ ។ Turkers មានលក្ខណៈសម្បត្តិគ្រប់គ្រាន់សម្រាប់ HITs របស់យើង ប្រសិនបើ HITs ដែលបានអនុម័តពីមុន និងអត្រាការយល់ព្រមរបស់ពួកគេមានយ៉ាងហោចណាស់ 1 និង 4% រៀងគ្នា ដោយធានាថាការសន្ទនារបស់យើងពាក់ព័ន្ធនឹង Turkers ដែលមានបទពិសោធន៍។ យើងបានប្រើកំណែតាមបំណងនៃក្របខ័ណ្ឌ ParlAI [1000] ដើម្បីប្រមូលការសន្ទនា។

យើងអនុញ្ញាតឱ្យដៃគូ Turkers ដាក់បញ្ជូនការសន្ទនារបស់ពួកគេលុះត្រាតែពួកគេបានសន្ទនាយ៉ាងហោចណាស់ 20 វេន។ នៅវេននីមួយៗក្នុងអំឡុងពេលសន្ទនា ខណៈពេលដែលពួកគេកំពុងរង់ចាំដៃគូរបស់ពួកគេឆ្លើយតប យើងសុំឱ្យដៃគូនីមួយៗ៖ រៀបរាប់ពីអារម្មណ៍នៃសាររបស់ពួកគេនៅលើមាត្រដ្ឋាន 8 ចំណុច (ខឹង ខ្ពើម ភ័យខ្លាច សោកសៅ រីករាយ ភ្ញាក់ផ្អើល ចង់ដឹងចង់ឃើញ។ Dive Deeper, Neutral) បញ្ជាក់ប្រភពចំណេះដឹងដែលប្រើដើម្បីបង្កើតសាររបស់ពួកគេ (Factual Section 1-3, Article Section 1-4 and/or Personal Knowledge) និងវាយតម្លៃគុណភាពនៃសារពីមុនរបស់ដៃគូពួកគេនៅលើមាត្រដ្ឋាន 5 ចំណុច (អន់ , មិនល្អ, ឆ្លងកាត់, ល្អនិងអស្ចារ្យ) ។ នៅចុងបញ្ចប់នៃការសន្ទនា យើងស្នើឱ្យដៃគូទាំងពីរវាយតម្លៃគុណភាពនៃការសន្ទនានៅលើមាត្រដ្ឋាន 5 ចំណុចដូចគ្នា។

យើងពឹងផ្អែកលើល្បាយនៃសៀវភៅដៃviewing និងការត្រួតពិនិត្យដោយស្វ័យប្រវត្តិដើម្បីធានាថាការសន្ទនាដែលយើងកំពុងប្រមូលគឺអាចទទួលយកបាន។ ការត្រួតពិនិត្យដោយស្វ័យប្រវត្តិពាក់ព័ន្ធនឹងការគណនា និងការផ្ទៀងផ្ទាត់ថារង្វាស់គុណភាពរបស់យើងគឺលើសកម្រិតកំណត់។ Turkers ដែល​មាន​ការ​សន្ទនា​ដែល​មាន​គុណភាព​ខ្ពស់​ត្រូវ​បាន​ផ្តល់​រង្វាន់​បន្ថែម។ ស្ថិតិអំពីសំណុំទិន្នន័យរបស់យើងត្រូវបានបង្ហាញក្នុងតារាងទី 2។ យើងបានបង្កើតកំណែចំនួនពីរនៃការកំណត់សុពលភាព និងការធ្វើតេស្ត៖ ញឹកញាប់ និងកម្រ ស្រដៀងនឹង [5]។ សំណុំញឹកញាប់មានធាតុដែលឃើញញឹកញាប់នៅក្នុងឈុតហ្វឹកហាត់ ខណៈពេលដែលសំណុំកម្រមានធាតុដែលកម្រ ឬមិនដែលឃើញនៅក្នុងឈុតបណ្តុះបណ្តាល។ វត្តមានរបស់អង្គភាពជាច្រើនក្នុងមួយការសន្ទនាដោយការរចនានៃសំណុំអានបានធ្វើឱ្យវាកាន់តែពិបាកក្នុងការអនុវត្តការបំបែកកម្រិតអង្គភាពដ៏ល្អឥតខ្ចោះនៃសំណុំទិន្នន័យរបស់យើងមិនដូចនៅក្នុង [5] ដែលវាកាន់តែងាយស្រួលក្នុងការសម្រេចចាប់តាំងពីការសន្ទនានីមួយៗត្រូវបានភ្ជាប់ជាមួយអង្គភាពតែមួយ។ (សំដៅលើប្រធានបទនៅក្នុងក្រដាសរបស់ពួកគេ) ។ វិធីសាស្រ្តដែលប្រើដើម្បីបំបែកសំណុំទិន្នន័យរបស់យើងនឹងត្រូវបានផ្តល់ជូននៅក្នុងកំណែបន្ថែមនៃឯកសារនេះ។

ម៉ូដែល

អនុញ្ញាតឱ្យយើងកំណត់ការសន្ទនាផ្នែក Cj = [x1, . . . , xj ] ដែលសម្រាប់ 1 ≤ i ≤ j, xi គឺជាវេន ith នៅក្នុងការសន្ទនា។ ប្រវត្តិនៃការសន្ទនារបស់យើងត្រូវបានតំណាងថាជា Hj = x1 ⊕···⊕xj ដែលជាលំដាប់លំដោយនៃសញ្ញាសម្ងាត់ទាំងអស់នៅក្នុង Cj ។ xj+1 ដែលជាការឆ្លើយតបការពិតនៅវេន j+1 គឺជាលំដាប់គោលដៅរបស់យើងដែលត្រូវព្យាករណ៍សម្រាប់គ្រប់ម៉ូដែលទាំងអស់។ សម្គាល់សំណុំការអានដែលត្រូវគ្នានឹង Turker ដែលភ្ជាប់ជាមួយវេន j + 1 ជា R ដែលយើងកំណត់ទៅជាស៊េរីនៃប្រយោគបេក្ខជនចំណេះដឹង [ki], i = 1, ។ . . , ន. សម្គាល់ WK ជាប៉ារ៉ាម៉ែត្រកាត់ខ្លីសម្រាប់ប្រយោគចំណេះដឹង K ដែលរក្សាទុកនិមិត្តសញ្ញា WK ភាគច្រើនពីការចាប់ផ្តើមនៅក្នុង K. Denote WH ជាប៉ារ៉ាម៉ែត្រកាត់ខ្លីសម្រាប់ប្រវត្តិការសន្ទនា H ដែលរក្សាសញ្ញាសម្ងាត់ WH ភាគច្រើនពីចុងបញ្ចប់នៅក្នុង H ។

ប្លែង
យើងហ្វឹកហាត់ Transformer ជាមួយគូ (Hj, xj+1)។ ក្នុងកំឡុងការសន្និដ្ឋាន វាឌិកូដការឆ្លើយតប y ដែលបានផ្ដល់ឱ្យនូវប្រវត្តិសន្ទនា H.

Transformer ជាមួយចំណេះដឹង
Hj និងប្រយោគដែលបានជ្រើសរើស kˆ ពី [ki] ត្រូវបានអ៊ិនកូដជាមួយ Transformer ចែករំលែក ភ្ជាប់គ្នា និងបញ្ជូនទៅកាន់ Trans-former decoder ។ ការជ្រើសរើសចំណេះដឹងនៅក្នុងការអវត្ដមាននៃការឆ្លើយតបការពិត xj+1 គឺជាបញ្ហាបើកចំហ។ បច្ចុប្បន្នយើងប្រើប្រាស់ xj+1 នៅក្នុង argmax oracle ដើម្បីជ្រើសរើស kˆ ដូចខាងក្រោម៖

xj+1 និង ki គឺជាវ៉ិចទ័រ TF-IDF សម្រាប់ xj+1 និង ki ។ វ៉ិចទ័រ TF-IDF ត្រូវ​បាន​រៀន​ដោយ​ការ​កាត់​ឃ្លា​ជា​សញ្ញា​សម្គាល់​សំណុំ​ការ​អាន​ទាំងអស់​ក្នុង​ការ​ជជែក​តាម​ប្រធានបទ និង​ចាត់​ទុក​ប្រយោគ​នីមួយៗ​ជា​ឯកសារ។

រូបភាពទី 4: Transformer ជាមួយនឹងចំណេះដឹង

ការពិសោធន៍

ម៉ូដែលទាំងអស់ត្រូវបានបណ្តុះបណ្តាលដោយប្រើ ParlAI [16] ។ Transformer របស់យើងមានស្រទាប់ពីរដែលមានក្បាលយកចិត្តទុកដាក់ពីរ និងទំហំស្រទាប់លាក់បញ្ជូនបន្តនៃ 300 ជាមួយនឹងការធ្លាក់ចុះ 0.2។ យើងបានចាប់ផ្ដើមដោយចៃដន្យនូវការបង្កប់ពាក្យ 300 វិមាត្រ ដែលត្រូវបានរៀនកំឡុងពេលហ្វឹកហាត់។ យើងមិនរៀនការបង្កប់ទីតាំង និងទីតាំង en-code ដោយប្រើវ៉ិចទ័រក្តៅតែមួយទេ។ យើងប្រើទំហំបណ្តុំនៃ 32, stochastic gradient descent សម្រាប់ការបង្កើនប្រសិទ្ធភាពជាមួយនឹងឈុតជម្រាលនៃ 0.1 និងកម្មវិធីកំណត់អត្រាការរៀនសូត្រ 0.5 ជាមួយនឹងការអត់ធ្មត់ 3. យើងបញ្ឈប់ការបណ្តុះបណ្តាលនៅពេលដែលការងឿងឆ្ងល់នៅលើសំណុំញឹកញាប់នៃការផ្ទៀងផ្ទាត់មិនថយចុះសម្រាប់រយៈពេល 10 សម័យ។ យើងប្រើការស្វែងរកតាមធ្នឹមដែលមានទំហំធ្នឹម 5 សម្រាប់ការឌិកូដ។
យើងក៏បានពិសោធជាមួយការបណ្តុះបណ្តាលជាមុន Transformer នៅលើ BookCorpus [17] ដោយប្រើគោលបំណងគំរូភាសានៃការបង្កើនលទ្ធភាពនៃកំណត់ហេតុនៃសញ្ញាសម្ងាត់បន្ទាប់ដែលបានផ្តល់ឱ្យបង្អួចបរិបទនៃសញ្ញាសម្ងាត់ [18] ។ យើងប្រើការអ៊ិនកូដបៃគូ (BPE) [19] នៅពេលដែលការបណ្តុះបណ្តាលមុន (ទំហំវាក្យសព្ទ 37758) ។ នៅពេលដែលមិនមានការបណ្តុះបណ្តាលជាមុន យើងមិនប្រើ BPE (ទំហំវាក្យសព្ទ 49957) ទេ។

លទ្ធផល

យើងប្រើអក្សរកាត់ខាងក្រោមសម្រាប់ម៉ូដែលសម្រាប់ជាប្រយោជន៍នៃភាពខ្លី៖ TF = Transformer, w/ pt = with pre-training, w/ k ។ =

តារាងទី 2៖ ស្ថិតិការសន្ទនាតាមប្រធានបទ-ជជែក

ប្រធានបទ-ជជែក	កំណត់រចនាសម្ព័ន្ធ	រថភ្លើង	ប្រេកង់ត្រឹមត្រូវ	កម្រមានសុពលភាព	ប្រេកង់សាកល្បង	សាកល្បងកម្រ
ចំនួននៃការសន្ទនា	A ប៊ី.ស៊ី.ឌី	2199 2114 2259 2486	141 144 150 130	127 138 143 158	131 141 125 168	136 154 139 136
	សរុប	9058	565	566	565	565
ចំនួននៃការនិយាយ	A ប៊ី.ស៊ី.ឌី	48022 46098 49705 54481	3083 3177 3248 2859	2792 3066 3237 3445	2875 3116 2737 3735	2955 3348 3012 3023
	សរុប	198306	12367	12540	12463	12338
ចំនួនវេនជាមធ្យមក្នុងមួយសន្ទនា	A ប៊ី.ស៊ី.ឌី	21.8 21.8 22.0 21.9	21.8 22.0 21.6 22.0	22.0 22.2 22.6 21.8	21.9 22.1 21.9 22.2	21.7 21.7 21.7 22.2
	សរុប	21.9	21.9	22.1	22.0	21.8
ប្រវែងមធ្យមនៃការនិយាយ	A ប៊ី.ស៊ី.ឌី	19.7 19.7 19.6 19.7	19.9 20.1 20.1 19.2	20.2 19.0 19.1 19.6	19.4 19.1 20.0 20.0	19.4 20.2 19.9 20.0
	សរុប	19.7	19.8	19.8	19.6	19.9

ជាមួយនឹងចំណេះដឹង។ យើងបានប្រើ WK = 128 ធំនៅពេលប្រើចំណេះដឹង ធ្វើឱ្យប៉ារ៉ាម៉ែត្រមិនពាក់ព័ន្ធក្នុងការកំណត់របស់យើងយ៉ាងមានប្រសិទ្ធភាព ដោយសារប្រយោគចំណេះដឹងភាគច្រើនមានសញ្ញាសម្ងាត់តិចជាង 128 ។ ដើម្បីសម្រេចចិត្តលើ WH ដែលសមស្រប យើងបានព្យាយាមបណ្តុះបណ្តាល Transformer ដែលប្រើចំណេះដឹងជាមួយនឹង WH ខុសៗគ្នា ហើយបានវាយតម្លៃវានៅលើម៉ែត្រស្វ័យប្រវត្តិដែលបានពិពណ៌នាខាងក្រោម (តារាងទី 5) ។ យើងសង្កេតឃើញថា WH = 32 ដំណើរការល្អបំផុត។ យើងជឿថាវាឆ្លុះបញ្ចាំងពីអសមត្ថភាពនៃគំរូចំណេះដឹងរបស់យើងក្នុងការចូលរួមជាមួយសញ្ញាសម្ងាត់សំខាន់ៗនៅក្នុងបរិបទប្រអប់ នៅពេលដែល WH ធំត្រូវបានប្រើប្រាស់។ អាស្រ័យហេតុនេះ យើងបានប្រើ WH = 32 ក្នុងតារាងទី 3 និងទី 4 ។

សម្រាប់ការវាយតម្លៃដោយស្វ័យប្រវត្តិ យើងពិចារណារង្វាស់ដូចជា ភាពច្របូកច្របល់ (PPL) unigram F1 នៃការទស្សន៍ទាយគំរូជាមួយនឹងការឆ្លើយតបការពិត និង n-gram ភាពចម្រុះ (Div.) [8] ។ នៅក្នុងតារាងទី 3 យើងសង្កេតឃើញថាម៉ូដែលទាំងអស់របស់យើងមានភាពចម្រុះ unigram និង bigram ខ្ពស់ ដែលបង្ហាញថាម៉ូដែលរៀនដើម្បីឌិកូដការឆ្លើយតបដែលផ្តល់ព័ត៌មានតាម lexically និងចម្រុះ។ យើងក៏សង្កេតឃើញភាពប្រសើរឡើងនៃ unigram F1 និងការកើនឡើងនៃ PPL នៅពេលដែលចំណេះដឹងត្រូវបានប្រើប្រាស់។

យើង​បាន​ធ្វើការ​វាយតម្លៃ​ដោយ​មនុស្ស​លើ​គំរូ​របស់​យើង​ដោយ​បង្កើត​អត្ថបទ​វាយតម្លៃ​ចំនួន 150 ជា​ដំបូង ដែល​នីមួយៗ​មាន {Cj , kˆ, [rc]}, c = 1 ។ . . N ដែល [rc] គឺជាសំណុំនៃការឆ្លើយតប N (N−1 ពីគំរូដែលបានបណ្តុះបណ្តាល និងការឆ្លើយតបការពិតមួយ xj+1) ដែលបានផ្តល់ការសន្ទនាផ្នែក Cj និងប្រយោគដែលបានជ្រើសរើស kˆ។ ការសន្ទនាជាផ្នែកដែលត្រូវគ្នាទៅនឹងព័ត៌មានខ្លីៗនីមួយៗបានមកពីការសន្ទនាដាច់ដោយឡែកមួយនៅក្នុងសំណុំញឹកញាប់នៃការធ្វើតេស្ត Topical-Chat ។ សម្រាប់ rc នីមួយៗក្នុងផ្នែកនីមួយៗ យើងបានស្នើឱ្យមនុស្សពីរនាក់កំណត់ចំណាំដាច់ដោយឡែកពីគ្នា [20, 21](តម្លៃដែលអាចធ្វើបាននៅក្នុងវង់ក្រចក) ថាតើ rc គឺអាចយល់បាន (0/1) លើប្រធានបទ (0/1) និងគួរឱ្យចាប់អារម្មណ៍ (0/1) .

យើងក៏បានស្នើឱ្យពួកគេកត់ចំណាំពីរបៀបដែល k ត្រូវបានគេប្រើប្រាស់យ៉ាងមានប្រសិទ្ធភាពនៅក្នុង rc (0-3) ហើយប្រសិនបើពួកគេចង់បន្តការសន្ទនាបន្ទាប់ពី rc (0/1) ។ យើងបានគណនា kappa របស់ Cohen សម្រាប់ប្រព័ន្ធគោលពីរ និង kappa របស់ Fleiss សម្រាប់ចំណារពន្យល់តាមមាត្រដ្ឋានបន្ទាប់បន្សំ ជាវិធានការនៃភាពអាចជឿជាក់បាននៃកិច្ចព្រមព្រៀង និងបានសង្កេតឃើញកិច្ចព្រមព្រៀងមិនល្អសម្រាប់ការចាប់អារម្មណ៍ (0.29) និងបន្តការសន្ទនា (0.27) ។ ដូច្នេះហើយ យើងបូកសរុប និងរាយការណ៍ពិន្ទុចំណារពន្យល់សម្រាប់ប៉ារ៉ាម៉ែត្រដែលមានការព្រមព្រៀងខ្ពស់ក្នុងតារាងទី 4។ យើងប្រើអក្សរកាត់ខាងក្រោមសម្រាប់ជាប្រយោជន៍នៃ brevity: comprehensible = comp., on-topic = ot, leverage knowledge = lk យើងសង្កេតឃើញថាគ្រប់ម៉ូដែលទាំងអស់គឺ ត្រូវបានគេវាយតម្លៃថាភាគច្រើនបង្កើតការឆ្លើយតបដែលអាចយល់បាន និងគំរូដែលទាញយកចំណេះដឹងត្រូវបានវាយតម្លៃដើម្បីបង្កើតការឆ្លើយតបដែលមានឥទ្ធិពលលើពួកគេ ទោះបីជាមានប្រសិទ្ធភាពតិចតួចក៏ដោយ។

តារាងទី 3៖ ម៉ែត្រដោយស្វ័យប្រវត្តិនៅលើសំណុំសាកល្បង (ញឹកញាប់/កម្រ)

តារាងទី 4៖ ម៉ែត្រវាយតម្លៃមនុស្សសម្រាប់ 150 ប្រេកង់សាកល្បង។ អត្ថបទខ្លីៗ

តារាងទី 5៖ ឥទ្ធិពលនៃការផ្លាស់ប្តូរ WH សម្រាប់ TF (w/ k.) លើប្រេកង់សាកល្បង។

សេចក្តីសន្និដ្ឋាន

យើងណែនាំ Topical-Chat ដែលជាសំណុំទិន្នន័យការសន្ទនាផ្អែកលើចំណេះដឹងលើដែនបើកចំហ ដោយគ្មានតួនាទីច្បាស់លាស់សម្រាប់ដៃគូសន្ទនា និងមានជម្រៅ និងទំហំនៃការគ្របដណ្តប់ប្រធានបទជាមួយនឹងការផ្លាស់ប្តូរនៅក្នុងការសន្ទនា។ យើងបណ្តុះបណ្តាលគំរូដែលមានមូលដ្ឋានលើ Transformer សាមញ្ញសម្រាប់ការបង្កើតការឆ្លើយតប និងវាយតម្លៃពួកវាដោយប្រើម៉ែត្រស្វ័យប្រវត្តិសម្រាប់ការដាក់ពិន្ទុ។ យើងក៏ផ្តល់ភស្តុតាងនៃតម្លៃគុណភាពតាមរយៈការវាយតម្លៃរបស់មនុស្សនៃគំរូទាំងនេះ។ យើងសង្ឃឹមថាការចេញផ្សាយ Topical-Chat ជំរុញការស្រាវជ្រាវដែលជំរុញដោយទិន្នន័យនៅក្នុង AI ការសន្ទនាដែលមានមូលដ្ឋានលើចំណេះដឹងដែនបើកចំហ។

1 គំរូដែលប្រើសម្រាប់ការវាយតម្លៃរបស់មនុស្សត្រូវបានបណ្តុះបណ្តាលលើផ្នែករងនៃសំណុំបណ្តុះបណ្តាល។

ឯកសារយោង

1. J. Weizenbaum et al., “Eliza—ជាកម្មវិធីកុំព្យូទ័រសម្រាប់សិក្សាទំនាក់ទំនងភាសាធម្មជាតិរវាងមនុស្ស និងម៉ាស៊ីន”
   ការទំនាក់ទំនងរបស់ ACM, vol ។ 9, ទេ។ ១ ទំព័រ ៣៦–៤៥ ឆ្នាំ ១៩៦៦។
2. O. Vinyals និង Q. Le, “គំរូសន្ទនាតាមសរសៃប្រសាទ” arXiv preprint arXiv:1506.05869, 2015។
3. A. Ritter, C. Cherry, និង B. Dolan, "ការធ្វើគំរូដែលមិនមានការត្រួតពិនិត្យនៃការសន្ទនាតាម Twitter" នៅក្នុងបច្ចេកវិទ្យាភាសាមនុស្ស៖ សន្និសីទប្រចាំឆ្នាំ 2010 នៃជំពូកអាមេរិកខាងជើងនៃសមាគមសម្រាប់ភាសាវិទ្យាគណនា។ សមាគមសម្រាប់ភាសាវិទ្យាគណនា ឆ្នាំ ២០១០ ទំព័រ ១៧២–១៨០។
4. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, AN Gomez, Ł. Kaiser និង I. Polosukhin “ការយកចិត្តទុកដាក់គឺជាអ្វីដែលអ្នកត្រូវការ” នៅក្នុង Advances in Neural Information Processing Systems, 2017, ទំព័រ 5998–6008។
5. E. Dinan, S. Roller, K. Shuster, A. Fan, M. Auli, និង J. Weston, “Wizard of Wikipedia: Knowledge-powered conversational agents,” arXiv preprint arXiv:1811.01241, 2018។
6. K. Zhou, S. Prabhumoye, និង AW Black, “សំណុំទិន្នន័យសម្រាប់ការសន្ទនាដែលមានមូលដ្ឋានលើឯកសារ” arXiv preprint arXiv: 1809.07358, 2018 ។
7. N. Moghe, S. Arora, S. Banerjee និង MM Khapra "ឆ្ពោះទៅរកការទាញយកចំណេះដឹងផ្ទៃខាងក្រោយសម្រាប់ការកសាងប្រព័ន្ធសន្ទនា" ឆ្នាំ 2018 ។
8. M. Ghazvininejad, C. Broockett, M.-W. Chang, B. Dolan, J. Gao, W.-t. Yih និង M. Galley "គំរូការសន្ទនាតាមសរសៃប្រសាទដែលមានមូលដ្ឋានលើចំណេះដឹង" នៅក្នុងសន្និសិទ AAAI សាមសិបទីពីរស្តីពីភាពវៃឆ្លាតសិប្បនិម្មិត ឆ្នាំ 2018 ។
9. H. Zhou, T. Young, M. Huang, H. Zhao, J. Xu, និង X. Zhu, "ចំណេះដឹងទូទៅ ការយល់ដឹងអំពីការបង្កើតការសន្ទនាជាមួយនឹងការយកចិត្តទុកដាក់លើក្រាហ្វ។" នៅក្នុង IJCAI ឆ្នាំ 2018 ទំព័រ 4623–4629 ។
10. JE Weston, “ការរៀនភាសាផ្អែកលើប្រអប់,” in Advances in Neural Information Processing Systems, 2016, ទំព័រ 829–837។
11. M. Lewis, D. Yarats, YN Dauphin, D. Parikh, និង D. Batra “ចុះកិច្ចព្រមព្រៀង ឬអត់? ការរៀនពីចុងដល់ចប់សម្រាប់ការចរចារ» arXiv preprint arXiv: 1706.05125, 2017 ។
12. S. Zhang, E. Dinan, J. Urbanek, A. Szlam, D. Kiela, និង J. Weston, "ភ្នាក់ងារសន្ទនាផ្ទាល់ខ្លួន៖ ខ្ញុំមានឆ្កែ តើអ្នកមានសត្វចិញ្ចឹមដែរទេ?" នៅក្នុងដំណើរការនៃកិច្ចប្រជុំប្រចាំឆ្នាំលើកទី 56 នៃសមាគមសម្រាប់ភាសាវិទ្យាគណនា (ភាគទី 1៖ ឯកសារវែង) ឆ្នាំ 2018 ទំព័រ 2204–2213 ។
13. C. Khatri, B. Hedayatnia, A. Venkatesh, J. Nunn, Y. Pan,
    Q. Liu, H. Song, A. Gottardi, S. Kwatra, S. Pancholi, M. Cheng,
    Q. Chen, L. Stubel, K. Gopalakrishnan, K. Bland, R. Gabriel, A. Mandal, D. Hakkani-T¨ur, G. Hwang, N. Michel, E. King, និង R. Prasad, “ ការជំរុញស្ថានភាពសិល្បៈនៅក្នុងប្រព័ន្ធប្រអប់បើកតាមរយៈ alexa រង្វាន់” នៅក្នុង Alexa Prize Proceedings (https://developer.amazon.com/alexaprize/challenges/past-challenges/2018/), ឆ្នាំ 2018 ។
14. Reddit, "r/ todayilearned," https://www.reddit.com/r/todayilearned/.
15. R. Mihalcea និង P. Tarau, “Textrank: Bringing Order into Text,” នៅក្នុង Proceedings of the 2004 conference on empirical method in natural language process, 2004 ។
16. AH Miller, W. Feng, A. Fisch, J. Lu, D. Batra, A. Bordes,
    D. Parikh, និង J. Weston, “Parlai: A dialog research platform,” arXiv preprint arXiv:1705.06476, 2017។
17. BookCorpus, https://github.com/soskek/bookcorpus/.
18. A. Radford, K. Narasimhan, T. Salimans, និង
    I. Sutskever "ការកែលម្អការយល់ដឹងភាសាដោយការបណ្តុះបណ្តាលមុនជំនាន់"
    URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/languageunsupervised/
    ក្រដាសការយល់ដឹងភាសា.pdf, 2018 ។
19. R. Sennrich, B. Haddow, និង A. Birch, “ការបកប្រែដោយម៉ាស៊ីនសរសៃប្រសាទនៃពាក្យដ៏កម្រដែលមានឯកតាពាក្យរង” arXiv preprint arXiv: 1508.07909, 2015 ។
20. A. Venkatesh, C. Khatri, A. Ram, F. Guo, R. Gabriel, A. Nagar,
    R. Prasad, M. Cheng, B. Hedayatnia, A. Metallinou, R. Goel,
    S. Yang, និង A. Raju, "ស្តីពីការវាយតម្លៃ និងប្រៀបធៀបប្រព័ន្ធបើកចំហរ do-main dialog systems" ឆ្នាំ 2018។
21. A. សូមមើល S. Roller, D. Kiela, និង J. Weston “តើអ្វីទៅជាការសន្ទនាដ៏ល្អ? របៀបដែលគុណលក្ខណៈដែលអាចគ្រប់គ្រងបានប៉ះពាល់ដល់ការវិនិច្ឆ័យរបស់មនុស្ស” ឆ្នាំ 2019 ។

ឯកសារយោង

• សៀវភៅណែនាំអ្នកប្រើប្រាស់