ആമസോൺ അലക്‌സാ AI

അമൂർത്തമായ
മനുഷ്യരുമായി ആഴത്തിലുള്ളതും ഇടപഴകുന്നതുമായ തുറന്ന-ഡൊമെയ്ൻ സംഭാഷണങ്ങൾ നടത്താൻ കഴിയുന്ന സോഷ്യൽ ബോട്ടുകൾ നിർമ്മിക്കുന്നത് ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിന്റെ (AI) വലിയ വെല്ലുവിളിയാണ്. ഇതിനായി, സ്വന്തം ലോകപരിജ്ഞാനമുള്ള മനുഷ്യരുമായി ആശയവിനിമയം നടത്തുമ്പോൾ, നിരവധി ഡൊമെയ്‌നുകളിൽ വ്യാപിച്ചുകിടക്കുന്ന ലോകവിജ്ഞാനം ഫലപ്രദമായി പ്രയോജനപ്പെടുത്താൻ ബോട്ടുകൾക്ക് കഴിയേണ്ടതുണ്ട്. നിലവിലുള്ള വിജ്ഞാന-അടിസ്ഥാന സംഭാഷണ ഡാറ്റാസെറ്റുകൾ സംഭാഷണ പങ്കാളികൾക്കുള്ള വ്യക്തമായ റോളുകൾ ഉപയോഗിച്ച് പ്രാഥമികമായി സ്റ്റൈലൈസ് ചെയ്തിരിക്കുന്നു. ഈ ഡാറ്റാസെറ്റുകൾ സംഭാഷണങ്ങളിലെ സംക്രമണങ്ങൾക്കൊപ്പം വിഷയപരമായ കവറേജിന്റെ ആഴമോ വീതിയോ പര്യവേക്ഷണം ചെയ്യുന്നില്ല. ഓപ്പൺ-ഡൊമെയ്‌ൻ സംഭാഷണ AI-യിൽ കൂടുതൽ ഗവേഷണം നടത്താൻ സഹായിക്കുന്നതിന്, 8 വിശാലമായ വിഷയങ്ങളിൽ അന്തർലീനമായ അറിവ് വ്യാപിക്കുകയും സംഭാഷണ പങ്കാളികൾക്ക് വ്യക്തമായി നിർവ്വചിച്ച റോളുകൾ ഇല്ലാത്തതുമായ വിജ്ഞാന-അധിഷ്ഠിത മനുഷ്യ-മനുഷ്യ സംഭാഷണ ഡാറ്റാസെറ്റായ Topical-Chat ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. ടോപ്പിക്കൽ-ചാറ്റിൽ നിരവധി അത്യാധുനിക എൻകോഡർ-ഡീകോഡർ സംഭാഷണ മോഡലുകൾ ഞങ്ങൾ പരിശീലിപ്പിക്കുകയും ബെഞ്ച്മാർക്കിംഗിനായി സ്വയമേവയുള്ളതും മാനുഷികവുമായ വിലയിരുത്തൽ നടത്തുകയും ചെയ്യുന്നു. സൂചിക നിബന്ധനകൾ: സംഭാഷണ സംവിധാനങ്ങൾ, വിജ്ഞാന ഗ്രൗണ്ടിംഗ്, സാമൂഹിക സംഭാഷണങ്ങൾ, പ്രതികരണം സൃഷ്ടിക്കൽ

ആമുഖം

സ്വാഭാവിക ഭാഷയിൽ മനുഷ്യരുമായി സംവദിക്കാൻ കഴിയുന്ന സംഭാഷണ ബോട്ടുകൾ നിർമ്മിക്കുന്നത് (സംഭാഷണ AI എന്നും അറിയപ്പെടുന്നു) കമ്പ്യൂട്ടിംഗിന്റെ ആദ്യ നാളുകൾ മുതൽ ഗവേഷകർക്ക് താൽപ്പര്യമുള്ളതാണ്, ഇത് ELIZA [1] പോലുള്ള ടെക്‌സ്‌റ്റ് അധിഷ്‌ഠിത സംവിധാനങ്ങൾ ഉദാഹരണമാണ്. സംഭാഷണ AI-യുടെ പ്രവർത്തനം സാധാരണയായി ഇനിപ്പറയുന്ന രണ്ട് വിഭാഗങ്ങളിലൊന്നാണ്: ടാസ്‌ക്-ഓറിയന്റഡ്, ഓപ്പൺ-ഡൊമെയ്‌ൻ. ടാസ്‌ക്-ഓറിയന്റഡ് ബോട്ടുകൾ, മൾട്ടി-ടേൺ ഇന്ററാക്ഷനിലൂടെ ഒരു നിർദ്ദിഷ്‌ട ടാസ്‌ക് പൂർത്തിയാക്കാൻ മനുഷ്യരെ സഹായിക്കാൻ ലക്ഷ്യമിടുന്നു, അതേസമയം ഓപ്പൺ-ഡൊമെയ്‌ൻ ബോട്ടുകൾ ലക്ഷ്യമിടുന്നത് മനുഷ്യർക്ക് സ്വാഭാവികവും ആകർഷകവുമായ സംഭാഷണങ്ങൾ നടത്താൻ കഴിയുന്ന സാമൂഹിക സംഭാഷണ പങ്കാളികളായി പ്രവർത്തിക്കാനാണ്. പരമ്പരാഗത ഭാഷാ വൈദഗ്ധ്യം നേടിയെടുക്കുന്നതിന് പുറമേ, ഓപ്പൺ-ഡൊമെയ്ൻ ബോട്ടുകൾ (സോഷ്യൽ ബോട്ടുകൾ എന്നും അറിയപ്പെടുന്നു) മനുഷ്യർക്ക് സ്വാഭാവികമായി വരുന്ന നിരവധി സംഭാഷണ കഴിവുകൾ പരിപൂർണ്ണമാക്കേണ്ടതുണ്ട്: ലോക അറിവിൽ നിന്ന് തിരിച്ചുവിളിക്കുക, സംഭാഷണ ചരിത്രവുമായി സംയോജിച്ച് ന്യായവാദം ചെയ്യുക, ശരിയായ പ്രതികരണങ്ങൾ നിർമ്മിക്കുക. സോഷ്യൽബോട്ടുകൾക്ക് മതിയായ കാലികമായ വീതിയും ആഴവും ഉണ്ടായിരിക്കുകയും സുഗമമായ വിഷയ സംക്രമണം നടത്തുകയും വേണം.

ഈ സംഭാഷണ വൈദഗ്ധ്യം പഠിക്കുന്നതിനുള്ള ഗവേഷണത്തിന്റെ നിർണായകമായ പരിമിതപ്പെടുത്തുന്ന ഘടകം വിജ്ഞാന-അടിസ്ഥാന സംഭാഷണങ്ങളുടെയും അനുബന്ധ വിജ്ഞാന സ്രോതസ്സുകളുടെയും ഡാറ്റാസെറ്റുകളുടെ ദൗർലഭ്യമാണ്. 11 വിശാലമായ വിഷയങ്ങളിൽ വ്യാപിച്ചുകിടക്കുന്ന അറിവിനെക്കുറിച്ചുള്ള ∼8K മനുഷ്യ-മനുഷ്യ സംഭാഷണങ്ങളുടെ ഒരു ഡാറ്റാസെറ്റായ ടോപ്പിക്കൽ-ചാറ്റ് ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. ചിത്രം 1-ൽ ടോപ്പിക്കൽ-ചാറ്റിൽ നിന്നുള്ള ഒരു സംഭാഷണ സ്‌നിപ്പറ്റ് അടങ്ങിയിരിക്കുന്നു. ആമസോൺ മെക്കാനിക്കൽ ടർക്ക് തൊഴിലാളികളുമായി സഹകരിച്ച്, അവർക്ക് വിഷയപരമായ വായനാ സെറ്റുകൾ നൽകുകയും പങ്കാളികളോട് സ്വാഭാവികമായും യോജിപ്പുള്ളതും ഇടപഴകുന്നതുമായ സംഭാഷണങ്ങൾ അവരുടെ നൽകിയ വായനാ സെറ്റുകളിൽ അടിസ്ഥാനപ്പെടുത്തിയാണ് ഡാറ്റാസെറ്റ് ശേഖരിച്ചത്. ഒരു സംഭാഷണ സമയത്ത് പങ്കാളികൾക്ക് അവർ ചെയ്യേണ്ട റോളുകൾ വ്യക്തമായി നിർവചിച്ചിട്ടില്ല, അവർക്ക് നൽകിയിരിക്കുന്ന വായനാ സെറ്റുകൾ വ്യത്യസ്ത അളവുകളിൽ സമമിതിയോ അസമത്വമോ ആകാം, ഇത് യഥാർത്ഥ ലോക സംഭാഷണങ്ങളെ കൃത്യമായി പ്രതിഫലിപ്പിക്കുന്നു, അവിടെ സംഭാഷണത്തിന് മുമ്പ് രണ്ട് പങ്കാളികളും നേടിയ അറിവ് അല്ലെങ്കിൽ സമമിതി ആയിരിക്കില്ല. പങ്കാളികളോട് അവരുടെ സംഭാഷണത്തിന്റെ ഓരോ തിരിവും വായനാ സെറ്റ് വിനിയോഗം, വികാരം എന്നിങ്ങനെ വിവിധ തലങ്ങളിൽ വ്യാഖ്യാനിക്കാൻ ആവശ്യപ്പെടുന്നു.
ടോപ്പിക്കൽ-ചാറ്റ് ഉപയോഗിച്ച് ഭാവിയിലെ ഗവേഷണത്തിനായി ബെഞ്ച്മാർക്കുകൾ സൃഷ്ടിക്കുന്നതിനായി, ടോപ്പിക്കൽ-ചാറ്റിൽ നിരവധി എൻകോഡർ-ഡീകോഡർ [2, 3] സംഭാഷണ മോഡലുകൾ ഞങ്ങൾ പരിശീലിപ്പിച്ചു, അവ ഓരോന്നും ഒരു വായനാ സെറ്റിൽ അടിസ്ഥാനമാക്കിയുള്ളതും സംഭാഷണ ചരിത്രത്തെ അടിസ്ഥാനമാക്കിയുള്ളതുമായ പ്രതികരണം സൃഷ്ടിക്കാൻ ലക്ഷ്യമിടുന്നു. ട്രാൻസ്‌ഫോർമർ ആർക്കിടെക്ചർ [4] [5] ന് സമാനമായി ഞങ്ങൾ പ്രത്യേകമായി പ്രയോജനപ്പെടുത്തുന്നു. സ്വയമേവയുള്ളതും മാനുഷികവുമായ മൂല്യനിർണ്ണയത്തിലൂടെ അറിവിൽ അധിഷ്ഠിതമായ സംഭാഷണങ്ങൾ നടത്താനുള്ള ഞങ്ങളുടെ മോഡലുകളുടെ കഴിവ് ഞങ്ങൾ പ്രകടമാക്കുന്നു.

• ഏജൻ്റ് സന്ദേശം . . . . . .
• തുർക്കർ 2
  എനിക്ക് ആ ജോലി ഇഷ്ടമാണ്. വ്യാഴം സന്ദർശിക്കുന്നതും തണുത്തതായിരിക്കും, പക്ഷേ തീവ്രമായ വികിരണം കാരണം അത് അസാധ്യമാണ്.
• തുർക്കർ 1
  അതെ. ഇരുപത്തിയൊന്നാം നൂറ്റാണ്ടിന്റെ അവസാനത്തോടെ ഭൂമി ഹീലിയം വിമുക്തമാകും. ഒരു ലാബിൽ നമുക്ക് ഇത് കൂടുതൽ ഉണ്ടാക്കാൻ കഴിയുമോ എന്ന് ഞാൻ അത്ഭുതപ്പെടുന്നു. അതിന്റെ ആവശ്യമുണ്ടോ?

ചിത്രം 1: ഒരു ടോപ്പിക്കൽ-ചാറ്റ് സംഭാഷണത്തിൽ നിന്നുള്ള ഒരു സ്‌നിപ്പറ്റ് (ബോൾഡിൽ ഹൈലൈറ്റ് ചെയ്‌തിരിക്കുന്ന അനുബന്ധ വായനാ സെറ്റിൽ നിന്നുള്ള വാചകം)

ബന്ധപ്പെട്ട ജോലി

വിജ്ഞാന-അടിസ്ഥാന സംഭാഷണങ്ങളിലുള്ള സമീപകാല ഗവേഷണ താൽപ്പര്യം ഒന്നിലധികം ഡാറ്റാസെറ്റുകളുടെ പൊതു പ്രകാശനത്തിലേക്ക് നയിച്ചു. [6] 4 സിനിമകളെക്കുറിച്ചുള്ള വിക്കിപീഡിയ ലേഖനങ്ങൾ വിജ്ഞാന അടിത്തറയായി വർത്തിക്കുന്ന ~30K സംഭാഷണങ്ങളുടെ ഒരു ഡാറ്റാസെറ്റ് പുറത്തിറക്കി. ഷെഡ്യൂൾ ചെയ്ത രീതിയിൽ സംഭാഷണ പങ്കാളികൾക്ക് കാണിക്കുന്ന ലേഖനങ്ങളുടെ ഭാഗങ്ങൾ ഉപയോഗിച്ചാണ് ശേഖരം രൂപപ്പെടുത്തിയത്. [7] വിക്കിപീഡിയ ലേഖനങ്ങൾ ഉൾക്കൊള്ളുന്ന വിജ്ഞാന അടിത്തറയിൽ സിനിമകളെക്കുറിച്ചുള്ള സംഭാഷണങ്ങളുടെ സമാന ഡാറ്റാസെറ്റ് പുറത്തിറക്കി.viewകളിൽ നിന്ന് ഖനനം ചെയ്ത അഭിപ്രായങ്ങളും web ഏകദേശം ∼1K സിനിമകൾ. ശേഖരത്തിൽ സ്വയം സംഭാഷണങ്ങൾ ഉൾപ്പെടുന്നു, അവിടെ ഒരു ജനക്കൂട്ടം തൊഴിലാളി ഇരുപക്ഷത്തിനും വേണ്ടിയുള്ള വാക്കുകൾ സൃഷ്ടിക്കുന്നു. അടുത്തയിടെ, വിസാർഡ് ഓഫ് വിക്കിപീഡിയ (WoW) ഡാറ്റാസെറ്റ് [5] പുറത്തിറങ്ങി, അവിടെ ഞങ്ങളുടേതിന് സമാനമായി, ഓപ്പൺ-ഡൊമെയ്‌ൻ വിജ്ഞാന-അടിസ്ഥാന സംഭാഷണങ്ങൾ ശേഖരിക്കുന്നതിലാണ് ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നത്. അവരുടെ വിജ്ഞാന അടിത്തറയിൽ വിക്കിപീഡിയ ലേഖനങ്ങൾ ഉൾപ്പെടുന്നു എന്നതാണ് ഒരു പ്രധാന വ്യത്യാസം, അതേസമയം സജീവമായ ഇടപെടലുകൾ പ്രാപ്തമാക്കുന്നതിന് ഞങ്ങൾ ഒന്നിലധികം ഡാറ്റാ ഉറവിടങ്ങളെ, പ്രത്യേകിച്ച് വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനങ്ങളും, എന്റിറ്റികളെക്കുറിച്ചുള്ള വിക്കിപീഡിയ ലേഖനങ്ങൾക്ക് പുറമേ Reddit രസകരമായ വസ്തുതകളും ആശ്രയിച്ചിരിക്കുന്നു.

പ്രതികരണം സൃഷ്ടിക്കുന്നതിനായി സീക്വൻസ്-ടു-സീക്വൻസ് ജനറേറ്റീവ് മോഡലിംഗ് സമീപനങ്ങൾ ജനപ്രിയമായിത്തീർന്നിരിക്കുന്നു, അവിടെ സംഭാഷണത്തിൽ മുമ്പത്തെ ടേൺ നൽകിയ പ്രതികരണം സൃഷ്ടിക്കുക എന്നതാണ് ലക്ഷ്യം [2, 3]. എന്നിരുന്നാലും, ഈ സീക്വൻസ്-ടു-സീക്വൻസ് മോഡലുകൾ സൃഷ്ടിക്കുന്ന പ്രതികരണങ്ങൾ എല്ലായ്പ്പോഴും യോജിച്ചതോ സന്ദർഭോചിതമോ അല്ല, അവ പലപ്പോഴും പൊതുവായതും താൽപ്പര്യമുണർത്തുന്ന ഉള്ളടക്കത്തിന്റെ അഭാവവുമാണ് [2]. അത്തരം സമീപനങ്ങൾ പ്രസക്തമായ അറിവിൽ പ്രതികരണങ്ങളെ വ്യക്തമായി അടിസ്ഥാനമാക്കുന്നില്ല. സംഭാഷണ പ്രതികരണം സൃഷ്ടിക്കുന്നതിനുള്ള ലോക വിജ്ഞാനം ഉൾക്കൊള്ളുന്ന സമീപനങ്ങളിൽ പ്രവർത്തിക്കാൻ ഇത് കാരണമായി. [8] വിജ്ഞാനത്തിൽ ജനറേറ്റുചെയ്ത പ്രതികരണങ്ങൾ ക്രമീകരിക്കാൻ എൻഡ്-ടു-എൻഡ് മെമ്മറി നെറ്റ്‌വർക്കുകൾ ഉപയോഗിച്ചു, അവിടെ സംഭാഷണ സന്ദർഭവുമായി ബന്ധപ്പെട്ട അറിവിന്റെ മേലുള്ള ശ്രദ്ധ കണക്കാക്കുകയും പ്രതികരണ ഡീകോഡിംഗ് സമയത്ത് ഒന്നിലധികം വിജ്ഞാന പ്രതിനിധാനങ്ങൾ ഇൻപുട്ടായി ഉൾപ്പെടുത്തുകയും ചെയ്യുന്നു. [9] സംഭാഷണ സന്ദർഭം അനുസരിച്ച് പ്രസക്തമായ വിജ്ഞാന ഗ്രാഫുകൾ വീണ്ടെടുക്കുകയും ഗ്രാഫുകളെ ഒരു സ്റ്റാറ്റിക് ഗ്രാഫ് ശ്രദ്ധാകേന്ദ്രം ഉപയോഗിച്ച് എൻകോഡ് ചെയ്യുകയും ചെയ്യുന്നു. ഡീകോഡർ വീണ്ടെടുത്ത വിജ്ഞാന ഗ്രാഫുകൾ ശ്രദ്ധയോടെ വായിക്കുകയും ഓരോ ഗ്രാഫിനുള്ളിലെ വിജ്ഞാനം മൂന്നിരട്ടിയാകുകയും ചെയ്യുന്നു. അടുത്തകാലത്തായി, [5] വിജ്ഞാന വാക്യങ്ങളും സംഭാഷണ സന്ദർഭങ്ങളും എൻകോഡ് ചെയ്യാനും പ്രതികരണം ഡീകോഡ് ചെയ്യാനും ട്രാൻസ്ഫോർമർ മെമ്മറി നെറ്റ്‌വർക്ക് ഉപയോഗിക്കുന്നു.

വിഷയപരമായ-ചാറ്റ്

ആമസോൺ മെക്കാനിക്കൽ ടർക്കിലെ തൊഴിലാളികൾ (ടർക്ക്-എർസ് എന്നും അറിയപ്പെടുന്നു) പങ്കാളികളാകുകയും ഉയർന്ന വിഷയപരമായ വായനാ സെറ്റുകൾ നൽകുകയും ചെയ്യുന്നു, കൂടാതെ ഓരോ ജോഡി തൊഴിലാളികളോടും അവർ നൽകിയ വായനാ സെറ്റുകളെ അടിസ്ഥാനമാക്കി സ്വാഭാവികമായും യോജിപ്പുള്ളതും ആകർഷകവുമായ സംഭാഷണം നടത്താൻ ആവശ്യപ്പെടുന്നു. ഞങ്ങളുടെ ക്രമീകരണത്തിൽ, സംഭാഷണ പങ്കാളികൾക്ക് നൽകിയിരിക്കുന്ന റീഡിംഗ് സെറ്റുകൾ സമമിതിയോ വ്യത്യസ്ത അളവിലുള്ള അസമമിതിയോ ആകാം, അതേസമയം ഒരു ജോടി റീഡിംഗ് സെറ്റുകളിൽ കൃത്യമായ വിവരങ്ങളും അസമത്വവും അടങ്ങിയിട്ടുണ്ടെങ്കിൽ അവയെ സമമിതി എന്ന് വിളിക്കുന്നു. [5] എന്നതിലെ വിസാർഡ്-അപ്രന്റീസ് ക്രമീകരണത്തിന്റെ സാമാന്യവൽക്കരണമായി ഇത് പ്രവർത്തിക്കുന്നു. മിക്ക (അറിവ് അടിസ്ഥാനമാക്കിയുള്ളതോ അല്ലാത്തതോ ആയ) സംഭാഷണ ക്രമീകരണങ്ങളിൽ നിന്ന് വ്യത്യസ്തമായി [5, 10, 11, 12], പങ്കാളികൾക്ക് അവരുടെ സംഭാഷണ സമയത്ത് അവർ ചെയ്യേണ്ട റോളുകൾ വ്യക്തമായി നിർവചിച്ചിട്ടില്ല. സംഭാഷണത്തിനിടയിൽ ഒരു അദ്ധ്യാപകന്റെയും പങ്കാളിയുടെയും ഇരട്ട വേഷങ്ങൾ ചെയ്യാൻ രണ്ട് പങ്കാളികളെയും പരോക്ഷമായി പ്രേരിപ്പിക്കാൻ ഞങ്ങൾ വിവര അസമമിതിയെ സ്വാധീനിക്കുന്നു. ഈ ക്രമീകരണം യഥാർത്ഥ ലോക സംഭാഷണങ്ങളെ കൂടുതൽ കൃത്യമായി പ്രതിഫലിപ്പിക്കുന്നു, അവിടെ ഒരു സംഭാഷണത്തിന് മുമ്പ് രണ്ട് പങ്കാളികളും നേടിയ ലോക അറിവ് സമമിതിയോ അല്ലയോ ആയിരിക്കാം. ഇത് ടോപ്പിക്കൽ-ചാറ്റ് ഡാറ്റാസെറ്റിനെ ബഹുമുഖമാക്കുകയും യാഥാർത്ഥ്യമാക്കുകയും രണ്ട് പങ്കാളികളുടെയും മോഡലിംഗ് പ്രാപ്തമാക്കുകയും ചെയ്യുന്നു.

അറിവിന്റെ അടിസ്ഥാന സൃഷ്ടി
വായനാ സെറ്റുകൾ നിർമ്മിക്കുന്നതിന്, ഞങ്ങൾ മൂന്ന് പ്രാകൃതങ്ങൾ ഉൾക്കൊള്ളുന്ന ഒരു വിജ്ഞാന അടിത്തറ സൃഷ്ടിച്ചു: എന്റിറ്റികൾ, വസ്തുതകൾ, ലേഖനങ്ങൾ.

പട്ടിക 1: വിഷയങ്ങളും അവയുടെ എന്റിറ്റി ബജറ്റുകളും

വിഷയം	ബജറ്റ്
ഫാഷൻ	20
രാഷ്ട്രീയം	25
പുസ്തകങ്ങൾ	33
സ്പോർട്സ്	35
പൊതു വിനോദം	38
സംഗീതം	39
സയൻസ് & ടെക്നോളജി	44
സിനിമകൾ	66
ആകെ	300

എന്റിറ്റി തിരഞ്ഞെടുക്കൽ: അക്കാദമിക് റിസർച്ച് ഗ്രൂപ്പുകൾ തമ്മിലുള്ള വലിയ തോതിലുള്ള ഓപ്പൺ-ഡൊമെയ്ൻ സോഷ്യൽബോട്ട് മത്സരത്തിനിടെ ശേഖരിച്ച ഒരു മുൻ ഹ്യൂമൻ-ബോട്ട് സംഭാഷണ ഡാറ്റാസെറ്റിൽ നിന്ന് 300 വിഷയങ്ങളിലുള്ള 8 ജനപ്രിയ സ്ഥാപനങ്ങൾ ഞങ്ങൾ ആദ്യം തിരഞ്ഞെടുത്തു [13]. സോഷ്യൽ ബോട്ടുകളോട് സംസാരിക്കാൻ ഉപയോക്താക്കൾക്ക് താൽപ്പര്യമുള്ളതെന്താണെന്ന് ഉപയോക്തൃ മൊഴികൾ ഞങ്ങളെ അറിയിക്കുന്നതിനാൽ, ഈ മുൻ ഡാറ്റാസെറ്റിലെ എല്ലാ ഉപയോക്തൃ വാക്കുകളിൽ നിന്നും ഞങ്ങൾ പ്രത്യേകമായി എന്റിറ്റികളെ തിരഞ്ഞെടുത്തു. വിഷയ വൈവിധ്യം നിലനിർത്തുന്നതിന്, ഓരോ വിഷയത്തിനും i (എല്ലാ ബജറ്റുകളും 8 വരെ ചേർക്കുമ്പോൾ) ഒരു എന്റിറ്റി ബജറ്റ് Bi അനുവദിക്കുന്നതിന് എല്ലാ ഉപയോക്തൃ ഉച്ചാരണങ്ങളിലുമുള്ള 300 വിഷയങ്ങളുടെ ആവൃത്തി വിതരണം ഞങ്ങൾ പരിഗണിച്ചു. തുടർന്ന് ഞങ്ങൾ ഓരോ വിഷയത്തിനും ഞാൻ ഏറ്റവും കൂടുതൽ ഇടയ്ക്കിടെ വരുന്ന പ്രധാന-ബൈ എന്റിറ്റികൾ തിരഞ്ഞെടുത്തു. വിഷയങ്ങളും അവയുടെ ബഡ്ജറ്റുകളും പട്ടിക 1-ൽ നൽകിയിരിക്കുന്നു.

വസ്തുത തിരഞ്ഞെടുക്കൽ: 300 എന്റിറ്റികളുടെ വിക്കിപീഡിയ ലീഡ് വിഭാഗങ്ങൾ ഞങ്ങൾ ലഭ്യമാക്കി, റെഡ്ഡിറ്റ് ഉപയോഗിച്ച് ഓരോ സ്ഥാപനത്തിനും 8-10 രസകരമായ വസ്തുതകൾ ക്രൗഡ് സോഴ്‌സ് ചെയ്തു [14]. ഓരോ സ്ഥാപനത്തിനും, ലഭിച്ച വിക്കിപീഡിയ ലീഡ് വിഭാഗങ്ങളുടെ രണ്ട് പതിപ്പുകൾ ഞങ്ങൾ പരിപാലിക്കുന്നു. ആദ്യത്തേത് ഒരു ചുരുക്കിയ പതിപ്പാണ്, അതിൽ ലീഡ് വിഭാഗത്തിന്റെ ആദ്യ ഖണ്ഡികയും ഓപ്ഷണലായി ആദ്യ ഖണ്ഡികയിൽ 50 വാക്കുകളിൽ കുറവുണ്ടെങ്കിൽ രണ്ടാമത്തെ ഖണ്ഡികയും ഉൾപ്പെടുന്നു. ടെക്‌സ്‌റ്റ് റാങ്ക് [15] ലെഡ് സെക്ഷൻ മുഴുവനായും 150 വാക്കിലോ അതിൽ കുറവോ ആയി സംഗ്രഹിച്ച് സൃഷ്‌ടിച്ച സംഗ്രഹ പതിപ്പാണ് രണ്ടാമത്തേത്.

ലേഖനം തിരഞ്ഞെടുക്കൽ: ഞങ്ങൾ 2018 മുതൽ വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനങ്ങൾ ലഭ്യമാക്കി, ഓരോന്നും 3 എന്റിറ്റികളിൽ മൂന്നോ അതിലധികമോ പരാമർശിക്കുകയും 300-600 വാക്കുകൾ അടങ്ങിയിരിക്കുകയും ചെയ്തു. ഞങ്ങൾ പ്രോ-ഫാൻ ഭാഷയിലുള്ള ലേഖനങ്ങൾ നീക്കംചെയ്‌തു, തുടർന്ന് എല്ലാ വിഷയങ്ങൾക്കും മതിയായ കവറേജ് ഉറപ്പാക്കിക്കൊണ്ട് 1000 ലേഖനങ്ങൾക്ക് അന്തിമരൂപം നൽകുന്നതിന് വിഷയ-ഘടക ബജറ്റുകൾ ഞങ്ങൾ പരിഗണിച്ചു.

വായന സെറ്റുകൾ സൃഷ്ടിക്കൽ
സൃഷ്ടിച്ച വിജ്ഞാന അടിത്തറ ഉപയോഗിച്ച്, സംഭാഷണത്തിൽ പങ്കാളികൾക്ക് നൽകുന്നതിന് തത്സമയം ഞങ്ങൾ ഒരു ജോടി വായനാ സെറ്റുകൾ നിർമ്മിക്കുന്നു. ഒരു ജോടി വായനാ സെറ്റുകളുടെ അടിസ്ഥാനം ഒരു ലേഖനമാണ്. ശേഖരിക്കപ്പെടേണ്ട ഓരോ സംഭാഷണത്തിനും, സ്വീകാര്യമായ ഒരു സംഭാഷണം ശേഖരിക്കാൻ ഇതിനകം പരമാവധി 4 തവണ ഉപയോഗിച്ചിട്ടില്ലാത്ത ഒരു ലേഖനം ഞങ്ങൾ ഞങ്ങളുടെ വിജ്ഞാന അടിത്തറയിൽ നിന്ന് ക്രമരഹിതമായി തിരഞ്ഞെടുത്തു. അതിനു ശേഷം ഞങ്ങൾ ആ ലേഖനത്തിലേക്ക് മുൻകൂട്ടി നിശ്ചയിച്ചിട്ടുള്ള കോൺഫിഗറേഷനുകളുടെ ഒരു ലിസ്റ്റിൽ നിന്ന് ക്രമരഹിതമായ ഒരു കോൺഫിഗറേഷൻ പ്രയോഗിക്കുന്നു. പങ്കാളികൾക്കിടയിൽ വ്യത്യസ്ത അളവിലുള്ള വിവര സമമിതിയോ അസമത്വമോ അടിച്ചേൽപ്പിക്കുന്നതിനാണ് കോൺഫിഗറേഷനുകൾ നിർവചിച്ചിരിക്കുന്നത്, ഇത് വൈവിധ്യമാർന്ന സംഭാഷണങ്ങളുടെ ശേഖരണത്തിലേക്ക് നയിക്കുന്നു.

അസമമായ കോൺഫിഗറേഷനുകൾ

ചിത്രം 2: കോൺഫിഗറേഷൻ എയിലെ ടർക്കറുകൾ 1, 2 എന്നിവയ്ക്കുള്ള റീഡിംഗ് സെറ്റുകൾ
കോൺഫിഗറേഷൻ എ: രണ്ട് ടർക്കറുകൾക്കും വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനവും ലേഖനത്തിലെ സംഭവങ്ങളുടെ ആവൃത്തി അനുസരിച്ച് മികച്ച 3 എന്റിറ്റികളെക്കുറിച്ചുള്ള വിക്കിപീഡിയ ലീഡ് വിഭാഗങ്ങളും ലഭിക്കും. എന്നിരുന്നാലും, ഈ സ്ഥാപനങ്ങളെക്കുറിച്ച് ഓരോരുത്തർക്കും വ്യത്യസ്തമായ രസകരമായ വസ്തുതകൾ ലഭിക്കുന്നു. ഇത് എന്റിറ്റി-ലെവൽ രസകരമായ വസ്തുതകളിൽ അസമമിതി പ്രാപ്തമാക്കുന്നു.

ചിത്രം 3: കോൺഫിഗറേഷൻ ബിയിലെ ടർക്കറുകൾ 1, 2 എന്നിവയ്ക്കുള്ള റീഡിംഗ് സെറ്റുകൾ
കോൺഫിഗ് ബി: രണ്ട് ടർക്കറുകൾക്കും വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനവും ലേഖനത്തിലെ സംഭവങ്ങളുടെ ആവൃത്തി അനുസരിച്ച് മികച്ച 4 എന്റിറ്റികളെക്കുറിച്ചുള്ള 5-3 രസകരമായ വസ്തുതകളും ലഭിക്കും. എന്നിരുന്നാലും, ഒരു ടർക്കറിന് ചുരുക്കിയ വിക്കിപീഡിയ ലീഡ് വിഭാഗങ്ങളും മറ്റൊന്നിന് ഈ എന്റിറ്റികളെക്കുറിച്ചുള്ള സംഗ്രഹിച്ച വിക്കിപീഡിയ ലീഡ് വിഭാഗങ്ങളും ലഭിക്കുന്നു. ഇത് എന്റിറ്റി-ലെവൽ വിക്കിപീഡിയ വിവരണങ്ങളിൽ അസമമിതി പ്രാപ്തമാക്കുന്നു.

സമമിതി കോൺഫിഗറേഷനുകൾ
കോൺഫിഗറേഷൻ സി: വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനത്തിലെ സംഭവങ്ങളുടെ ആവൃത്തി പ്രകാരം രണ്ട് ടർക്കറുകൾക്കും വിക്കിപീഡിയ ലീഡ് സെക്ഷനുകളും മികച്ച 4 എന്റിറ്റികളുമായി ബന്ധപ്പെട്ട 5-3 രസകരമായ വസ്തുതകളും ലഭിക്കും. എന്നിരുന്നാലും, വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനം തന്നെ ടർക്കറിനും കാണിച്ചില്ല. കോൺഫിഗറേഷൻ ഡി: രണ്ട് ടർക്കറുകൾക്കും വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനം, ചുരുക്കിയ വിക്കിപീഡിയ ലീഡ് സെക്ഷനുകൾ, ലേഖനത്തിലെ സംഭവങ്ങളുടെ ആവൃത്തി അനുസരിച്ച് മികച്ച 4 എന്റിറ്റികളുമായി ബന്ധപ്പെട്ട 5-3 രസകരമായ വസ്തുതകൾ എന്നിവ ലഭിക്കും.

സംഭാഷണ ശേഖരം
ഞങ്ങളുടെ ഹ്യൂമൻ ഇന്റലിജൻസ് ടാസ്‌ക്കുകൾ (HITs എന്നും അറിയപ്പെടുന്നു) ഏറ്റെടുക്കുന്ന മെക്കാനിക്കൽ ടർക്കിലെ യോഗ്യരായ തൊഴിലാളികളെ പങ്കാളികളാക്കി, വായിക്കാനും തത്ഫലമായി ചാറ്റ് ചെയ്യാനും വിഷയപരമായ വായനാ സെറ്റുകൾ നൽകുന്നു. റഫറൻസിനായി സംഭാഷണത്തിനിടയിൽ, ചാറ്റ് വിൻഡോയ്ക്ക് സമീപമുള്ള ടർക്ക്-എർസ് സ്ക്രീനുകളിലും റീഡിംഗ് സെറ്റുകൾ പ്രദർശിപ്പിക്കും. ഒരു എന്റിറ്റി E1 നെക്കുറിച്ചുള്ള എല്ലാ വിവരങ്ങളും (ചുരുക്കി/സംഗ്രഹിച്ച വിക്കിപീഡിയ ലീഡ് സെക്ഷനുകളും രസകരമായ വസ്തുതകളും) വസ്തുതാ വിഭാഗം 1 എന്ന പേരിൽ ഒരു ഗ്രൂപ്പായി പ്രദർശിപ്പിച്ചിരിക്കുന്നു. E1, E2, E3 എന്നീ എന്റിറ്റികളെക്കുറിച്ചുള്ള വാഷിംഗ്ടൺ പോസ്റ്റ് ലേഖനം 4 സമാന വലുപ്പത്തിലുള്ള വിഭാഗങ്ങളായി തിരിച്ചിരിക്കുന്നു, അവ പ്രദർശിപ്പിക്കും. ആർട്ടിക്കിൾ സെക്ഷൻ 1-4 എന്ന തലക്കെട്ടുകൾക്കൊപ്പം. ഞങ്ങളുടെ സംഭാഷണങ്ങളിൽ പരിചയസമ്പന്നരായ ടർക്കറുകൾ ഉൾപ്പെട്ടിട്ടുണ്ടെന്ന് ഉറപ്പാക്കിക്കൊണ്ട്, അവരുടെ മുൻകാല അംഗീകൃത HIT-കളും അംഗീകാര നിരക്കുകളും യഥാക്രമം കുറഞ്ഞത് 1000 ഉം 99% ഉം ആണെങ്കിൽ ടർക്കറുകൾ ഞങ്ങളുടെ HIT-കൾക്ക് യോഗ്യത നേടുന്നു. സംഭാഷണങ്ങൾ ശേഖരിക്കാൻ ഞങ്ങൾ ParlAI [16] ചട്ടക്കൂടിന്റെ ഒരു ഇഷ്‌ടാനുസൃത പതിപ്പ് ഉപയോഗിച്ചു.

കുറഞ്ഞത് 20 തിരിവുകളെങ്കിലും സംഭാഷണം നടത്തിയിട്ടുണ്ടെങ്കിൽ മാത്രമേ പങ്കാളി ടർക്കർമാരെ അവരുടെ സംഭാഷണം സമർപ്പിക്കാൻ ഞങ്ങൾ അനുവദിക്കൂ. ഒരു സംഭാഷണത്തിനിടയിലെ ഓരോ തിരിവിലും, അവർ അവരുടെ പങ്കാളിയുടെ പ്രതികരണത്തിനായി കാത്തിരിക്കുമ്പോൾ, ഞങ്ങൾ ഓരോ പങ്കാളിയും ആവശ്യപ്പെടുന്നു: അവരുടെ സന്ദേശത്തിന്റെ വികാരം 8 പോയിന്റ് സ്കെയിലിൽ വ്യാഖ്യാനിക്കുക (കോപം, വെറുപ്പ്, ഭയം, സങ്കടം, സന്തോഷം, ആശ്ചര്യം, ജിജ്ഞാസ ഡൈവ് ഡീപ്പർ, ന്യൂട്രൽ), അവരുടെ സന്ദേശം സൃഷ്ടിക്കാൻ ഉപയോഗിക്കുന്ന വിജ്ഞാന ഉറവിടം വ്യക്തമാക്കുക (വസ്തുത വിഭാഗം 1-3, ലേഖന വിഭാഗം 1-4 കൂടാതെ/അല്ലെങ്കിൽ വ്യക്തിഗത അറിവ്) കൂടാതെ അവരുടെ പങ്കാളിയുടെ മുൻ സന്ദേശത്തിന്റെ ഗുണനിലവാരം 5-പോയിന്റ് സ്കെയിലിൽ റേറ്റുചെയ്യുക (മോശം , നല്ലതല്ല, കടന്നുപോകാവുന്നത്, നല്ലതും മികച്ചതും). ഒരു സംഭാഷണത്തിന്റെ അവസാനം, സംഭാഷണത്തിന്റെ ഗുണനിലവാരം ഒരേ 5-പോയിന്റ് സ്കെയിലിൽ റേറ്റുചെയ്യാൻ ഞങ്ങൾ രണ്ട് പങ്കാളികളോടും ആവശ്യപ്പെടുന്നു.

മാനുവലിന് റെ മിശ്രിതത്തെയാണ് ഞങ്ങൾ ആശ്രയിച്ചത്viewഞങ്ങൾ ശേഖരിക്കുന്ന സംഭാഷണങ്ങൾ സ്വീകാര്യമാണെന്ന് ഉറപ്പാക്കാൻ ing, ഓട്ടോമേറ്റഡ് പരിശോധനകൾ. ഓട്ടോമേറ്റഡ് ചെക്കുകളിൽ കമ്പ്യൂട്ടിംഗും ഞങ്ങളുടെ ഗുണനിലവാര മെട്രിക്‌സ് ട്യൂൺ ചെയ്‌ത പരിധിക്ക് മുകളിലാണെന്ന് പരിശോധിച്ചുറപ്പിക്കുന്നതും ഉൾപ്പെടുന്നു. ഉയർന്ന നിലവാരമുള്ള സംഭാഷണങ്ങൾ നടത്തിയ ടർക്കർമാർക്ക് ബോണസ് നൽകി. ഞങ്ങളുടെ ഡാറ്റാസെറ്റിനെക്കുറിച്ചുള്ള സ്ഥിതിവിവരക്കണക്കുകൾ പട്ടിക 2-ൽ കാണിച്ചിരിക്കുന്നു. മൂല്യനിർണ്ണയത്തിന്റെയും ടെസ്റ്റ് സെറ്റിന്റെയും രണ്ട് പതിപ്പുകൾ ഞങ്ങൾ സൃഷ്ടിച്ചു: പതിവ്, അപൂർവ്വം, [5] ന് സമാനമാണ്. പതിവ് സെറ്റിൽ പരിശീലന സെറ്റിൽ പതിവായി കാണുന്ന എന്റിറ്റികൾ അടങ്ങിയിരിക്കുന്നു, അതേസമയം അപൂർവ സെറ്റിൽ പരിശീലന സെറ്റിൽ അപൂർവ്വമായി അല്ലെങ്കിൽ ഒരിക്കലും കാണാത്ത എന്റിറ്റികൾ അടങ്ങിയിരിക്കുന്നു. വായനാ സെറ്റുകളുടെ രൂപകൽപ്പന പ്രകാരം ഒരു സംഭാഷണത്തിന് ഒന്നിലധികം എന്റിറ്റികളുടെ സാന്നിധ്യം [5] ൽ നിന്ന് വ്യത്യസ്തമായി ഞങ്ങളുടെ ഡാറ്റാസെറ്റിന്റെ ഒരു മികച്ച എന്റിറ്റി-ലെവൽ വിഭജനം നടത്തുന്നത് ബുദ്ധിമുട്ടാക്കി, ഓരോ സംഭാഷണവും ഒരൊറ്റ എന്റിറ്റിയുമായി ബന്ധപ്പെട്ടിരിക്കുന്നതിനാൽ ഇത് വളരെ എളുപ്പമാണ്. (അവരുടെ പേപ്പറിലെ ഒരു വിഷയമായി സൂചിപ്പിച്ചിരിക്കുന്നു). ഞങ്ങളുടെ ഡാറ്റാസെറ്റ് വിഭജിക്കാൻ ഉപയോഗിക്കുന്ന സമീപനം ഈ പേപ്പറിന്റെ വിപുലീകൃത പതിപ്പിൽ നൽകും.

മോഡലുകൾ

നമുക്ക് ഒരു ഭാഗിക സംഭാഷണം സൂചിപ്പിക്കാം Cj = [x1, . . . , xj ], ഇവിടെ 1 ≤ i ≤ j, xi എന്നത് സംഭാഷണത്തിലെ തിരി ആണ്. ഞങ്ങളുടെ സംഭാഷണ ചരിത്രത്തെ Hj = x1 ⊕· · ·⊕xj എന്ന് സൂചിപ്പിക്കുന്നു, ഇത് Cj ലെ എല്ലാ ടോക്കണുകളുടെയും പരന്ന ശ്രേണിയാണ്. xj+1, j + 1 ടേണിലെ ഗ്രൗണ്ട്-ട്രൂത്ത് പ്രതികരണം, എല്ലാ മോഡലുകൾക്കും പ്രവചിക്കേണ്ട ഞങ്ങളുടെ ലക്ഷ്യ ശ്രേണിയാണ്. ടേൺ j + 1 ആയി R ആയി ബന്ധപ്പെട്ട ടർക്കറുമായി ബന്ധപ്പെട്ട റീഡിംഗ് സെറ്റിനെ സൂചിപ്പിക്കുക, അത് ഞങ്ങൾ വിജ്ഞാന കാൻഡിഡേറ്റ് വാക്യങ്ങളുടെ ഒരു ശ്രേണിയിലേക്ക് ടോക്കണൈസ് ചെയ്യുന്നു [ki], i = 1, . . . , NR. K എന്ന വിജ്ഞാന വാക്യത്തിനായുള്ള വെട്ടിച്ചുരുക്കൽ പാരാമീറ്ററായി WK യെ സൂചിപ്പിക്കുക, K-ൽ തുടക്കം മുതൽ ഏറ്റവും കൂടുതൽ WK ടോക്കണുകൾ നിലനിർത്തുന്നു. H-ൽ അവസാനം മുതൽ ഏറ്റവും കൂടുതൽ WH ടോക്കണുകൾ നിലനിർത്തുന്ന ഒരു സംഭാഷണ ചരിത്രത്തിന്റെ H-യുടെ വെട്ടിച്ചുരുക്കൽ പാരാമീറ്ററായി WH യെ സൂചിപ്പിക്കുന്നു.

ട്രാൻസ്ഫോർമർ
(Hj, xj+1) ജോഡികളുള്ള ഒരു ട്രാൻസ്ഫോർമർ ഞങ്ങൾ പരിശീലിപ്പിക്കുന്നു. അനുമാന സമയത്ത്, ഇത് ഒരു സംഭാഷണ ചരിത്രം എച്ച് നൽകിയ പ്രതികരണം ഡീകോഡ് ചെയ്യുന്നു.

അറിവുള്ള ട്രാൻസ്ഫോർമർ
Hj ഉം [ki] ൽ നിന്നുള്ള kˆ എന്ന തിരഞ്ഞെടുത്ത വാക്യവും പങ്കിട്ട ട്രാൻസ്‌ഫോർമർ ഉപയോഗിച്ച് എൻകോഡ് ചെയ്‌ത്, സംയോജിപ്പിച്ച് ട്രാൻസ് ഫോർമർ ഡീകോഡറിലേക്ക് കൈമാറുന്നു. ഗ്രൗണ്ട്-ട്രൂത്ത് പ്രതികരണത്തിന്റെ അഭാവത്തിൽ അറിവ് തിരഞ്ഞെടുക്കൽ xj+1 ഒരു തുറന്ന പ്രശ്നമാണ്. ഇനിപ്പറയുന്ന രീതിയിൽ kˆ തിരഞ്ഞെടുക്കുന്നതിന് ഞങ്ങൾ നിലവിൽ argmax ഒറാക്കിളിൽ xj+1 ഉപയോഗിക്കുന്നു:

xj+1, ki എന്നിവ xj+1, ki എന്നിവയ്‌ക്കുള്ള TF-IDF വെക്‌റ്ററുകളാണ്. ടോപ്പിക്കൽ-ചാറ്റിലെ എല്ലാ റീഡിംഗ് സെറ്റുകളും വാക്യം-ടോക്കണൈസ് ചെയ്തും ഓരോ വാക്യവും ഒരു ഡോക്യുമെന്റായി കണക്കാക്കിയാണ് TF-IDF വെക്‌ടറൈസർ പഠിക്കുന്നത്.

ചിത്രം 4: അറിവുള്ള ട്രാൻസ്ഫോർമർ

പരീക്ഷണങ്ങൾ

എല്ലാ മോഡലുകളും ParlAI ഉപയോഗിച്ചാണ് പരിശീലിപ്പിച്ചത് [16]. ഞങ്ങളുടെ ട്രാൻസ്‌ഫോർമറിൽ രണ്ട് ശ്രദ്ധാകേന്ദ്രങ്ങളുള്ള രണ്ട് ലെയറുകളും ഡ്രോപ്പ്ഔട്ട് 300 ഉള്ള 0.2 ഫീഡ് ഫോർവേഡ് ഹിഡൻ ലെയറും അടങ്ങിയിരിക്കുന്നു. പരിശീലന സമയത്ത് പഠിക്കുന്ന 300-ഡൈമൻഷണൽ വേഡ് എംബെഡിംഗുകൾ ഞങ്ങൾ ക്രമരഹിതമായി ആരംഭിച്ചു. വൺ-ഹോട്ട് വെക്‌ടറുകൾ ഉപയോഗിച്ച് ഞങ്ങൾ പൊസിഷണൽ എംബെഡിംഗുകളും എൻ-കോഡ് പൊസിഷനും പഠിക്കുന്നില്ല. ഞങ്ങൾ 32 ബാച്ച് സൈസ് ഉപയോഗിക്കുന്നു, 0.1 ഗ്രേഡിയന്റ് ക്ലിപ്പ് ഉപയോഗിച്ച് ഒപ്റ്റിമൈസേഷനായി സ്‌റ്റോക്കാസ്റ്റിക് ഗ്രേഡിയന്റ് ഡിസെന്റ്, ക്ഷമയോടെ 0.5 ലേണിംഗ് റേറ്റ് ഷെഡ്യൂളർ ഡീകേയ് 3. മൂല്യനിർണ്ണയ പതിവ് സെറ്റിലെ ആശയക്കുഴപ്പം 10 യുഗങ്ങളായി കുറയാത്തപ്പോൾ ഞങ്ങൾ പരിശീലനം നിർത്തുന്നു. ഡീകോഡിംഗിനായി ഞങ്ങൾ 5 ബീം വലുപ്പമുള്ള ബീം തിരയൽ ഉപയോഗിക്കുന്നു.
ടോക്കണുകളുടെ ഒരു സന്ദർഭ ജാലകം നൽകി അടുത്ത ടോക്കണിന്റെ ലോഗ്-സാധ്യത പരമാവധി വർദ്ധിപ്പിക്കുക എന്ന ലാംഗ്വേജ് മോഡലിംഗ് ലക്ഷ്യം ഉപയോഗിച്ച് BookCorpus [17]-ൽ ട്രാൻസ്ഫോർമറിനെ മുൻകൂട്ടി പരിശീലിപ്പിക്കുന്നതും ഞങ്ങൾ പരീക്ഷിച്ചു [18]. പ്രീ-ട്രെയിനിംഗ് സമയത്ത് ഞങ്ങൾ ബൈറ്റ്-പെയർ എൻകോഡിംഗ് (BPE) [19] ഉപയോഗിക്കുന്നു (പദാവലി വലുപ്പം 37758). പ്രീ-ട്രെയിനിംഗ് അല്ലാത്തപ്പോൾ, ഞങ്ങൾ BPE ഉപയോഗിക്കുന്നില്ല (പദാവലി വലുപ്പം 49957).

ഫലങ്ങൾ

സംക്ഷിപ്തതയ്‌ക്കായി ഞങ്ങൾ മോഡലുകൾക്കായി ഇനിപ്പറയുന്ന ചുരുക്കെഴുത്തുകൾ ഉപയോഗിക്കുന്നു: TF = ട്രാൻസ്‌ഫോർമർ, w/ pt = പ്രീ-ട്രെയിനിംഗിനൊപ്പം, w/ k. =

പട്ടിക 2: വിഷയ-ചാറ്റ് സംഭാഷണ സ്ഥിതിവിവരക്കണക്കുകൾ

വിഷയപരമായ-ചാറ്റ്	കോൺഫിഗറേഷൻ	ട്രെയിൻ	സാധുവായ ആവൃത്തി.	സാധുവായ അപൂർവ്വം	ടെസ്റ്റ് ആവൃത്തി.	ടെസ്റ്റ് അപൂർവ്വം
സംഭാഷണങ്ങളുടെ എണ്ണം	A ബി.സി.ഡി	2199 2114 2259 2486	141 144 150 130	127 138 143 158	131 141 125 168	136 154 139 136
	ആകെ	9058	565	566	565	565
ഉച്ചാരണങ്ങളുടെ എണ്ണം	A ബി.സി.ഡി	48022 46098 49705 54481	3083 3177 3248 2859	2792 3066 3237 3445	2875 3116 2737 3735	2955 3348 3012 3023
	ആകെ	198306	12367	12540	12463	12338
ഒരു സംഭാഷണത്തിലെ തിരിവുകളുടെ ശരാശരി എണ്ണം	A ബി.സി.ഡി	21.8 21.8 22.0 21.9	21.8 22.0 21.6 22.0	22.0 22.2 22.6 21.8	21.9 22.1 21.9 22.2	21.7 21.7 21.7 22.2
	ആകെ	21.9	21.9	22.1	22.0	21.8
ഉച്ചാരണത്തിന്റെ ശരാശരി ദൈർഘ്യം	A ബി.സി.ഡി	19.7 19.7 19.6 19.7	19.9 20.1 20.1 19.2	20.2 19.0 19.1 19.6	19.4 19.1 20.0 20.0	19.4 20.2 19.9 20.0
	ആകെ	19.7	19.8	19.8	19.6	19.9

അറിവോടെ. വിജ്ഞാനം ഉപയോഗിക്കുമ്പോൾ ഞങ്ങൾ ഒരു വലിയ WK = 128 ഉപയോഗിച്ചു, മിക്ക വിജ്ഞാന വാക്യങ്ങൾക്കും 128-ൽ താഴെ ടോക്കണുകൾ ഉള്ളതിനാൽ ഞങ്ങളുടെ ക്രമീകരണത്തിൽ പാരാമീറ്റർ അപ്രസക്തമാക്കുന്നു. ഉചിതമായ WH തീരുമാനിക്കുന്നതിന്, വ്യത്യസ്ത WH-നൊപ്പം അറിവ് ഉപയോഗിക്കുന്ന ഒരു ട്രാൻസ്‌ഫോർമർ പരിശീലിപ്പിക്കാൻ ഞങ്ങൾ ശ്രമിച്ചു, താഴെ വിവരിച്ചിരിക്കുന്ന ഓട്ടോമേറ്റഡ് മെട്രിക്‌സിൽ അവയെ വിലയിരുത്തി (പട്ടിക 5). WH = 32 മികച്ച രീതിയിൽ പ്രവർത്തിക്കുന്നുവെന്ന് ഞങ്ങൾ നിരീക്ഷിക്കുന്നു. ഒരു വലിയ WH ഉപയോഗിക്കുമ്പോൾ ഡയലോഗ് സന്ദർഭത്തിൽ പ്രധാനപ്പെട്ട ടോക്കണുകളിൽ പങ്കെടുക്കാനുള്ള ഞങ്ങളുടെ വിജ്ഞാന മോഡലിന്റെ കഴിവില്ലായ്മയാണ് ഇത് പ്രതിഫലിപ്പിക്കുന്നതെന്ന് ഞങ്ങൾ വിശ്വസിക്കുന്നു. തൽഫലമായി, ഞങ്ങൾ പട്ടികകൾ 32, 3 എന്നിവയിൽ WH = 4 ഉപയോഗിച്ചു.

സ്വയമേവയുള്ള മൂല്യനിർണ്ണയത്തിനായി, ആശയക്കുഴപ്പം (PPL), ഗ്രൗണ്ട്-ട്രൂത്ത് പ്രതികരണത്തോടുകൂടിയ മോഡൽ പ്രവചനത്തിന്റെ യൂണിഗ്രാം F1, n-ഗ്രാം വൈവിധ്യം (Div.) [8] എന്നിങ്ങനെയുള്ള അളവുകൾ ഞങ്ങൾ പരിഗണിക്കുന്നു. പട്ടിക 3-ൽ, ഞങ്ങളുടെ എല്ലാ മോഡലുകൾക്കും ഉയർന്ന യൂണിഗ്രാമും ബിഗ്രാം വൈവിധ്യവും ഉണ്ടെന്ന് ഞങ്ങൾ നിരീക്ഷിക്കുന്നു, മോഡലുകൾ നിഘണ്ടുവിൽ വിവരദായകവും വൈവിധ്യപൂർണ്ണവുമായ പ്രതികരണങ്ങൾ ഡീകോഡ് ചെയ്യാൻ പഠിക്കുന്നുവെന്ന് തെളിയിക്കുന്നു. അറിവ് ഉപയോഗിക്കുമ്പോൾ യുണിഗ്രാം എഫ് 1 ലെ മെച്ചവും പിപിഎലിന്റെ വർദ്ധനവും ഞങ്ങൾ നിരീക്ഷിക്കുന്നു.

{Cj, kˆ, [rc]}, c = 150 എന്നിവ ഉൾപ്പെടുന്ന 1 മൂല്യനിർണ്ണയ സ്‌നിപ്പെറ്റുകൾ ആദ്യം സൃഷ്‌ടിച്ച് ഞങ്ങൾ ഞങ്ങളുടെ മോഡലുകളുടെ മാനുഷിക മൂല്യനിർണ്ണയം നടത്തി. . . N, ഇവിടെ [rc] എന്നത് N പ്രതികരണങ്ങളുടെ ഒരു കൂട്ടമാണ് (പരിശീലനം ലഭിച്ച മോഡലുകളിൽ നിന്നുള്ള N−1, ഒരു ഗ്രൗണ്ട്-ട്രൂത്ത് പ്രതികരണം xj+1) ഒരു ഭാഗിക സംഭാഷണം Cj നൽകി തിരഞ്ഞെടുത്ത വാക്യം kˆ. ഓരോ സ്‌നിപ്പെറ്റിനും യോജിച്ച ഭാഗിക സംഭാഷണം, ടോപ്പിക്കൽ-ചാറ്റ് ടെസ്‌റ്റ് ഫ്രീക്വെന്റ് സെറ്റിലെ ഒരു വ്യതിരിക്ത സംഭാഷണത്തിൽ നിന്നാണ് വന്നത്. ഓരോ സ്‌നിപ്പെറ്റിലെയും ഓരോ ആർ‌സിക്കും, ആർ‌സി മനസ്സിലാക്കാവുന്നതാണോ (20/21), വിഷയത്തിൽ (0/1) രസകരമാണോ (0/1) [0, 1] (പരാന്തീസിസിലെ സാധ്യമായ മൂല്യങ്ങൾ) വെവ്വേറെ വ്യാഖ്യാനിക്കാൻ ഞങ്ങൾ രണ്ട് മനുഷ്യരോട് ആവശ്യപ്പെട്ടു. .

rc (0-3)-ൽ kˆ എത്രത്തോളം ഫലപ്രദമായി ഉപയോഗിക്കപ്പെടുന്നുവെന്നും rc (0/1) ന് ശേഷം സംഭാഷണം തുടരാൻ അവർക്ക് താൽപ്പര്യമുണ്ടോ എന്നും വ്യാഖ്യാനിക്കാനും ഞങ്ങൾ അവരോട് ആവശ്യപ്പെട്ടു. കരാറിന്റെ വിശ്വാസ്യതയുടെ അളവുകോലുകളായി ഞങ്ങൾ ബൈനറിക്ക് കോഹന്റെ കപ്പയും നാമമാത്ര സ്കെയിൽ വ്യാഖ്യാനങ്ങൾക്ക് ഫ്ലീസിന്റെ കപ്പയും കണക്കാക്കുകയും രസകരമായ (0.29) മോശം കരാർ നിരീക്ഷിക്കുകയും സംഭാഷണം തുടരുകയും ചെയ്തു (0.27). തൽഫലമായി, പട്ടിക 4-ൽ ഉയർന്ന യോജിപ്പുള്ള പാരാമീറ്ററുകൾക്കായി ഞങ്ങൾ ശരാശരി വ്യാഖ്യാന സ്‌കോറുകൾ സംഗ്രഹിക്കുകയും റിപ്പോർട്ടുചെയ്യുകയും ചെയ്യുന്നു. സംക്ഷിപ്‌തതയ്‌ക്കായി ഞങ്ങൾ ഇനിപ്പറയുന്ന ചുരുക്കെഴുത്തുകൾ ഉപയോഗിക്കുന്നു: comprehensible = comp., on-topic = ot, leverage knowledge = lk എല്ലാ മോഡലുകളും ആണെന്ന് ഞങ്ങൾ നിരീക്ഷിക്കുന്നു. കൂടുതലും മനസ്സിലാക്കാവുന്ന പ്രതികരണങ്ങൾ സൃഷ്ടിക്കാൻ റേറ്റുചെയ്‌തിരിക്കുന്നു, അറിവ് ഉൾക്കൊള്ളുന്ന മോഡലുകൾ കുറച്ച് ഫലപ്രദമായി എങ്കിലും, അവയെ സ്വാധീനിക്കുന്ന പ്രതികരണങ്ങൾ സൃഷ്ടിക്കുന്നതിന് റേറ്റുചെയ്യുന്നു.

പട്ടിക 3: ടെസ്റ്റ് സെറ്റിലെ ഓട്ടോമേറ്റഡ് മെട്രിക്‌സ് (പതിവ്/അപൂർവ്വം)

പട്ടിക 4: 150 ടെസ്റ്റ് ആവൃത്തിക്കുള്ള മനുഷ്യ മൂല്യനിർണ്ണയ മെട്രിക്‌സ്. സ്നിപ്പെറ്റുകൾ

പട്ടിക 5: ടെസ്റ്റ് ആവൃത്തിയിൽ TF-ന് (w/ k.) വ്യത്യാസപ്പെടുന്ന WH-ന്റെ പ്രഭാവം.

ഉപസംഹാരം

സംഭാഷണ പങ്കാളികൾക്കായി വ്യക്തമായ റോളുകളില്ലാതെയും സംഭാഷണങ്ങളിലെ പരിവർത്തനങ്ങളോടൊപ്പം വിഷയപരമായ കവറേജിന്റെ ആഴവും പരപ്പും അടങ്ങുന്നതുമായ ഒരു ഓപ്പൺ-ഡൊമെയ്‌ൻ വിജ്ഞാന-അടിസ്ഥാന സംഭാഷണ ഡാറ്റാസെറ്റായ ടോപ്പിക്കൽ-ചാറ്റ് ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. പ്രതികരണം സൃഷ്ടിക്കുന്നതിനായി ഞങ്ങൾ ലളിതമായ ട്രാൻസ്ഫോർമർ അധിഷ്‌ഠിത മോഡലുകളെ പരിശീലിപ്പിക്കുകയും ബെഞ്ച്മാർക്കിംഗിനായി ഓട്ടോമേറ്റഡ് മെട്രിക്‌സ് ഉപയോഗിച്ച് അവയെ വിലയിരുത്തുകയും ചെയ്യുന്നു. ഈ മോഡലുകളുടെ മാനുഷിക മൂല്യനിർണ്ണയത്തിലൂടെ ഞങ്ങൾ ഗുണപരമായ മൂല്യത്തിന്റെ തെളിവുകളും നൽകുന്നു. ടോപ്പിക്കൽ-ചാറ്റിന്റെ റിലീസ് ഓപ്പൺ-ഡൊമെയ്‌ൻ വിജ്ഞാന-അടിസ്ഥാന സംഭാഷണ AI-യിൽ ഡാറ്റാധിഷ്ഠിത ഗവേഷണത്തെ പ്രോത്സാഹിപ്പിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

1മനുഷ്യ മൂല്യനിർണ്ണയത്തിനായി ഉപയോഗിക്കുന്ന മോഡലുകൾ പരിശീലന സെറ്റിന്റെ ഒരു ഉപവിഭാഗത്തിൽ പരിശീലിപ്പിച്ചു.

റഫറൻസുകൾ

1. J. Weizenbaum et al., "എലിസ-മനുഷ്യനും യന്ത്രവും തമ്മിലുള്ള സ്വാഭാവിക ഭാഷാ ആശയവിനിമയം പഠിക്കുന്നതിനുള്ള ഒരു കമ്പ്യൂട്ടർ പ്രോഗ്രാം"
   ACM-ന്റെ ആശയവിനിമയങ്ങൾ, വാല്യം. 9, നമ്പർ. 1, പേജ്. 36–45, 1966.
2. O. Vinyals, Q. Le, "A neural conversational model", arXiv preprint arXiv:1506.05869, 2015.
3. ഹ്യൂമൻ ലാംഗ്വേജ് ടെക്‌നോളജീസ്: അസോസിയേഷൻ ഫോർ കമ്പ്യൂട്ടേഷണൽ ലിംഗ്വിസ്റ്റിക്‌സിന്റെ നോർത്ത് അമേരിക്കൻ ചാപ്റ്ററിന്റെ 2010-ലെ വാർഷിക സമ്മേളനം എ. റിട്ടർ, സി. ചെറി, ബി. ഡോളൻ, "ട്വിറ്റർ സംഭാഷണങ്ങളുടെ മേൽനോട്ടമില്ലാത്ത മോഡലിംഗ്". അസോസിയേഷൻ ഫോർ കമ്പ്യൂട്ടേഷണൽ ലിംഗ്വിസ്റ്റിക്സ്, 2010, പേജ് 172–180.
4. എ. വസ്വനി, എൻ. ഷസീർ, എൻ. പാർമർ, ജെ. ഉസ്‌കൊറെയ്റ്റ്, എൽ. ജോൺസ്, എ.എൻ. ഗോമസ്, എൽ. കൈസർ, I. Polosukhin, "ശ്രദ്ധ മാത്രം മതി," ന്യൂറൽ ഇൻഫർമേഷൻ പ്രോസസ്സിംഗ് സിസ്റ്റങ്ങളിൽ അഡ്വാൻസസ്, 2017, pp. 5998–6008.
5. ഇ. ദിനൻ, എസ്. റോളർ, കെ. ഷസ്റ്റർ, എ. ഫാൻ, എം. ഔലി, ജെ. വെസ്റ്റൺ, “വിസാർഡ് ഓഫ് വിക്കിപീഡിയ: വിജ്ഞാനം നൽകുന്ന സംഭാഷണ ഏജന്റുകൾ,” arXiv പ്രീപ്രിന്റ് arXiv:1811.01241, 2018.
6. K. Zhou, S. Prabhumoye, AW Black എന്നിവർ, "രേഖാ അടിസ്ഥാനത്തിലുള്ള സംഭാഷണങ്ങൾക്കായുള്ള ഒരു ഡാറ്റാസെറ്റ്," arXiv പ്രീപ്രിന്റ് arXiv:1809.07358, 2018.
7. എൻ. മോഗെ, എസ്. അറോറ, എസ്. ബാനർജി, എം.എം. ഖപ്ര എന്നിവർ, “സംഭാഷണ സംവിധാനങ്ങൾ നിർമ്മിക്കുന്നതിന് പശ്ചാത്തല അറിവ് ചൂഷണം ചെയ്യുന്നതിനായി,” 2018.
8. എം. ഗസ്വിനിനെജാദ്, സി. ബ്രോക്കറ്റ്, എം.-ഡബ്ല്യു. ചാങ്, ബി. ഡോലൻ, ജെ. ഗാവോ, ഡബ്ല്യു-ടി. 2018-ലെ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് സംബന്ധിച്ച മുപ്പത്തിരണ്ടാം AAAI കോൺഫറൻസിൽ Yih ഉം M. Galley-യും "വിജ്ഞാനത്തിന്റെ അടിസ്ഥാനത്തിലുള്ള ഒരു ന്യൂറൽ സംഭാഷണ മാതൃക".
9. H. Zhou, T. Young, M. Huang, H. Zhao, J. Xu, X. Zhu, "കോമൺസെൻസ് അറിവ് ബോധവൽക്കരണം സംഭാഷണം സൃഷ്ടിക്കൽ ഗ്രാഫ് ശ്രദ്ധയോടെ." IJCAI-ൽ, 2018, പേജ്. 4623–4629.
10. JE വെസ്റ്റൺ, "ഡയലോഗ് അടിസ്ഥാനമാക്കിയുള്ള ഭാഷാ പഠനം," അഡ്വാൻസസ് ഇൻ ന്യൂറൽ ഇൻഫർമേഷൻ പ്രോസസ്സിംഗ് സിസ്റ്റംസ്, 2016, പേജ് 829–837.
11. എം. ലൂയിസ്, ഡി. യാരറ്റ്‌സ്, വൈ.എൻ. ഡൗഫിൻ, ഡി. പരീഖ്, ഡി. ബത്ര, “ഡീൽ അല്ലെങ്കിൽ നോ ഡീൽ? ചർച്ചാ ഡയലോഗുകൾക്കുള്ള എൻഡ്-ടു-എൻഡ് ലേണിംഗ്,” arXiv preprint arXiv:1706.05125, 2017.
12. S. Zhang, E. Dinan, J. Urbanek, A. Szlam, D. Kiela, J. Weston, "വ്യക്തിഗതമാക്കൽ ഡയലോഗ് ഏജന്റുമാർ: എനിക്ക് ഒരു നായയുണ്ട്, നിങ്ങൾക്ക് വളർത്തുമൃഗങ്ങളുണ്ടോ?" അസോസിയേഷൻ ഫോർ കമ്പ്യൂട്ടേഷണൽ ലിംഗ്വിസ്റ്റിക്‌സിന്റെ 56-ാമത് വാർഷിക മീറ്റിംഗിന്റെ നടപടികളിൽ (വാല്യം 1: ലോംഗ് പേപ്പറുകൾ), 2018, പേജ്. 2204–2213.
13. സി.ഖാത്രി, ബി. ഹെഡയാത്‌നിയ, എ. വെങ്കിടേഷ്, ജെ. നൺ, വൈ.പാൻ,
    ക്യു. ലിയു, എച്ച്. സോംഗ്, എ. ഗോട്ടാർഡി, എസ്. ക്വാത്ര, എസ്. പഞ്ചോളി, എം. ചെങ്,
    ക്യു. ചെൻ, എൽ. സ്റ്റുബെൽ, കെ. ഗോപാലകൃഷ്ണൻ, കെ. ബ്ലാൻഡ്, ആർ. ഗബ്രിയേൽ, എ. മണ്ഡൽ, ഡി. ഹക്കാനി-ടൂർ, ജി. ഹ്വാങ്, എൻ. മിഷേൽ, ഇ. കിംഗ്, ആർ. പ്രസാദ്, “ അലക്‌സാ സമ്മാനം വഴി ഓപ്പൺ ഡൊമെയ്‌ൻ ഡയലോഗ് സിസ്റ്റങ്ങളിൽ അത്യാധുനിക പുരോഗതി”, അലക്‌സാ പ്രൈസ് പ്രൊസീഡിങ്ങിൽ (https://developer.amazon.com/alexaprize/challenges/past-challenges/2018/), 2018.
14. Reddit, "r/todayilarned," https://www.reddit.com/r/todayilearned/.
15. R. Mihalcea, P. Tarau, "ടെക്‌സ്‌ട്രാങ്ക്: ടെക്‌സ്‌റ്റിലേക്ക് ക്രമം കൊണ്ടുവരുന്നു", 2004 ലെ നാച്ചുറൽ ലാംഗ്വേജ് പ്രോസസ്സിംഗിലെ അനുഭവപരമായ രീതികളെക്കുറിച്ചുള്ള 2004 കോൺഫറൻസിൽ.
16. എ.എച്ച് മില്ലർ, ഡബ്ല്യു. ഫെങ്, എ. ഫിഷ്, ജെ. ലു, ഡി. ബത്ര, എ. ബോർഡ്സ്,
    ഡി. പരീഖ്, ജെ. വെസ്റ്റൺ, “പർലൈ: എ ഡയലോഗ് റിസർച്ച് സോഫ്റ്റ്‌വെയർ പ്ലാറ്റ്‌ഫോം,” arXiv പ്രീപ്രിന്റ് arXiv:1705.06476, 2017.
17. ബുക്ക്കോർപ്പസ്, https://github.com/soskek/bookcorpus/.
18. എ. റാഡ്‌ഫോർഡ്, കെ. നരസിംഹൻ, ടി. സാലിമാൻ, ഒപ്പം
    I. സറ്റ്‌സ്‌കേവർ, "ജനറേറ്റീവ് പ്രീ-ട്രെയിനിംഗ് വഴി ഭാഷാ ഗ്രാഹ്യം മെച്ചപ്പെടുത്തൽ"
    URL https://s3-us-west-2.amazonaws.com/openai-assets/researchcovers/languageunsupervised/
    ഭാഷ മനസ്സിലാക്കുന്നതിനുള്ള പേപ്പർ.പിഡിഎഫ്, 2018.
19. R. Sennrich, B. Haddow, A. Birch, "സബ്വേഡ് യൂണിറ്റുകളുള്ള അപൂർവ വാക്കുകളുടെ ന്യൂറൽ മെഷീൻ വിവർത്തനം," arXiv പ്രീപ്രിന്റ് arXiv:1508.07909, 2015.
20. എ. വെങ്കിടേഷ്, സി. ഖത്രി, എ. റാം, എഫ്. ഗുവോ, ആർ. ഗബ്രിയേൽ, എ. നഗർ,
    ആർ. പ്രസാദ്, എം. ചെങ്, ബി. ഹെഡയാത്‌നിയ, എ. മെറ്റാലിനൂ, ആർ. ഗോയൽ,
    എസ്. യാങ്, എ. രാജു, "ഓപ്പൺ ഡു-മെയിൻ ഡയലോഗ് സിസ്റ്റങ്ങൾ വിലയിരുത്തുന്നതിനും താരതമ്യം ചെയ്യുന്നതിനും" 2018.
21. എ. സീ, എസ്. റോളർ, ഡി. കീല, ജെ. വെസ്റ്റൺ, “എന്താണ് നല്ല സംഭാഷണം ഉണ്ടാക്കുന്നത്? നിയന്ത്രിക്കാവുന്ന ആട്രിബ്യൂട്ടുകൾ മനുഷ്യ വിധികളെ എങ്ങനെ ബാധിക്കുന്നു,” 2019.

റഫറൻസുകൾ

• ഉപയോക്തൃ മാനുവൽ