intel LOGO

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi

leuwihview

Téhnologi leuwihview jeung tungtunan deployment pikeun ngagunakeun memori pengkuh Intel Optane kalawan platform SAP HANA on VMware ESXi.

Dokumén ieu ditujukeun pikeun masihan apdet kana publikasi bareng Intel sareng SAP anu tos aya,
"Panduan Konfigurasi: Mémori Persisten Intel® Optane™ sareng Konfigurasi Platform SAP HANA®," sayogi online di intel.com/content/www/us/en/big-data/partners/
sap/sap-hana-and-intel-optane-configuration-guide.html. Pembaruan ieu bakal ngabahas prosedur tambahan anu dipikabutuh pikeun ngonpigurasikeun SAP HANA sareng memori pengkuh Intel Optane (PMem) dijalankeun dina mesin virtual VMware ESXi (VM).

Dina pituduh anu aya, sistem operasi (OS) - boh SUSE Linux Enterprise Server
(SLES) atanapi Red Hat Enterprise Linux (RHEL) - jalan langsung dina logam bulistir atanapi salaku host OS dina setélan non-virtualized. Léngkah-léngkah pikeun nyebarkeun SAP HANA sareng Intel Optane PMem dina server non-virtual ieu (anu dimimitian dina kaca 7 tina pituduh anu tos aya) digariskeun kieu:

Léngkah umum

Léngkah umum: Konpigurasikeun Intel Optane PMem pikeun SAP HANA

  1. Pasang utilitas manajemén.
  2. Jieun wewengkon App Direct (tujuan) - make interleaving.
  3. Reboot server-diperlukeun pikeun ngaktipkeun konfigurasi anyar.
  4. Jieun App Direct namespaces.
  5. Nyiptakeun a file sistem dina alat ngaranspasi.
  6. Konpigurasikeun SAP HANA pikeun ngagunakeun mémori pengkuh file sistem.
  7. Balikan deui SAP HANA pikeun ngaktipkeun tur mimitian nganggo Intel Optane PMem.

Pikeun panyebaran dina lingkungan virtualisasi, pituduh ieu ngagolongkeun léngkah-léngkah pikeun konfigurasi unggal komponén sapertos kieu:

Host:

  1. Konpigurasikeun host pangladén pikeun Intel Optane PMem nganggo BIOS (spésifik vendor).
  2. Jieun App Direct wewengkon interleaved, sarta pariksa yen aranjeunna ngonpigurasi pikeun pamakéan VMware ESXi.
    VM:
  3. Jieun VM kalawan versi hardware 19 (VMware vSphere 7.0 U2) kalawan NVDIMMs, sarta ngidinan failover ka host sejen bari ngalakukeun ieu.
  4. Édit konfigurasi VMX VM file sarta ngajadikeun NVDIMMs aksés memori non-seragam (NUMA) -sadar.
    OS:
  5. Nyiptakeun a file sistem dina ngaranspasi (DAX) alat dina OS.
  6. Konpigurasikeun SAP HANA pikeun ngagunakeun mémori pengkuh file sistem.
  7. Balikan deui SAP HANA pikeun ngaktipkeun tur mimitian nganggo Intel Optane PMem.

Perhatikeun yén léngkah 5–7 pikeun konfigurasi OS idéntik jeung pituduh nu geus aya, iwal ti éta ayeuna dilarapkeun ka deployment OS tamu. Ku kituna, pituduh ieu bakal difokuskeun léngkah 1-4 sareng bédana tina pamasangan logam bulistir.

Konpigurasikeun host server pikeun Intel Optane PMem nganggo BIOS
Dina waktu publikasi tina pituduh nu aya, Utiliti manajemén prescribed, ipmctl na ndctl, utamana garis paréntah panganteur (CLI) -based. Ti saprak éta, sistem anu langkung énggal anu diproduksi ku sababaraha padagang OEM langkung seueur ngadopsi antarmuka pangguna anu didorong ku menu grafis (UI) anu diwangun kana Unified Extensible Firmware Interface (UEFI) atanapi jasa BIOS. Masing-masing OEM parantos ngadesain UI-na pikeun saluyu sareng gaya sareng kerangka utilitas sareng kontrol anu diwangun.
Hasilna, léngkah-léngkah anu dipikabutuh pikeun ngonpigurasikeun Intel Optane PMem pikeun unggal sistem bakal rupa-rupa. Sababaraha examplayar konfigurasi Intel Optane PMem ti sagala rupa padagang OEM dipidangkeun di dieu pikeun masihan gambaran ngeunaan kumaha rupa layar ieu sareng pikeun ngagambarkeun rupa-rupa gaya UI anu tiasa dipendakan.

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-1 intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-2 intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-3 intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-4

Henteu paduli bédana gaya UI, tujuan pikeun nyayogikeun Intel Optane PMem pikeun nyiptakeun daérah mode App Direct tetep sami pikeun kasus pamakean logam sareng virtualisasi sapertos VMware ESXi. Léngkah-léngkah saacanna anu dilakukeun nganggo CLI ngan saukur diganti ku prosedur UI anu didorong ku ménu atanapi gaya-gaya pikeun kéngingkeun hasil ahir anu sami. Nyaéta, pikeun nyiptakeun daérah App Direct interleaved dina sadaya soket anu dipasang Intel Optane PMem.

Pikeun mantuan napigasi ngaliwatan prosés ieu leuwih gampang, tabél di handap nyadiakeun tumbu ka dokuméntasi panganyarna na Panungtun diterbitkeun ku sababaraha padagang OEM luhur-tier pikeun SAP HANA. Turutan lengkah ti pituduh ieu pikeun nyieun wewengkon App Direct interleaved pikeun tiap stop kontak, lajeng ngalengkepan prosés ku reboot sistem pikeun ngaktipkeun konfigurasi anyar. Taroskeun tim téknis OEM anjeun atanapi dukungan Intel upami aya patarosan.

ngajual OEM Intel Optane PMem pituduh konfigurasi / dokumén Tumbu online
 

Cisco

"Cisco UCS: Ngonpigurasikeun sareng Ngatur Intel® Optane™ Data Center Persistent Memory Modules" cisco.com/c/en/us/td/docs/unified_computing/ucs/persistent- memori/b_Configuring_Managing_DC-Persistent-Memory- Modules.pdf
Dell Technologies "Dell EMC NVDIMM-N Pituduh Mémori Persistent" (Intel Optane PMem 100 séri) https://dl.dell.com/topicspdf/nvdimm_n_user_guide_en-us.pdf
Dell Technologies "Panungtun Pamaké Dell EMC PMem 200 Series" https://dl.dell.com/topicspdf/pmem_15g_en-us.pdf
 

Fujitsu

"DCPMM (Data Center Persistent Memory) Antarmuka Garis Komando" https://ssl.syncsearch.jp/click?url=https%3A%2F%2Fsupport. ts.fujitsu.com%2FSearch%2FSWP1235322. asp&query=dcpmm&site=7215VAWV
 

Fujitsu

"Konpigurasikeun DCPMM (Data Center Persistent Memory) dina Setup UEFI" https://ssl.syncsearch.jp/click?url=https%3A%2F%2Fsupport. ts.fujitsu.com%2FSearch%2FSWP1235339. asp&query=dcpmm&site=7215VAWV
 

Fujitsu

"Konpigurasikeun DCPMM (Data Center Persistent Memory) dina Linux" https://ssl.syncsearch.jp/click?url=https%3A%2F%2Fsupport. ts.fujitsu.com%2FSearch%2FSWP1235054. asp&query=dcpmm&site=7215VAWV
ngajual OEM Intel Optane PMem pituduh konfigurasi / dokumén Tumbu online
HPE Pituduh Pamaké Mémori Persisten HPE pikeun server HPE ProLiant Gen10 sareng HPE Synergy" http://itdoc.hitachi.co.jp/manuals/ha8000v/hard/Gen10/ DCPMM / P16877-002_en.pdf
HPE "Intel Optane mémori pengkuh séri 100 pikeun Pituduh Pamaké HPE" https://support.hpe.com/hpesc/public/ docDisplay?docId=a00074717en_us
 

Lenovo

"Kumaha cara ngarobah modeu operasi Intel® Optane™ DC Persistent Memory Module ngaliwatan UEFI" https://datacentersupport.lenovo.com/us/en/products/ server/thinksystem/sr570/7y02/solusi/ht508257- kumaha-cara-ngarobah-intel-optane-dc-persistent-memori- modul-operasi-modus-liwat-uefi
Lenovo "Ngaktipkeun Mémori Persisten Intel Optane DC dina Server Lenovo ThinkSystem" https://lenovopress.com/lp1167.pdf
Lenovo "Ngalaksanakeun Mémori Persisten Intel Optane DC sareng VMware vSphere" https://lenovopress.com/lp1225.pdf
Supermicro "Konfigurasi Mémori Intel 1st Gen DCPMM pikeun Intel Purley Platform" https://www.supermicro.com/support/resources/memory/ DCPMM_1stGen_memory_config_purley.pdf
 

Supermicro

"Intel® Optane™ Persistent Memory 200 Series Konfigurasi pikeun Supermicro X12SPx/X12Dxx/ X12Qxx Motherboards" https://www.supermicro.com/support/resources/memory/ Optane_PMem_200_Series_Config_X12QP_DP_UP.pdf

Jieun App Direct wewengkon interleaved sarta pariksa konfigurasi maranéhna pikeun pamakéan VMware ESXi
OEM UEFI atanapi BIOS ménu biasana nyadiakeun layar UI pikeun mastikeun yén wewengkon App Direct geus dijieun pikeun tiap stop kontak. Kalayan VMware, anjeun ogé tiasa nganggo web klien atanapi paréntah esxcli pikeun pariksa ieu. Ti web klien, buka Panyimpenan, lajeng pilih tab Mémori Persistent.

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-5

Sakumaha anjeun tiasa tingali, rohangan ngaran standar sacara otomatis didamel per daérah. (Ieu example nyaéta pikeun sistem dua stop kontak.) Pikeun esxcli, anjeun tiasa nganggo paréntah di handap ieu:

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-6

Jieun VM kalawan versi hardware 19 (VMware vSphere 7.0 U2) kalawan NVDIMMs, sarta ngidinan failover ka host sejen
Nyebarkeun VM sareng OS tamu anu dirojong (SLES atanapi RHEL pikeun SAP HANA) sareng SAP HANA 2.0 SPS 04 atanapi langkung ageung dipasang.
Aya sababaraha cara pikeun nyayogikeun sareng nyebarkeun vSphere VMs. Téhnik ieu paling dijelaskeun sareng katutupan ku perpustakaan dokumén online VMware di “VMware vSphere—Deploying Virtual
Mesin" (https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.vm_admin.doc/GUID-39D19B2B-A11C-42AE-AC80-DDA8682AB42C.html).

Pikeun milih metodeu anu pangsaéna pikeun lingkungan anjeun, anjeun kedah nyiptakeun VM kalayan OS anu dirojong anu cocog sareng pasang SAP HANA di dinya sapertos anjeun dina server fisik (bulistir-logam).
Jieun ruang ngaran App Direct dina VM anu disebarkeun ku cara nambahkeun alat Intel Optane PMem (NVDIMM).

Sakali VM dipasang, alat Intel Optane PMem kedah ditambihan. Sateuacan anjeun tiasa nambihan NVDIMM ka VM, pariksa naha daérah Intel Optane PMem sareng rohangan ngaran didamel leres dina BIOS. Pastikeun yén anjeun parantos milih sadaya Intel Optane PMem (100%). Pastikeun ogé yén tipe memori Persistent disetel ka App Direct Interleaved. Modeu mémori kudu disetel ka 0%.

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-7

Pareuman VM, teras édit setélan VM ku ngagunakeun pilihan Tambihkeun alat énggal sareng pilih NVDIMM. Prakték standar nyaéta nyieun hiji alat NVDIMM per stop kontak CPU host. Tingal pituduh prakték pangsaéna ti OEM anjeun upami sayogi.
Léngkah ieu ogé bakal otomatis nyiptakeun rohangan ngaran.

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-8

Edit ukuran NVDIMMs sakumaha diperlukeun, lajeng pilih Ngidinan failover on host sejen pikeun sakabéh alat NVDIMM.

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-9

Lamun teu aya alat NVDIMM didaptarkeun, coba ningkatkeun kasaluyuan VM. Pilih VM, pilih Laku lampah> kasaluyuan> Ningkatkeun kasaluyuan VM, sarta mastikeun yén VM kompatibel jeung ESXI 7.0 U2 sarta engké.

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-10

Saatos nambihan alat NVDIMM suksés, setélan konfigurasi VM anjeun kedah sapertos kieu:

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-11

Upami konfigurasi parantos leres, panyimpenan VMware ESXi Intel Optane PMem views kudu kasampak kawas inohong di handap ieu.

Panyimpenan VMware ESXi Intel Optane PMem view-modul

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-12

Panyimpenan VMware ESXi Intel Optane PMem view- sét interleave

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-13

neundeun VMware ESXi PMem view-spasi ngaran

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-14

Catetan: Ditémbongkeun angka set interleave gumantung kana konfigurasi hardware na bisa jadi béda pikeun sistem Anjeun.
Salajengna, anjeun tiasa nambihan NVDIMM sareng pengendali NVDIMM kana VM SAP HANA anjeun. Pikeun nganggo sadaya mémori anu aya dina sistem anjeun, pilih ukuran maksimal per NVDIMM.

kreasi NVDIMM via VMware vCenter panganteur pamaké grafis

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-15

Édit konfigurasi VMX VM file sarta nyieun NVDIMMs NUMA-sadar
Sacara standar, alokasi Intel Optane PMem dina VMkernel pikeun VM NVDIMM henteu nganggap NUMA. Ieu tiasa nyababkeun VM sareng Intel Optane PMem anu dialokasikeun dijalankeun dina titik NUMA anu béda-béda, anu bakal nyababkeun aksés NVDIMM dina VM janten jauh, nyababkeun kinerja anu goréng. Pikeun ngahindarkeun ieu, anjeun kedah nambihan setélan ieu kana konfigurasi VM nganggo VMware vCenter
(detail langkung seueur ngeunaan léngkah ieu tiasa dipendakan dina VMware KB 78094).
Dina jandela Édit setélan, pilih tab VM Options, teras klik Advanced.
Dina Parameter Konfigurasi bagian, klik Édit konfigurasi, pilih Tambahkeun parameter Konfigurasi pilihan, sarta asupkeun nilai handap:

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-16 intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-17

Pikeun pariksa yén alokasi wilayah Intel Optane PMem disebarkeun ka titik NUMA, paké paréntah VMware ESXi ieu:
memstats -r pmem-wilayah-numa-stats

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-18

Nyiptakeun a file sistem dina ngaranspasi (DAX) alat dina OS
Pikeun ngarengsekeun prosés konfigurasi, lajengkeun kana léngkah 5-7 tina pituduh konfigurasi bare-metal, dimimitian dina kaca 13. Léngkah ieu ngajelaskeun kumaha carana ngalengkepan konfigurasi OS.
Sagampil dina kasus konfigurasi server bulistir-logam, restarting VM sanggeus hambalan panungtungan, Nyetél SAP HANA Base Path, bakal ngaktipkeun Intel Optane PMem pikeun pamakéan SAP HANA.
Anjeun tiasa pariksa naha alat NVDIMMs dipasang leres nganggo paréntah ndctl ieu:

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-19

Setel namespaces kana modeu "fsdax".
Anjeun panginten tiasa perhatikeun dina waktos ieu yén rohangan ngaran anu diciptakeun dina modeu "atah". Pikeun leres dianggo ku SAP HANA, aranjeunna kedah dirobih kana modeu "fsdax". Anggo paréntah di handap ieu pikeun ngalakukeun ieu:
ndctl nyiptakeun-ngaranspasi -f -e –mode=fsdax
Remounting nu App Direct namespaces jeung file sistem sanggeus VM reboots
VMware ngaktipkeun fungsionalitas kasadiaan tinggi (HA) dina vSphere 7.0 U2 pikeun Intel Optane PMem-sAP HANA VMs.1 Tapi, pikeun mastikeun transfer data lengkep, léngkah-léngkah tambahan diperyogikeun pikeun nyiapkeun Intel Optane PMem pikeun panggunaan SAP HANA supados tiasa otomatis. ngamuat deui data ti gudang dibagikeun (konvensional) sanggeus failover nu.

Léngkah-léngkah anu sami tiasa diterapkeun pikeun masang deui ruang ngaran App Direct sareng file sistem unggal waktos VM reboots atanapi hijrah. Tingal "Nerapkeun Kasadiaan Luhur dina VMware vSphere 7.0 U2 pikeun SAP HANA sareng Intel® Optane™ Persistent Memory" (intel.in/content/www/in/en/architecture-and-technology/vmware-vsphere-ha-sap-hana-optane-pmem.html) kanggo langkung jelasna.

solusi

Naha nyebarkeun SAP HANA dina solusi VMware?
VMware ngagaduhan dukungan produksi SAP HANA ti saprak 2014 sareng dukungan non-produksi ti saprak 2012.

Skalabilitas unggul pikeun x86 hypervisors on-premises pikeun SAP HANA

  • Pangrojong host nepi ka 768 CPU logis sareng 16 TB RAM
  • Kamampuan skala-up SAP HANA ngadukung dugi ka dalapan VM lega soket kalayan 448 vCPU sareng 12 TB RAM
  • Kamampuhan skala SAP HANA ngadukung dugi ka 32 TB
  • Virtual SAP HANA sareng SAP NetWeaver® panyimpangan kinerja tina hiji VM tunggal kana sistem bare-logam anu disertifikasi pikeun lulus standar SAP
  • Dukungan ukuran dumasar beban kerja SAP HANA lengkep
  • Dina peta jalan: 18 TB Intel Optane PMem SAP HANA sistem

Pangrojong hardware Intel x86 panglegana pikeun SAP HANA

  • Rojongan pikeun sadaya CPU Intel utama:
    • Prosesor Intel Xeon v3 kulawarga (Haswell)
    • Prosesor Intel Xeon v4 kulawarga (Broadwell)
    • Prosesor Scalable Intel Xeon Generasi ka-1 (Skylake)
    • Prosesor Scalable Intel Xeon Generasi ka-2 (Cascade Lake)
    • Prosesor Scalable Intel Xeon Generasi ka-3 (Cooper Lake)
    • Prosesor Intel Xeon Scalable Generasi ka-3 (Ice Lake, nuju lumangsung)
    • Prosesor Intel Xeon Scalable Generasi ka-4 (Sapphire Rapids, nuju lumangsung)
  • Rojongan pikeun sistem server 2-, 4-, sareng 8-stop kontak
  • Dukungan Intel Optane PMem lengkep
  • Rojongan pikeun vSphere ti sadaya mitra hardware SAP utama, boh pikeun palaksanaan di tempat sareng di awan

Lampiran

Lengkah pilihan: Aktipkeun ipmctl dina cangkang UEFI
Dina henteuna sistem ménu mios pikeun ngonpigurasikeun Intel Optane PMem, UEFI CLI masih bisa dipaké pikeun ngonpigurasikeun sistem pikeun pamakéan SAP Hana ngajalankeun on VMware ESXi. Pikeun ngaéksekusi sarimbag léngkah 1 di luhur, cangkang UEFI tiasa diaktipkeun dina waktos boot pikeun ngajalankeun utilitas manajemén ipmctl ti CLI:

  1. Jieun bootable UEFI shell USB flash drive jeung FAT32 file sistem.
    Catetan: Sababaraha ngical paralatan sistem nyayogikeun pilihan boot pikeun ngalebetkeun cangkang UEFI tina ménu ngamimitian, dina hal ieu anjeun gaduh pilihan pikeun henteu kedah ngajantenkeun USB flash drive bootable atanapi nganggo alat panyimpen anu sanés tiasa diaksés tina cangkang UEFI. Taroskeun dokuméntasi khusus anjeun atanapi sumber dukungan pikeun detil.
  2. Nyalin UEFI executable file ipmctl.efi tina pakét firmware Intel Optane PMem kana flash drive (atanapi alat panyimpen sanés anu dipilih). Sakali deui, vendor sistem anjeun bakal nyayogikeun pakét firmware Intel Optane PMem pikeun sistem anjeun.
  3. Boot sistem anjeun pikeun ngasupkeun cangkang UEFI.
    Pikeun USB flash drive bootable, léngkah-léngkah anu umum nyaéta:
    • Colokkeun USB flash drive kana port USB anu kabuka dina host sareng hurungkeun.
    • Lebetkeun menu Boot pikeun mintonkeun sadaya sumber bootable.
    • Pilih bootable UEFI shell USB flash drive.
  4. Pilih nu file Sistim drive anjeun sarta arahkeun ka jalur dimana impctl.efi file ieu disalin.
    Pikeun bootable USB flash drive, mindeng éta file Sistim ieu FS0, tapi bisa rupa-rupa, jadi coba FS0, FS1, FS2, jeung saterusna.intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-20
  5. Laksanakeun bantosan ipmctl.efi pikeun daptar sadaya paréntah anu sayogi. Kanggo inpo tambahan, tingal "Panduan Pamaké IPMCTL." Jieun wewengkon App Direct
    Anggo paréntah Jieun Goal pikeun nyiptakeun daérah interleaved anu dikonpigurasi pikeun Modeu Langsung Aplikasi:
    ipmctl.efi nyieun -goal PersistentMemoryType=AppDirectintel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-21
    Ngalengkepan prosés provisioning memori (nyieun gawang) ku rebooting server pikeun ngaktipkeun setelan anyar.
    Saatos reboot, karek dijieun DIMM-interleave-set digambarkeun salaku memori pengkuh "wilayah" kapasitas App langsung Mode. Ka view setelan wilayah, nganggo paréntah Daptar Daérah:
    ipmctl acara -wilayah

Paréntah ieu mulihkeun kaluaran anu sami sareng ieu:

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-22

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-23 intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi-24

Dokumén / Sumberdaya

intel Optane Persistent Memory sareng Konfigurasi Platform SAP HANA dina VMware ESXi [pdf] Pituduh pamaké
Mémori Persisten Optane sareng Konfigurasi Platform SAP HANA dina VMware ESXi, Konfigurasi Platform SAP HANA dina VMware ESXi, Konfigurasi Platform dina VMware ESXi, Konfigurasi dina VMware ESXi, VMware ESXi

Rujukan

Ninggalkeun komentar

alamat surélék anjeun moal diterbitkeun. Widang diperlukeun ditandaan *