Qlik Talend ਡਾਟਾ ਏਕੀਕਰਣ ਹੱਲ

ਨਿਰਧਾਰਨ

• ਉਤਪਾਦ ਦਾ ਨਾਮ: Qlik Talend ਡਾਟਾ ਏਕੀਕਰਣ ਹੱਲ
• ਏਕੀਕਰਣ ਪਲੇਟਫਾਰਮ: ਡਾਟਾਬ੍ਰਿਕਸ ਲੇਕਹਾਊਸ ਪਲੇਟਫਾਰਮ
• ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ: ਬਦਲੋ ਡਾਟਾ ਕੈਪਚਰ (CDC), ਪਰਿਵਰਤਨ ਤਕਨਾਲੋਜੀ

ਉਤਪਾਦ ਵਰਤੋਂ ਨਿਰਦੇਸ਼

Qlik Talend ਡਾਟਾ ਏਕੀਕਰਣ ਹੱਲ
Qlik Talend ਡੇਟਾ ਏਕੀਕਰਣ ਹੱਲ ਮਸ਼ੀਨ ਲਰਨਿੰਗ (ML), ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI), ਅਤੇ ਡੇਟਾ ਕੈਪਚਰ (CDC), ਅਤੇ ਪਰਿਵਰਤਨ ਟੈਕਨਾਲੋਜੀ ਦੇ ਨਾਲ DataOps ਪਹਿਲਕਦਮੀਆਂ ਨੂੰ ਤੇਜ਼ ਕਰਦੇ ਹਨ ਜੋ AI ਲਈ ਤਿਆਰ Databricks Lakehouse ਪਲੇਟਫਾਰਮ ਤੱਕ ਮਲਟੀਪਲ ਡਾਟਾ ਸਰੋਤਾਂ ਤੋਂ ਲਗਾਤਾਰ ਡਾਟਾ ਸਟ੍ਰੀਮ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ। ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਖਪਤ.

ਰੀਪਲੀਕੇਟ 'ਤੇ ਕਲਿੱਕ ਕਰੋ
ਇਸ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ, Qlik Replicate ਹੇਠ ਦਿੱਤੇ ਫੰਕਸ਼ਨ ਕਰਦਾ ਹੈ:

1. ਟੀਚਾ ਸਥਾਪਿਤ ਕਰੋ:
   • ਸਰੋਤ ਤੋਂ ਅਨੁਵਾਦ ਕੀਤੇ ਸਹੀ ਡੇਟਾ ਕਿਸਮਾਂ ਦੇ ਨਾਲ ਡੈਲਟਾ ਫਾਰਮੈਟ ਵਿੱਚ ਟਾਰਗੇਟ ਟੇਬਲ ਬਣਾਓ।
   • ਸਰੋਤ ਤੋਂ ਇੱਕ ਸ਼ੁਰੂਆਤੀ/ਪੂਰਾ ਲੋਡ ਕਰੋ ਅਤੇ ਡੇਟਾ ਨੂੰ ਸਟੋਰੇਜ ਲੇਅਰ ਵਿੱਚ ਭੇਜੋ।
   • ਸਟੋਰੇਜ਼ ਲੇਅਰ ਤੋਂ ਡੇਟਾ ਲੋਡ ਕਰਨ ਅਤੇ ਡੈਲਟਾ ਫਾਰਮੈਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਨੂੰ ਟੇਬਲ ਵਿੱਚ ਬਦਲਣ ਲਈ ਸਪਾਰਕ SQL ਨੂੰ ਡੇਟਾਬ੍ਰਿਕਸ ਨੂੰ ਭੇਜੋ।
2. ਕੈਪਚਰ ਕਰੋ ਅਤੇ ਬਦਲਾਅ ਲਾਗੂ ਕਰੋ:
   • ਸਰੋਤ ਤੋਂ ਲੌਗ-ਅਧਾਰਿਤ ਸੀਡੀਸੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਕੈਪਚਰ ਕਰੋ।
   • ਟਾਰਗੇਟ ਡੈਲਟਾ ਟੇਬਲਾਂ (ਸਟੋਰੇਜ ਲੇਅਰ ਨੂੰ ਇੰਟਰਮੀਡੀਏਟ s ਦੇ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹੋਏ) ਵਿੱਚ ਤਬਦੀਲੀਆਂ (ਇਨਸਰਟ / ਅੱਪਡੇਟ / ਮਿਟਾਓ) ਪ੍ਰਦਾਨ ਕਰੋ ਅਤੇ ਲਾਗੂ ਕਰੋtagING).

ਕਲਿਕ ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ
Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਇੱਕ iPaaS ਪੇਸ਼ਕਸ਼ ਹੈ ਜੋ ਤੁਹਾਡੇ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਅਤੇ AI, ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲੋੜਾਂ ਦੇ ਸਮਰਥਨ ਵਿੱਚ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਏਕੀਕਰਣ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਲਈ ਡੇਟਾ ਪ੍ਰੋਜੈਕਟ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।

Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦੇ ਫੰਕਸ਼ਨ:

• ਲੈਂਡਿੰਗ ਕਾਰਜ:
  • ਕਿਲਿਕ ਡੇਟਾ ਗੇਟਵੇ - ਚੇਂਜ ਡੇਟਾ ਕੈਪਚਰ (ਸੀਡੀਸੀ) ਦੁਆਰਾ ਡੇਟਾ ਸਰੋਤਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ ਡੇਟਾ ਮੂਵਮੈਂਟ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਨਿਰਧਾਰਤ ਲੈਂਡਿੰਗ ਜ਼ੋਨ ਵਿੱਚ ਡੇਟਾ ਦੇ ਸਹਿਜ ਟ੍ਰਾਂਸਫਰ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ।
  • ਪੂਰੇ ਲੋਡਾਂ ਨੂੰ ਲਾਗੂ ਕਰਕੇ ਅਨੁਸੂਚਿਤ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਮੁੜ ਲੋਡ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
• ਪਰਿਵਰਤਨ ਕਾਰਜ:
  • ਡਾਟਾ ਪਾਈਪਲਾਈਨ ਦੇ ਅੰਦਰ ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਅਤੇ ਨਿਯਮ-ਅਧਾਰਿਤ ਡੇਟਾ ਪਰਿਵਰਤਨ ਪੈਦਾ ਕਰਦਾ ਹੈ।
  • ਕਸਟਮ SQL ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਕਤਾਰ-ਪੱਧਰ ਦੇ ਪਰਿਵਰਤਨ ਅਤੇ ਕ੍ਰਾਫਟ ਡੇਟਾਸੈਟ ਕਰਦਾ ਹੈ।
  • ਟੇਬਲ ਦੇ ਰੂਪ ਵਿੱਚ ਸਾਕਾਰ ਹੋ ਸਕਦਾ ਹੈ ਜਾਂ ਗਤੀਸ਼ੀਲ ਦੇ ਰੂਪ ਵਿੱਚ ਪ੍ਰਗਟ ਹੋ ਸਕਦਾ ਹੈ views ਉੱਡਣ 'ਤੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰ ਰਿਹਾ ਹੈ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ (FAQ)

• ਕੀ Qlik Replicate ਅਤੇ Qlik Cloud Data Integration ਨੂੰ ਇਕੱਠੇ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ?
  ਹਾਂ, ਦੋਵੇਂ ਹੱਲ ਪੂਰਕ ਹਨ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਦੀ ਵਰਤੋਂ ਦੇ ਕੇਸ ਅਤੇ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਦੇ ਆਧਾਰ 'ਤੇ ਇਕੱਠੇ ਜਾਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ।
• Qlik ਰਿਪਲੀਕੇਟ ਦੇ ਕੁਝ ਮੁੱਖ ਫੰਕਸ਼ਨ ਕੀ ਹਨ?
  Qlik ਰਿਪਲੀਕੇਟ ਡੇਲਟਾ ਫਾਰਮੈਟ ਵਿੱਚ ਟੇਬਲ ਬਣਾ ਕੇ, ਸ਼ੁਰੂਆਤੀ ਲੋਡ ਕਰ ਸਕਦਾ ਹੈ, ਸੀਡੀਸੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਦਲਾਅ ਕੈਪਚਰ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਟਾਰਗੇਟ ਟੇਬਲ ਵਿੱਚ ਬਦਲਾਅ ਲਾਗੂ ਕਰ ਸਕਦਾ ਹੈ।
• Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦਾ ਉਦੇਸ਼ ਕੀ ਹੈ?
  Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਏਆਈ, ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲੋੜਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਏਕੀਕਰਣ ਕਾਰਜਾਂ ਲਈ ਡੇਟਾ ਪ੍ਰੋਜੈਕਟ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

ਜਾਣ-ਪਛਾਣ

Qlik Talend ਡੇਟਾ ਏਕੀਕਰਣ ਹੱਲ ਮਸ਼ੀਨ ਲਰਨਿੰਗ (ML), ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI), ਅਤੇ ਡੇਟਾ ਕੈਪਚਰ (CDC), ਅਤੇ ਪਰਿਵਰਤਨ ਟੈਕਨਾਲੋਜੀ ਦੇ ਨਾਲ DataOps ਪਹਿਲਕਦਮੀਆਂ ਨੂੰ ਤੇਜ਼ ਕਰਦੇ ਹਨ ਜੋ AI ਲਈ ਤਿਆਰ Databricks Lakehouse ਪਲੇਟਫਾਰਮ ਤੱਕ ਮਲਟੀਪਲ ਡਾਟਾ ਸਰੋਤਾਂ ਤੋਂ ਲਗਾਤਾਰ ਡਾਟਾ ਸਟ੍ਰੀਮ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ। ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਖਪਤ.

Qlik Talend ਡਾਟਾ ਏਕੀਕਰਣ ਹੱਲ

• Qlik Replicate ਅਤੇ Qlik Talend Cloud Data Integration Qlik ਦੇ ਦੋ ਹੱਲ ਹਨ ਜੋ ਉੱਦਮਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਅਤੇ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਆਪਣੇ ਡੇਟਾ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦੇ ਹਨ। Qlik ਰਿਪਲੀਕੇਟ ਇੱਕ ਡੇਟਾ ਏਕੀਕਰਣ ਸੌਫਟਵੇਅਰ ਹੈ ਜੋ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਮੈਨੂਅਲ ਕੋਡਿੰਗ ਜਾਂ ਸਕ੍ਰਿਪਟਿੰਗ ਤੋਂ ਬਿਨਾਂ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਅਤੇ ਕਲਾਉਡ ਸਰੋਤਾਂ ਤੋਂ ਕਲਾਉਡ ਡੇਟਾ ਵੇਅਰਹਾਊਸਾਂ ਵਿੱਚ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਦੁਹਰਾਉਣ ਅਤੇ ਅਪਡੇਟ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ। Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਇੱਕ ਕਲਾਉਡ-ਅਧਾਰਤ ਸੇਵਾ ਹੈ ਜੋ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਏਕੀਕਰਣ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਲਈ ਡੇਟਾ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਦੀ ਯੋਗਤਾ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ, ਜਿਵੇਂ ਕਿ ਲੈਂਡਿੰਗ, ਰਜਿਸਟਰਿੰਗ, ਟ੍ਰਾਂਸਫਾਰਮਿੰਗ, ਅਤੇ ਡੇਟਾ ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ। ਦੋਵੇਂ ਹੱਲ ਡੇਟਾ ਸਰੋਤਾਂ ਅਤੇ ਮੰਜ਼ਿਲਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ, ਜਿਵੇਂ ਕਿ ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ, ਵੱਡੇ ਡੇਟਾ ਪਲੇਟਫਾਰਮ, SAP, ਮੇਨਫ੍ਰੇਮ, ਕਲਾਉਡ ਸਟੋਰੇਜ, ਅਤੇ SaaS ਐਪਲੀਕੇਸ਼ਨ। ਹਾਲਾਂਕਿ, ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ, ਕੀਮਤ, ਅਤੇ ਤੈਨਾਤੀ ਵਿਕਲਪਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਉਹਨਾਂ ਵਿੱਚ ਕੁਝ ਅੰਤਰ ਹਨ।
• ਕੁਝ ਮੁੱਖ ਅੰਤਰ ਹਨ:
  • Qlik Replicate ਇੱਕ ਸਟੈਂਡਅਲੋਨ ਉਤਪਾਦ ਹੈ ਜੋ ਕਿ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਜਾਂ ਕਲਾਉਡ 'ਤੇ ਸਥਾਪਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਜਦੋਂ ਕਿ Qlik Talend Cloud Data Integration ਇੱਕ ਪੂਰੀ ਤਰ੍ਹਾਂ ਪ੍ਰਬੰਧਿਤ ਸੇਵਾ ਹੈ ਜੋ Qlik Cloud ਪਲੇਟਫਾਰਮ 'ਤੇ ਚੱਲਦੀ ਹੈ।
  • Qlik ਰਿਪਲੀਕੇਟ ਡੇਟਾ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਲਈ ਵਧੇਰੇ ਉੱਨਤ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਡੇਟਾ ਕੈਪਚਰ (CDC), ਦੇਰੀ ਨਾਲ ਵਿਲੀਨਤਾ, ਸਕੀਮਾ ਵਿਕਾਸ, ਅਤੇ ਵਿਵਾਦ ਹੱਲ। ਜਦੋਂ ਕਿ Qlik Talend Cloud Data Integration ਡਾਟਾ ਪਰਿਵਰਤਨ ਅਤੇ ਏਕੀਕਰਨ 'ਤੇ ਜ਼ਿਆਦਾ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਡਾਟਾ ਕਲੀਨਿੰਗ, ਐਨਰਿਚਮੈਂਟ, ਬਲੇਂਡਿੰਗ, ਅਤੇ ਪ੍ਰੋਫਾਈਲਿੰਗ।
• ਸੰਖੇਪ ਵਿੱਚ, Qlik Replicate ਅਤੇ Qlik Talend Cloud Data Integration ਪੂਰਕ ਹੱਲ ਹਨ ਜੋ ਕਿ ਵਰਤੋਂ ਦੇ ਕੇਸ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਦੇ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਦੇ ਅਧਾਰ ਤੇ ਇਕੱਠੇ ਜਾਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਦੋਵੇਂ ਹੱਲਾਂ ਦਾ ਉਦੇਸ਼ ਆਧੁਨਿਕ AI ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲੋੜਾਂ ਲਈ ਤੇਜ਼, ਭਰੋਸੇਮੰਦ, ਅਤੇ ਸਕੇਲੇਬਲ ਡਾਟਾ ਏਕੀਕਰਣ ਸਮਰੱਥਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਨਾ ਹੈ।

ਰੀਪਲੀਕੇਟ 'ਤੇ ਕਲਿੱਕ ਕਰੋ

• Qlik Replicate® ਡਾਟਾਬ੍ਰਿਕਸ ਲੇਕਹਾਊਸ ਪਲੇਟਫਾਰਮ 'ਤੇ ਮਲਟੀਪਲ ਡਾਟਾ ਸਰੋਤਾਂ (ਉਦਾਹਰਨ ਲਈ, Oracle, Microsoft SQL ਸਰਵਰ, SAP, ਮੇਨਫ੍ਰੇਮ, ਅਤੇ ਹੋਰ) ਤੋਂ ਲਗਾਤਾਰ CDC ਡਾਟਾ ਅੰਦੋਲਨ ਨੂੰ ਸਵੈਚਲਿਤ ਕਰਦਾ ਹੈ। ਇਹ ਗਾਹਕ ਨੂੰ ਹੱਥੀਂ ਡਾਟਾ ਐਕਸਟਰੈਕਟ ਕਰਨ, ਏਪੀਆਈ/ਸਕ੍ਰਿਪਟ ਦੁਆਰਾ ਟ੍ਰਾਂਸਫਰ ਕਰਨ, ਅਤੇ ਫਿਰ ਕੱਟਣ, ਐੱਸ.taging, ਅਤੇ ਇਸ ਨੂੰ ਆਯਾਤ.
• ਇਸ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ, Qlik Replicate ਹੇਠ ਦਿੱਤੇ ਫੰਕਸ਼ਨ ਕਰਦਾ ਹੈ:
  1. ਟੀਚਾ ਤਤਕਾਲ ਕਰੋ
     • ਸਰੋਤ ਤੋਂ ਅਨੁਵਾਦ ਕੀਤੇ ਸਹੀ ਡੇਟਾ ਕਿਸਮਾਂ ਦੇ ਨਾਲ ਡੈਲਟਾ ਫਾਰਮੈਟ ਵਿੱਚ ਟਾਰਗੇਟ ਟੇਬਲ ਬਣਾਓ
     • ਸਰੋਤ ਤੋਂ ਇੱਕ ਸ਼ੁਰੂਆਤੀ/ਪੂਰਾ ਲੋਡ ਕਰੋ ਅਤੇ ਡੇਟਾ ਨੂੰ ਸਟੋਰੇਜ ਲੇਅਰ ਵਿੱਚ ਭੇਜੋ
     • ਸਟੋਰੇਜ ਲੇਅਰ ਤੋਂ ਡਾਟਾ ਲੋਡ ਕਰਨ ਅਤੇ ਡੈਲਟਾ ਫਾਰਮੈਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਨੂੰ ਟੇਬਲ ਵਿੱਚ ਬਦਲਣ ਲਈ ਸਪਾਰਕ SQL ਨੂੰ ਡਾਟਾਬ੍ਰਿਕਸ 'ਤੇ ਭੇਜੋ।
  2. ਕੈਪਚਰ ਕਰੋ ਅਤੇ ਬਦਲਾਅ ਲਾਗੂ ਕਰੋ
     • ਸਰੋਤ ਤੋਂ ਲੌਗ-ਅਧਾਰਿਤ ਸੀਡੀਸੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਕੈਪਚਰ ਕਰੋ
     • ਟਾਰਗੇਟ ਡੈਲਟਾ ਟੇਬਲਾਂ (ਸਟੋਰੇਜ ਲੇਅਰ ਨੂੰ ਇੰਟਰਮੀਡੀਏਟ s ਦੇ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹੋਏ) ਵਿੱਚ ਤਬਦੀਲੀਆਂ (ਇਨਸਰਟ / ਅੱਪਡੇਟ / ਮਿਟਾਓ) ਪ੍ਰਦਾਨ ਕਰੋ ਅਤੇ ਲਾਗੂ ਕਰੋtaging)

ਕਲਿਕ ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ

• Qlik Cloud Data Integration ਇੱਕ iPaaS (ਸੇਵਾ ਵਜੋਂ ਏਕੀਕਰਣ ਪਲੇਟਫਾਰਮ) ਪੇਸ਼ਕਸ਼ ਹੈ ਜੋ ਤੁਹਾਡੇ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਅਤੇ AI, ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਲੋੜਾਂ ਦੇ ਸਮਰਥਨ ਵਿੱਚ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਡੇਟਾ ਏਕੀਕਰਣ ਕਾਰਜਾਂ ਨੂੰ ਕਰਨ ਲਈ ਡੇਟਾ ਪ੍ਰੋਜੈਕਟ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ ਦੀ ਸਮਰੱਥਾ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ।
  • ਡਾਟਾ ਪਾਈਪਲਾਈਨਾਂ - ਤੁਸੀਂ ਰੀਅਲ-ਟਾਈਮ, ਲੌਗ-ਅਧਾਰਿਤ ਪਰਿਵਰਤਨ ਡੇਟਾ ਕੈਪਚਰ ਨੂੰ ਫਾਇਰਵਾਲਾਂ ਦੇ ਪਿੱਛੇ ਆਨ-ਪ੍ਰੀਮਿਸਸ ਡੇਟਾ ਸਰੋਤਾਂ ਨਾਲ ਸੁਰੱਖਿਅਤ ਕਨੈਕਸ਼ਨ ਦੇ ਨਾਲ ਲਾਭ ਲੈ ਸਕਦੇ ਹੋ ਜਾਂ SaaS ਡੇਟਾ ਸਰੋਤਾਂ ਲਈ ਪੂਰੀ ਲੋਡ ਸਮਰੱਥਾ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ ਡੇਟਾ ਨੂੰ ਆਨਬੋਰਡ ਕਰ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਫਿੱਟ-ਲਈ-ਉਦੇਸ਼ ਆਉਟਪੁੱਟ ਲਈ ਪਰਿਵਰਤਨ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ ਜਾਂ ਡੇਟਾ ਮਾਰਟ ਤੱਥਾਂ ਅਤੇ ਮਾਪਾਂ ਵਰਗੇ ਆਟੋਮੇਟ ਪੈਟਰਨਾਂ ਨੂੰ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹੋ। ਬਾਹਰੀ views ਅਤੇ ਲਾਈਵ views ਡਾਟਾ ਖਪਤ ਲਈ ਤਿਆਰ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਕਿਲਿਕ ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਇੱਕ ਪੂਰੀ ਕਿਸਮ 2 ਇਤਿਹਾਸਕ ਡੇਟਾ ਸਟੋਰ (ਐਚਡੀਐਸ) ਵੀ ਤਿਆਰ ਕਰਦਾ ਹੈ।
  • ਡਾਟਾ ਰੀਪਲੀਕੇਸ਼ਨ ਟਾਸਕ - ਕਿਸੇ ਵੀ ਅਨੁਕੂਲ ਸਰੋਤ ਤੋਂ ਕਿਸੇ ਸਮਰਥਿਤ ਮੰਜ਼ਿਲ 'ਤੇ ਡੇਟਾ ਦੀ ਨਕਲ ਕਰੋ। ਚੇਂਜ ਡੇਟਾ ਕੈਪਚਰ (CDC) ਤਕਨੀਕਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਡੇਟਾ ਨੂੰ ਬਦਲਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਲਗਾਤਾਰ ਅਪਡੇਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਐਮਾਜ਼ਾਨ S3, ਅਜ਼ੂਰ ਡੇਟਾ ਲੇਕ ਸਟੋਰੇਜ, ਜਾਂ ਗੂਗਲ ਕਲਾਉਡ ਸਟੋਰੇਜ ਵਿੱਚ ਡੇਟਾ ਡਿਲੀਵਰ ਕਰਨ ਵਾਲੀ ਡੇਟਾ ਝੀਲ ਵਿੱਚ ਡੇਟਾ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਸਮਰੱਥਾ ਵੀ ਹੈ।
• Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਤੋਂ ਸ਼ੁੱਧ ਡੇਟਾ ਆਉਟਪੁੱਟ ਨੂੰ ਕਈ ਉਦੇਸ਼ਾਂ ਲਈ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ:
  • ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ, SAP, ਮੇਨਫ੍ਰੇਮ, ਅਤੇ SaaS ਐਪਲੀਕੇਸ਼ਨਾਂ ਸਮੇਤ ਸਾਰੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸਰੋਤਾਂ ਤੋਂ ਰੀਅਲ-ਟਾਈਮ ਅੰਦੋਲਨ।
  • ਵਾਧੂ ਤੀਜੀ ਧਿਰ ਦੇ ਹੱਲਾਂ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਨੋ-ਕੋਡ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ELT (ਐਕਸਟਰੈਕਟ/ਲੋਡ/ਟ੍ਰਾਂਸਫਾਰਮ) ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੇਟਾ ਪਰਿਵਰਤਨ।
  • ਡੇਟਾਬ੍ਰਿਕਸ ਲੇਕਹਾਊਸ ਵਿੱਚ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਡੇਟਾਮਾਰਟ ਦੀ ਸਵੈਚਲਿਤ ਰਚਨਾ।
  • AI, ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਅਤੇ ਹੋਰ ਪਹਿਲਕਦਮੀਆਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ ਤੁਹਾਡੇ ਡੇਟਾ ਰਿਪੋਜ਼ਟਰੀ ਦਾ ਆਧੁਨਿਕੀਕਰਨ।
• ਇਸ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ, Qlik Cloud Data Integration ਹੇਠ ਦਿੱਤੇ ਫੰਕਸ਼ਨ ਕਰਦਾ ਹੈ:
  • ਟੀਚਾ ਤਤਕਾਲ ਕਰੋ।
    • ਸਰੋਤ ਟੇਬਲ ਤੋਂ ਅਨੁਵਾਦ ਕੀਤੇ ਸਹੀ ਡੇਟਾ ਕਿਸਮਾਂ ਦੇ ਨਾਲ ਡੈਲਟਾ ਫਾਰਮੈਟ ਵਿੱਚ ਟਾਰਗੇਟ ਟੇਬਲ ਬਣਾਓ
    • ਸਟੋਰੇਜ ਲੇਅਰ ਨੂੰ ਡੇਟਾ ਭੇਜਣ ਵਾਲੇ ਸਰੋਤ ਤੋਂ ਸ਼ੁਰੂਆਤੀ/ਪੂਰਾ ਲੋਡ ਕਰੋ
      • SaaS ਐਪਲੀਕੇਸ਼ਨ - ਸਿੱਧੇ
      • ਰਿਲੇਸ਼ਨਲ ਡੇਟਾਬੇਸ - ਡੇਟਾ ਗੇਟਵੇ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ
    • ਸਟੋਰੇਜ ਲੇਅਰ ਤੋਂ ਡਾਟਾ ਲੋਡ ਕਰਨ ਅਤੇ ਡੈਲਟਾ ਫਾਰਮੈਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਨੂੰ ਟੇਬਲ ਵਿੱਚ ਬਦਲਣ ਲਈ ਸਪਾਰਕ SQL ਨੂੰ ਡਾਟਾਬ੍ਰਿਕਸ 'ਤੇ ਭੇਜੋ।
  • ਕੈਪਚਰ ਕਰੋ ਅਤੇ ਬਦਲਾਅ ਲਾਗੂ ਕਰੋ।
    • ਸਰੋਤ ਤੋਂ ਲੌਗ-ਅਧਾਰਿਤ ਸੀਡੀਸੀ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਕੈਪਚਰ ਕਰੋ
      • SaaS ਐਪਲੀਕੇਸ਼ਨ - ਸਿੱਧੇ
      • ਰਿਲੇਸ਼ਨਲ ਡਾਟਾਬੇਸ - Qlik ਡਾਟਾ ਗੇਟਵੇ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ
    • ਟਾਰਗੇਟ ਡੈਲਟਾ ਟੇਬਲਾਂ (ਸਟੋਰੇਜ ਲੇਅਰ ਨੂੰ ਇੰਟਰਮੀਡੀਏਟ s ਦੇ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹੋਏ) ਵਿੱਚ ਤਬਦੀਲੀਆਂ (ਇਨਸਰਟ / ਅੱਪਡੇਟ / ਮਿਟਾਓ) ਪ੍ਰਦਾਨ ਕਰੋ ਅਤੇ ਲਾਗੂ ਕਰੋtaging)
  • Sparksql ਨੂੰ ਡੇਟਾਬ੍ਰਿਕਸ ਨੂੰ ਭੇਜਣ ਵਾਲੇ ਪਰਿਵਰਤਨ ਨੂੰ ਚਲਾਓ

ਇਸ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਦੇਖਣ ਦਾ ਇੱਕ ਹੋਰ ਤਰੀਕਾ ਵਿਸ਼ੇਸ਼ ਫੰਕਸ਼ਨਾਂ ਵਾਲੇ ਕਾਰਜਾਂ ਦੀ ਧਾਰਨਾ ਦੁਆਰਾ ਹੈ

1. ਲੈਂਡਿੰਗ ਟਾਸਕ - ਵੱਖ-ਵੱਖ ਸਰੋਤਾਂ ਤੋਂ ਨਿਰਧਾਰਤ ਲੈਂਡਿੰਗ ਜ਼ੋਨ ਤੱਕ ਡੇਟਾ ਦੇ ਸਹਿਜ ਟ੍ਰਾਂਸਫਰ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ। ਚਿੱਤਰਕਾਰੀ ਡਾਇਗ੍ਰਾਮ ਕਿਲਿਕ ਡੇਟਾ ਗੇਟਵੇ ਦੀ ਵਰਤੋਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ - ਡੇਟਾ ਨੂੰ ਚਾਲੂ ਰੱਖਣ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ ਚੇਂਜ ਡੇਟਾ ਕੈਪਚਰ (ਸੀਡੀਸੀ) ਦੁਆਰਾ ਡੇਟਾ ਸਰੋਤਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਲਈ ਡੇਟਾ ਮੂਵਮੈਂਟ। ਇਸ ਤੋਂ ਇਲਾਵਾ, Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਸਰੋਤ ਕਨੈਕਸ਼ਨਾਂ ਨੂੰ ਪੂਰਾ ਲੋਡ ਚਲਾਉਣ ਲਈ ਲਗਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਅਨੁਸੂਚਿਤ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਮੁੜ ਲੋਡ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹੋਏ।
2. ਸਟੋਰੇਜ ਟਾਸਕ - ਸਟੋਰੇਜ਼ ਟੇਬਲਾਂ ਲਈ ਡੇਟਾ ਦੀ ਵਰਤੋਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਟੇਬਲ ਅਤੇ ਬਾਹਰੀ ਦੋਵਾਂ ਦੀ ਰਚਨਾ ਅਤੇ ਪ੍ਰਬੰਧਨ ਸ਼ਾਮਲ ਹੈ viewਐੱਸ. ਇਹ ਮਹੱਤਵਪੂਰਨ ਕੰਮ ਕਿਲਿਕ ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਵਾਤਾਵਰਣ ਦੇ ਅੰਦਰ ਡੇਟਾ ਦੀ ਇਕਸਾਰਤਾ ਅਤੇ ਪਹੁੰਚਯੋਗਤਾ ਨੂੰ ਬਣਾਈ ਰੱਖਣ ਵਿੱਚ ਇੱਕ ਮਹੱਤਵਪੂਰਣ ਭੂਮਿਕਾ ਅਦਾ ਕਰਦਾ ਹੈ। ਸਟੋਰੇਜ ਟਾਸਕ ਨਾ ਸਿਰਫ਼ ਡੇਟਾ ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਸਮੇਂ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਦਾ ਹੈ ਬਲਕਿ ਸਟੋਰੇਜ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਵਿੱਚ ਜਾਣਕਾਰੀ ਦੇ ਸਹਿਜ ਏਕੀਕਰਣ ਨੂੰ ਵੀ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ, Qlik Cloud Data Integration ਪਲੇਟਫਾਰਮ ਦੀ ਸਮੁੱਚੀ ਕੁਸ਼ਲਤਾ ਅਤੇ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ।
3. ਪਰਿਵਰਤਨ ਕਾਰਜ - ਤੁਹਾਡੀ ਡੇਟਾ ਪਾਈਪਲਾਈਨ ਦੇ ਅੰਦਰ, ਤੁਸੀਂ ਡੇਟਾ ਪਰਿਵਰਤਨ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਅਤੇ ਨਿਯਮ-ਅਧਾਰਿਤ ਦੋਵੇਂ ਹਨ। ਇਹ ਪਰਿਵਰਤਨ ਸਹਿਜੇ ਹੀ ਤੁਹਾਡੇ ਡੇਟਾ ਆਨਬੋਰਡਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ ਜਾਂ ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਪਰਿਵਰਤਨ ਡੇਟਾ ਕਾਰਜਾਂ ਵਜੋਂ ਸੈਟ ਅਪ ਕੀਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਲਚਕਤਾ ਕਸਟਮ SQL ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਕਤਾਰ-ਪੱਧਰ ਦੇ ਪਰਿਵਰਤਨ ਕਰਨ ਅਤੇ ਡੈਟਾਸੈੱਟਾਂ ਨੂੰ ਤਿਆਰ ਕਰਨ ਤੱਕ ਵਿਸਤ੍ਰਿਤ ਹੈ, ਜੋ ਕਿ ਜਾਂ ਤਾਂ ਟੇਬਲ ਦੇ ਰੂਪ ਵਿੱਚ ਬਣ ਸਕਦੀ ਹੈ ਜਾਂ ਗਤੀਸ਼ੀਲ ਦੇ ਰੂਪ ਵਿੱਚ ਪ੍ਰਗਟ ਹੋ ਸਕਦੀ ਹੈ। views ਉੱਡਣ 'ਤੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰ ਰਿਹਾ ਹੈ।
4. ਡਾਟਾ ਮਾਰਟ ਟਾਸਕ - ਡੇਟਾ ਨੂੰ ਸਫਲਤਾਪੂਰਵਕ ਆਨਬੋਰਡ ਕਰਨ ਤੋਂ ਬਾਅਦ, ਸਟੋਰੇਜ ਜਾਂ ਟ੍ਰਾਂਸਫਾਰਮ ਟਾਸਕ ਤੋਂ ਪ੍ਰਾਪਤ ਕੀਤੀ ਜਾਣਕਾਰੀ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੇਟਾ ਮਾਰਟ ਤਿਆਰ ਕਰਨਾ ਸੰਭਵ ਹੈ। ਕਾਰੋਬਾਰੀ ਜ਼ਰੂਰਤਾਂ ਦੇ ਅਨੁਸਾਰ, ਮਲਟੀਪਲ ਡਾਟਾ ਮਾਰਟਸ ਬਣਾਏ ਜਾ ਸਕਦੇ ਹਨ। ਆਦਰਸ਼ਕ ਤੌਰ 'ਤੇ, ਇਹਨਾਂ ਡੇਟਾ ਮਾਰਟਸ ਨੂੰ ਸੰਗ੍ਰਹਿਤ ਡੇਟਾ ਲਈ ਭੰਡਾਰ ਵਜੋਂ ਕੰਮ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਵਿਭਾਗ ਜਾਂ ਸੰਗਠਨ ਦੇ ਯੂਨਿਟ ਦੇ ਅੰਦਰ ਵਿਸ਼ਲੇਸ਼ਣਾਤਮਕ ਉਦੇਸ਼ਾਂ ਲਈ ਇਕੱਤਰ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਵਿਕਰੀ ਵਿਭਾਗ ਜਾਂ ML ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੁਆਰਾ ਖਪਤ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਵੀ ਪ੍ਰਗਟ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

ਲਾਗੂ ਕਰਨ ਲਈ ਮਾਰਗਦਰਸ਼ਨ

• ਜਿਵੇਂ ਕਿ ਇਸ ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਪਹਿਲਾਂ ਦੱਸਿਆ ਗਿਆ ਹੈ, Qlik Replicate ਅਤੇ Qlik Cloud Data Integration ਦੋ ਹੱਲ ਹਨ ਜੋ ਇਕੱਠੇ ਜਾਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਸੁਮੇਲ ਜਾਂ ਵਿਅਕਤੀਗਤ ਤੌਰ 'ਤੇ ਵਰਤਣ ਦਾ ਫੈਸਲਾ ਡੇਟਾ ਆਰਕੀਟੈਕਚਰ ਅਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਸਭ ਤੋਂ ਕੁਸ਼ਲ ਅਤੇ ਪ੍ਰਭਾਵੀ ਢਾਂਚੇ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਗਾਹਕ ਦੀਆਂ ਲੋੜਾਂ 'ਤੇ ਵਿਚਾਰ ਕਰਨਾ ਅਤੇ ਕੇਸਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ।
  • ਇੱਕ ਤੋਂ ਕਈ ਟੋਪੋਲੋਜੀ ਲਈ ਵਰਤਮਾਨ ਵਿੱਚ Qlik ਰਿਪਲੀਕੇਟ ਦੀ ਵਰਤੋਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ
  • SaaS ਸਰੋਤ ਸਿਰਫ Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦੁਆਰਾ ਸਮਰਥਿਤ ਹਨ
• ਅਜਿਹੇ ਕੇਸ ਹੋ ਸਕਦੇ ਹਨ ਜਿੱਥੇ ਰਿਪਲੀਕੇਟ ਅਤੇ ਕਿਲਿਕ ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦੋਨਾਂ ਨੂੰ ਇਕੱਠੇ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਉਦਾਹਰਣ ਦੇ ਲਈ, ਰੀਪਲੀਕੇਟ ਦੀ ਵਰਤੋਂ ਇੱਕ ਸਰੋਤ ਤੋਂ ਡੇਟਾਬ੍ਰਿਕਸ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਫੀਡ ਕਰਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ ਜੋ ਵਰਤਮਾਨ ਵਿੱਚ Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦੁਆਰਾ ਸਮਰਥਿਤ ਨਹੀਂ ਹੈ। ਰਜਿਸਟਰਡ ਡੇਟਾ ਨੂੰ ਫਿਰ Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਣਾਈਆਂ ਗਈਆਂ ਡੇਟਾ ਪਾਈਪਲਾਈਨਾਂ ਲਈ ਇਨਪੁਟਸ ਵਜੋਂ ਵਰਤਿਆ ਜਾ ਸਕਦਾ ਹੈ।

Databricks ਡਾਟਾ ਇੰਟੈਲੀਜੈਂਸ ਪਲੇਟਫਾਰਮ

• ਡੇਟਾਬ੍ਰਿਕਸ ਡੇਟਾ ਇੰਟੈਲੀਜੈਂਸ ਪਲੇਟਫਾਰਮ ਦੀ ਬੁਨਿਆਦ ਲੇਕਹਾਊਸ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਹੈ, ਜੋ ਡੇਟਾ ਝੀਲਾਂ ਅਤੇ ਡੇਟਾ ਵੇਅਰਹਾਊਸਾਂ ਦਾ ਇੱਕ ਕ੍ਰਾਂਤੀਕਾਰੀ ਮਿਸ਼ਰਣ ਹੈ। ਇਹ ਨਵੀਨਤਾਕਾਰੀ ਪਹੁੰਚ ਲਾਗਤਾਂ ਨੂੰ ਘੱਟ ਕਰਨ ਅਤੇ ਡੇਟਾ ਅਤੇ AI ਟੀਚਿਆਂ ਦੀ ਪ੍ਰਾਪਤੀ ਵਿੱਚ ਤੇਜ਼ੀ ਲਿਆਉਣ ਲਈ ਤਿਆਰ ਹੈ।
• ਓਪਨ-ਸਰੋਤ ਸਿਧਾਂਤਾਂ ਨੂੰ ਅਪਣਾਉਂਦੇ ਹੋਏ ਅਤੇ ਖੁੱਲੇ ਮਿਆਰਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹੋਏ, ਲੇਕਹਾਊਸ ਆਰਕੀਟੈਕਚਰ ਇਤਿਹਾਸਕ ਰੁਕਾਵਟਾਂ ਨੂੰ ਹਟਾ ਕੇ ਡਾਟਾ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਨੂੰ ਸੁਚਾਰੂ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਅਕਸਰ ਡੇਟਾ ਅਤੇ AI ਦੇ ਖੇਤਰਾਂ ਨੂੰ ਗੁੰਝਲਦਾਰ ਬਣਾਉਂਦੇ ਹਨ। ਅਜਿਹਾ ਕਰਨ ਨਾਲ, ਇਹ ਤੁਹਾਡੇ ਡੇਟਾ ਸਰੋਤਾਂ ਦੇ ਪ੍ਰਬੰਧਨ ਅਤੇ ਲਾਭ ਉਠਾਉਣ ਲਈ ਇੱਕ ਵਧੇਰੇ ਤਾਲਮੇਲ ਅਤੇ ਕੁਸ਼ਲ ਵਾਤਾਵਰਣ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ।

ਯੂਨੀਫਾਈਡ

ਏਕੀਕਰਣ, ਸਟੋਰੇਜ, ਪ੍ਰੋਸੈਸਿੰਗ, ਗਵਰਨੈਂਸ, ਸ਼ੇਅਰਿੰਗ, ਵਿਸ਼ਲੇਸ਼ਣ, ਅਤੇ ਏਆਈ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਵਾਲੀ ਇੱਕ ਯੂਨੀਫਾਈਡ ਆਰਕੀਟੈਕਚਰ। ਢਾਂਚਾਗਤ ਅਤੇ ਗੈਰ-ਸੰਗਠਿਤ ਡੇਟਾ ਦੋਵਾਂ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਇਕਵਚਨ ਵਿਧੀ। ਸ਼ੁਰੂ ਤੋਂ ਅੰਤ ਤੱਕ ਡੇਟਾ ਵੰਸ਼ ਅਤੇ ਉਤਪੱਤੀ 'ਤੇ ਇੱਕ ਵਿਆਪਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ। ਸਾਰੇ ਪ੍ਰਮੁੱਖ ਕਲਾਉਡ ਪ੍ਰਦਾਤਾਵਾਂ ਵਿੱਚ ਪਾਈਥਨ ਅਤੇ SQL, ਨੋਟਬੁੱਕ ਅਤੇ IDE, ਬੈਚ ਅਤੇ ਸਟ੍ਰੀਮਿੰਗ ਪ੍ਰਕਿਰਿਆਵਾਂ ਨੂੰ ਅਨੁਕੂਲ ਕਰਨ ਵਾਲੀ ਇੱਕ ਸੰਯੁਕਤ ਟੂਲਕਿੱਟ।

ਖੋਲ੍ਹੋ

• ਡੇਟਾਬ੍ਰਿਕਸ ਫਰੇਮਵਰਕ ਦੇ ਅੰਦਰ, ਡੇਟਾ ਉੱਤੇ ਨਿਯੰਤਰਣ ਨਿਰੰਤਰ ਬਣਾਈ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ, ਮਲਕੀਅਤ ਦੇ ਫਾਰਮੈਟਾਂ ਅਤੇ ਬੰਦ ਈਕੋਸਿਸਟਮ ਤੋਂ ਸੁਤੰਤਰਤਾ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ।
• ਲੇਕਹਾਊਸ ਆਰਕੀਟੈਕਚਰ ਦੀ ਬੁਨਿਆਦ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਅਪਾਚੇ ਸਪਾਰਕ™, ਡੈਲਟਾ ਲੇਕ, ਅਤੇ MLflow ਵਰਗੇ ਓਪਨ-ਸੋਰਸ ਪ੍ਰੋਜੈਕਟਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਇਹ ਡੇਟਾਬ੍ਰਿਕਸ ਪਾਰਟਨਰ ਨੈਟਵਰਕ ਦੁਆਰਾ ਗਲੋਬਲ ਸਮਰਥਨ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਡੈਲਟਾ ਸ਼ੇਅਰਿੰਗ ਵਿਸ਼ੇਸ਼ਤਾ ਲੇਕਹਾਊਸ ਤੋਂ ਕਿਸੇ ਵੀ ਕੰਪਿਊਟਿੰਗ ਪਲੇਟਫਾਰਮ 'ਤੇ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਸਾਂਝਾ ਕਰਨ ਲਈ ਇੱਕ ਖੁੱਲ੍ਹਾ ਹੱਲ ਪੇਸ਼ ਕਰਦੀ ਹੈ। ਇਹ ਡਾਟਾ ਰੀਪਲੀਕੇਸ਼ਨ ਜਾਂ ਗੁੰਝਲਦਾਰ ਐਬਸਟਰੈਕਟ, ਟ੍ਰਾਂਸਫਾਰਮ, ਲੋਡ (ETL) ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

ਸਕੇਲੇਬਲ

• ਕਾਰਜਕੁਸ਼ਲਤਾ ਅਤੇ ਸਟੋਰੇਜ ਲਈ ਆਟੋਮੈਟਿਕ ਅਨੁਕੂਲਤਾ ਨੂੰ ਧਿਆਨ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ ਤਾਂ ਜੋ ਡਾਟਾ ਵੇਅਰਹਾਊਸਿੰਗ ਅਤੇ ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ (AI) ਦੀ ਵਰਤੋਂ ਦੇ ਕੇਸਾਂ ਲਈ ਇੱਕੋ ਸਮੇਂ ਵਿਸ਼ਵ-ਰਿਕਾਰਡ-ਸੈਟਿੰਗ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹੋਏ, ਡਾਟਾ ਪਲੇਟਫਾਰਮਾਂ ਵਿਚਕਾਰ ਮਾਲਕੀ ਦੀ ਸਭ ਤੋਂ ਘੱਟ ਕੁੱਲ ਲਾਗਤ (TCO) ਨੂੰ ਯਕੀਨੀ ਬਣਾਇਆ ਜਾ ਸਕੇ। ਇਹ ਜਨਰੇਟਿਵ ਤਕਨੀਕਾਂ ਜਿਵੇਂ ਕਿ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਦੀ ਵਰਤੋਂ ਤੱਕ ਵਿਸਤ੍ਰਿਤ ਹੈ।
• ਸੰਗਠਨਾਤਮਕ ਪੈਮਾਨੇ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ, ਡਾਟਾਬ੍ਰਿਕਸ ਨੂੰ ਸ਼ੁਰੂਆਤ ਤੋਂ ਲੈ ਕੇ ਗਲੋਬਲ ਐਂਟਰਪ੍ਰਾਈਜ਼ਾਂ ਤੱਕ, ਕਾਰੋਬਾਰਾਂ ਦੀਆਂ ਸੰਚਾਲਨ ਲੋੜਾਂ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਹੱਲ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ।

SQL ਵੇਅਰਹਾਊਸ x ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰ

Qlik ਹੱਲ ਡਾਟਾਬ੍ਰਿਕਸ SQL ਵੇਅਰਹਾਊਸ ਅਤੇ ਕੰਪਿਊਟ ਕਲੱਸਟਰਾਂ ਦੋਵਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਉਹ ਕਲਾਉਡ ਵਿੱਚ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਦੇ ਦੋ ਵੱਖ-ਵੱਖ ਤਰੀਕੇ ਹਨ। ਦੋਵਾਂ ਮਾਮਲਿਆਂ ਵਿੱਚ Qlik ਹੱਲ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ SparkSQL ਕਮਾਂਡਾਂ ਭੇਜੇਗਾ, ਹੋਰ ਸਮਰਥਿਤ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ (ਜਿਵੇਂ ਕਿ ਸਾਬਕਾ ਲਈ Scala ਵਿੱਚ ਨੋਟਬੁੱਕਾਂ) 'ਤੇ ਭਰੋਸਾ ਨਹੀਂ ਕੀਤਾ ਜਾਵੇਗਾ।ample). Databricks SQL ਵੇਅਰਹਾਊਸਾਂ ਅਤੇ ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰਾਂ ਵਿਚਕਾਰ ਚੋਣ ਹਰੇਕ ਪ੍ਰੋਜੈਕਟ ਦੀਆਂ ਖਾਸ ਲੋੜਾਂ ਅਤੇ ਟੀਚਿਆਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਵਿਚਾਰਨ ਲਈ ਕੁਝ ਕਾਰਕ ਹਨ:

ਡਾਟਾ ਵਾਲੀਅਮ

• CDC ਬਾਰੰਬਾਰਤਾ: ਪਹਿਲੀ ਵਾਰ ਕਾਰਵਾਈ ਕਰਨ 'ਤੇ SQL ਵੇਅਰਹਾਊਸ ਸਪਿਨ ਅਪ ਕਰਨ ਲਈ ਤੇਜ਼ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਕਲੱਸਟਰ ਪਹਿਲੀ ਕਮਾਂਡ ਦਾ ਜਵਾਬ ਦੇਣ ਲਈ ਹੌਲੀ ਹੋ ਸਕਦੇ ਹਨ।
• ਸਕੇਲੇਬਿਲਟੀ ਅਤੇ ਲਚਕਤਾ: ਸਮਕਾਲੀ ਉਪਭੋਗਤਾਵਾਂ ਅਤੇ ਸਵਾਲਾਂ ਦੀ ਮੰਗ ਨੂੰ ਪੂਰਾ ਕਰਨ ਲਈ SQL ਵੇਅਰਹਾਊਸ ਆਪਣੇ ਆਪ ਹੀ ਉੱਪਰ ਜਾਂ ਹੇਠਾਂ ਸਕੇਲ ਕਰ ਸਕਦੇ ਹਨ। ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰ ਵੀ ਸਕੇਲ ਕਰ ਸਕਦੇ ਹਨ ਪਰ ਵਧੇਰੇ ਦਸਤੀ ਦਖਲ ਅਤੇ ਟਿਊਨਿੰਗ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• ਸੁਰੱਖਿਆ ਅਤੇ ਪ੍ਰਸ਼ਾਸਨ: SQL ਵੇਅਰਹਾਊਸ ਬਿਲਟ-ਇਨ ਸੁਰੱਖਿਆ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਏਨਕ੍ਰਿਪਸ਼ਨ, ਪ੍ਰਮਾਣਿਕਤਾ, ਅਧਿਕਾਰ, ਆਡਿਟਿੰਗ, ਅਤੇ ਪਾਲਣਾ। ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰ ਸੁਰੱਖਿਆ ਉਪਾਵਾਂ ਨੂੰ ਵੀ ਲਾਗੂ ਕਰ ਸਕਦੇ ਹਨ ਪਰ ਵਧੇਰੇ ਸੰਰਚਨਾ ਅਤੇ ਪ੍ਰਬੰਧਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।
• ਸੰਖੇਪ ਵਿੱਚ, ਡੈਟਾਬ੍ਰਿਕਸ SQL ਵੇਅਰਹਾਊਸ ਅਤੇ ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰ ਕਲਾਉਡ ਵਿੱਚ ਡਾਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਸ਼ਕਤੀਸ਼ਾਲੀ ਅਤੇ ਭਰੋਸੇਮੰਦ ਹੱਲ ਹਨ। ਹਾਲਾਂਕਿ, ਉਹਨਾਂ ਦੀਆਂ ਵੱਖੋ ਵੱਖਰੀਆਂ ਸ਼ਕਤੀਆਂ ਅਤੇ ਕਮਜ਼ੋਰੀਆਂ ਹਨ ਜਿਹਨਾਂ ਦਾ ਧਿਆਨ ਨਾਲ ਇੱਕ ਦੂਜੇ ਦੀ ਚੋਣ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਮੁਲਾਂਕਣ ਕੀਤਾ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ।

Qlik ਹੱਲ ਲਈ ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰਾਂ ਲਈ ਸਿਫ਼ਾਰਿਸ਼ਾਂ

ਨੋਟ ਕਰੋ
ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਸੰਦਰਭ ਲਈ ਹਨ ਅਤੇ ਖਾਸ ਲੋੜਾਂ ਦੇ ਸਬੰਧ ਵਿੱਚ Qlik ਅਤੇ ਇਸਦੇ ਭਾਈਵਾਲਾਂ ਦੁਆਰਾ ਕਰਵਾਏ ਗਏ ਪ੍ਰੋਜੈਕਟਾਂ ਅਤੇ POCs 'ਤੇ ਆਧਾਰਿਤ ਹਨ। ਕਈ ਕਾਰਕ ਜਿਵੇਂ ਕਿ ਨੈੱਟਵਰਕ ਟੌਪੋਲੋਜੀ, ਲੇਟੈਂਸੀ, ਟੇਬਲ ਬਣਤਰ, ਅੱਪਡੇਟ ਬਾਰੰਬਾਰਤਾ, ਡਰਾਈਵਰ ਸੰਸਕਰਣ, ਆਦਿ ਤੁਹਾਡੇ ਖਾਸ ਵਰਤੋਂ ਦੇ ਕੇਸ ਲਈ ਲੋੜੀਂਦੀਆਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ। ਗਾਹਕਾਂ ਨੂੰ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਉਹ ਉਹਨਾਂ ਦੀਆਂ ਸੰਰਚਨਾਵਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਸਕੋਪਿੰਗ ਅਤੇ ਮਿਹਨਤ ਨਾਲ ਕੰਮ ਕਰਨ।

1. ਡਾਟਾਬ੍ਰਿਕਸ ਰਨਟਾਈਮ
   ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਜਦੋਂ ਤੁਸੀਂ ਆਪਣੇ ਕਲੱਸਟਰ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰ ਰਹੇ ਹੁੰਦੇ ਹੋ ਤਾਂ ਕਿਹੜਾ ਡਾਟਾਬ੍ਰਿਕਸ ਰਨਟਾਈਮ ਸਮਰਥਿਤ ਹੈ, ਹਮੇਸ਼ਾ Qlik Replicate ਅਤੇ Qlik Cloud Data Integration (http://help.qlik.com) ਦੀ ਜਾਂਚ ਕਰੋ।
2. ਡਾਟਾਬ੍ਰਿਕਸ ਰਨਟਾਈਮ ਸੰਸਕਰਣ ਫੋਟੋਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ
   ਜਦੋਂ ਤੁਸੀਂ ਆਪਣੇ ਕਲੱਸਟਰ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰ ਰਹੇ ਹੋਵੋ ਤਾਂ ਡੇਟਾਬ੍ਰਿਕਸ ਰਨਟਾਈਮ ਸੰਸਕਰਣ ਲਈ "ਫੋਟੋਨ" ਚੁਣੋ ਜੋ ਤੁਹਾਡੇ ਆਮ-ਉਦੇਸ਼ ਵਾਲੇ ਕਲੱਸਟਰ ਦਾ ਸਮਰਥਨ ਕਰੇਗਾ। ਫੋਟੋਨ ਡੇਟਾਬ੍ਰਿਕਸ 'ਤੇ ਮੂਲ ਵੈਕਟਰਾਈਜ਼ਡ ਪੁੱਛਗਿੱਛ ਇੰਜਣ ਹੈ, ਜੋ ਅਪਾਚੇ ਸਪਾਰਕ ਨਾਲ ਸਿੱਧੇ ਅਨੁਕੂਲ ਹੋਣ ਲਈ ਲਿਖਿਆ ਗਿਆ ਹੈ। ਫੋਟੌਨ ਇੱਕ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਰਨਟਾਈਮ ਦਾ ਹਿੱਸਾ ਹੈ ਜੋ ਤੁਹਾਡੀ ਮੌਜੂਦਾ SQL ਅਤੇ DataFrame API ਕਾਲਾਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਚਲਾਉਂਦਾ ਹੈ ਅਤੇ ਪ੍ਰਤੀ ਵਰਕਲੋਡ ਤੁਹਾਡੀ ਕੁੱਲ ਲਾਗਤ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਫੋਟੋਨ ਬਾਰੇ ਹੋਰ ਚਰਚਾ ਲਈ, ਕਿਰਪਾ ਕਰਕੇ ਇਸ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਵੇਖੋ https://docs.databricks.com/runtime/photon.html
3. "ਮੈਮੋਰੀ ਅਨੁਕੂਲਿਤ - ਡੈਲਟਾ ਕੈਸ਼ ਐਕਸਲਰੇਟਿਡ" ਚੁਣੋ
   ਜਦੋਂ ਤੁਸੀਂ ਆਪਣੇ ਕਲੱਸਟਰ ਦੀ ਸੰਰਚਨਾ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਤੁਸੀਂ "ਮੈਮੋਰੀ ਅਨੁਕੂਲਿਤ - ਡੈਲਟਾ ਕੈਸ਼ ਐਕਸਲਰੇਟਿਡ" ਵਰਕਰ ਕਿਸਮ ਦੀ ਚੋਣ ਕੀਤੀ ਹੈ।
   (*) ਉਪਰੋਕਤ ਸੂਚੀ Azure Databricks 'ਤੇ ਆਧਾਰਿਤ ਹੈ, ਇਹ ਬਦਲ ਸਕਦੀ ਹੈ ਜੇਕਰ ਤੁਸੀਂ AWS ਜਾਂ GCP ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹੋ

   

4. ਆਟੋ-ਓਪਟੀਮਾਈਜ਼ ਵਿਕਲਪਾਂ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰੋ
   ਆਪਟੀਮਾਈਜ਼ ਰਾਈਟ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਣ ਅਤੇ ਆਟੋਕੌਂਪੈਕਟ ਨੂੰ ਅਯੋਗ ਕਰਨ ਲਈ ਆਪਣੇ ਕਲੱਸਟਰ ਵਿੱਚ ਇੱਕ ਸੰਰਚਨਾ ਸ਼ਾਮਲ ਕਰੋ। ਸੀਰੀਅਲ ਕੰਪੈਕਟ ਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਸੀਡੀਸੀ ਅਪਡੇਟਾਂ (ਜਿਸ ਨਾਲ ਵਧੀ ਹੋਈ ਲੇਟੈਂਸੀ ਹੋ ਸਕਦੀ ਹੈ) ਦੁਆਰਾ ਸ਼ੁਰੂ ਹੋਣ ਤੋਂ ਰੋਕਣ ਲਈ ਆਟੋਕੰਪੈਕਟ ਨੂੰ ਅਯੋਗ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ। ਅਜਿਹਾ ਕਰਨ ਲਈ, ਆਪਣੇ ਕਲੱਸਟਰ ਦੇ ਐਡਵਾਂਸਡ ਵਿਕਲਪਾਂ ਦੇ ਆਪਣੇ ਸਪਾਰਕ ਭਾਗ ਵਿੱਚ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਲਾਈਨਾਂ ਨੂੰ ਜੋੜੋ।
   ਚੰਗਿਆੜੀ ਡਾਟਾ bricks.delta.properties.defaults। auto-optimize.optimize ਸਹੀ ਲਿਖੋ
   spark.databricks.delta.properties.defaults.autoOptimize.autoCompact false
   ਕ੍ਰਿਪਾ ਜਾਂਚ ਕਰੋ https://docs.databricks.com/clusters/configure.html ਆਪਣੇ ਕਲੱਸਟਰ ਨੂੰ ਸੰਰਚਿਤ ਕਰਨ ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਲਈ।
5. ਟੇਬਲਾਂ ਨੂੰ ਨਿਯਮਿਤ ਤੌਰ 'ਤੇ ਅਨੁਕੂਲ ਬਣਾਓ
   ਤੁਹਾਡੀ ਡੈਲਟਾ ਝੀਲ ਵਿੱਚ ਟੇਬਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਇੱਕ ਨੋਟਬੁੱਕ ਨੂੰ ਤਹਿ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਇਹ ਲੈਂਡ ਕੀਤੇ ਡੇਟਾ ਲਈ ਪੁੱਛਗਿੱਛ ਦੀ ਗਤੀ ਵਿੱਚ ਸੁਧਾਰ ਕਰੇਗਾ। ਕਿਰਪਾ ਕਰਕੇ ਇਸ ਦਸਤਾਵੇਜ਼ ਦੀ ਸਲਾਹ ਲਓ: https://docs.microsoft.com/en-us/azure/databricks/delta/optimizations/file-mgmt ਐੱਸ ਲਈampਟੇਬਲਾਂ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਨੋਟਬੁੱਕਾਂ ਦੇ ਲੇਸ.
6. ਆਟੋਸਕੇਲਿੰਗ
   ਪਰਿਵਰਤਨਸ਼ੀਲ ਵਰਕਲੋਡ ਵਾਲੀਅਮ ਦੇ ਕਾਰਨ ਜੋ CDC ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਸਿਫਾਰਿਸ਼ ਨੂੰ ਦੁਬਾਰਾ ਕਰਨ ਦੀ ਹੈview ਤੁਹਾਡੀ ਸੰਰਚਨਾ ਵਰਕਲੋਡ ਅਤੇ ਤੁਹਾਡੇ ਕੰਮਾਂ ਦੇ ਨਾਲ ਟੈਸਟਿੰਗ, ਨਿਗਰਾਨੀ ਅਤੇ ਫਿਰ ਵਰਤੋਂ ਦੇ ਅਧਾਰ 'ਤੇ ਵਧਾਉਣ ਜਾਂ ਘਟਾਉਣ ਦੇ ਅਧਾਰ ਤੇ। ਕਿਰਪਾ ਕਰਕੇ ਡੇਟਾਬ੍ਰਿਕਸ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਵੇਖੋ (https://docs.databricks.com/clusters/clusters-manage.html#monitor-performance) ਕਲੱਸਟਰ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨ ਦੇ ਤਰੀਕੇ ਲਈ।

Qlik ਹੱਲ ਲਈ SQL ਵੇਅਰਹਾਊਸਾਂ ਲਈ ਸਿਫ਼ਾਰਿਸ਼ਾਂ

ਨੋਟ ਕਰੋ

ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਸਿਫ਼ਾਰਸ਼ਾਂ ਸੰਦਰਭ ਲਈ ਹਨ ਅਤੇ ਖਾਸ ਲੋੜਾਂ ਦੇ ਸਬੰਧ ਵਿੱਚ Qlik ਅਤੇ ਇਸਦੇ ਭਾਈਵਾਲਾਂ ਦੁਆਰਾ ਕਰਵਾਏ ਗਏ ਪ੍ਰੋਜੈਕਟਾਂ ਅਤੇ POCs 'ਤੇ ਆਧਾਰਿਤ ਹਨ। ਕਈ ਕਾਰਕ ਜਿਵੇਂ ਕਿ ਨੈੱਟਵਰਕ ਟੌਪੋਲੋਜੀ, ਲੇਟੈਂਸੀ, ਟੇਬਲ ਬਣਤਰ, ਅੱਪਡੇਟ ਬਾਰੰਬਾਰਤਾ, ਡਰਾਈਵਰ ਸੰਸਕਰਣ, ਆਦਿ ਤੁਹਾਡੇ ਖਾਸ ਵਰਤੋਂ ਦੇ ਕੇਸ ਲਈ ਲੋੜੀਂਦੀਆਂ ਸੈਟਿੰਗਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ। ਗਾਹਕਾਂ ਨੂੰ ਸਲਾਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਉਹ ਉਹਨਾਂ ਦੀਆਂ ਸੰਰਚਨਾਵਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਸਕੋਪਿੰਗ ਅਤੇ ਮਿਹਨਤ ਨਾਲ ਕੰਮ ਕਰਨ।
SQL ਵੇਅਰਹਾਊਸਾਂ ਕੋਲ ਵੇਅਰਹਾਊਸ ਪੱਧਰ (ਕਲੱਸਟਰਾਂ ਦੇ ਮੁਕਾਬਲੇ) 'ਤੇ ਕੌਂਫਿਗਰ ਕਰਨ ਲਈ ਬਹੁਤ ਘੱਟ ਵਿਕਲਪ ਹਨ। ਉਪਲਬਧ ਸੰਰਚਨਾਵਾਂ।

1. ਵੇਅਰਹਾਊਸ ਦੀ ਕਿਸਮ
   • ਜਦੋਂ ਇਹ ਦਸਤਾਵੇਜ਼ ਲਿਖਿਆ ਗਿਆ ਸੀ ਉਦੋਂ ਤੱਕ ਤਿੰਨ ਵੇਅਰਹਾਊਸ ਕਿਸਮਾਂ ਹਨ। ਕਿਰਪਾ ਕਰਕੇ ਇਸ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਵੇਖੋ SQL ਵੇਅਰਹਾਊਸ ਕੀ ਹਨ? ਉਹਨਾਂ ਬਾਰੇ ਆਮ ਚਰਚਾ ਲਈ
   • ਪ੍ਰਦਰਸ਼ਨ ਅਤੇ ਸਮਰੂਪਤਾ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ, ਆਮ ਸਿਫ਼ਾਰਸ਼ ਤੁਹਾਡੇ ਕੰਮ ਦੇ ਆਮ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਵਧਾਉਣ ਲਈ ਸਰਵਰ ਰਹਿਤ ਵੇਅਰਹਾਊਸ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਹੈ। ਕੁਝ ਵਾਤਾਵਰਣ ਅਤੇ ਖਾਤਿਆਂ ਵਿੱਚ ਇਹ ਵਿਕਲਪ ਨਹੀਂ ਹੁੰਦਾ ਹੈ, ਇਸ ਸਥਿਤੀ ਵਿੱਚ, ਇੱਕ ਪ੍ਰੋ ਵੇਅਰਹਾਊਸ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
2. ਸਕੇਲਿੰਗ
   ਇਸ ਪੈਰਾਮੀਟਰ ਨੂੰ ਟਾਸਕ ਪੈਰਾਮੀਟਰ "ਸਮਾਂਤਰ ਵਿੱਚ ਲੋਡ ਕਰਨ ਲਈ ਟੇਬਲਾਂ ਦੀ ਅਧਿਕਤਮ ਸੰਖਿਆ" (ਰਿਪਲੀਕੇਟ) ਜਾਂ "ਡਾਟਾਬੇਸ ਕਨੈਕਸ਼ਨਾਂ ਦੀ ਅਧਿਕਤਮ ਸੰਖਿਆ" (Qlik Cloud Data Integration) ਦੇ ਆਧਾਰ 'ਤੇ ਵਧਾਉਣ ਲਈ ਵਿਵਸਥਿਤ ਕਰੋ। ਅੰਗੂਠੇ ਦਾ ਆਮ ਨਿਯਮ 2 ਤੋਂ 3 ਟੇਬਲਾਂ ਜਾਂ ਸਮਾਨਾਂਤਰ ਕਨੈਕਸ਼ਨਾਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਲਈ ਇੱਕ ਵੇਅਰਹਾਊਸ ਕਲੱਸਟਰ ਹੋਣਾ ਹੈ।
3. ਕਲੱਸਟਰ ਦਾ ਆਕਾਰ
   • ਇਹ ਪੈਰਾਮੀਟਰ ਪ੍ਰਕਿਰਿਆ ਕੀਤੇ ਜਾ ਰਹੇ ਡੇਟਾ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰਦਾ ਹੈ। ਕਈ ਮਾਪਦੰਡ ਆਮ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਕਈ ਟੇਬਲ, ਹਰੇਕ ਟੇਬਲ ਦੀ ਸੰਖਿਆ ਅਤੇ ਕਾਲਮ ਕਿਸਮ, ਅੱਪਡੇਟ ਬਾਰੰਬਾਰਤਾ, ਆਦਿ।
   • ਆਮ ਸਿਫ਼ਾਰਸ਼ ਇੱਕ ਅਜਿਹੇ ਆਕਾਰ ਨਾਲ ਸ਼ੁਰੂ ਕਰਨ ਦੀ ਹੈ ਜਿਸਦੀ ਚੰਗੀ ਉਮੀਦ ਕੀਤੀ ਲਾਗਤ x ਪ੍ਰਦਰਸ਼ਨ ਹੈ (ਜਿਵੇਂ ਕਿ ਸਾਬਕਾ ਲਈ ਇੱਕ ਮਾਧਿਅਮample) ਅਤੇ ਬੇਸਲਾਈਨ ਨਾਲ ਤੁਲਨਾ ਕਰਦੇ ਹੋਏ ਇਸ ਪੈਰਾਮੀਟਰ (ਉੱਪਰ ਜਾਂ ਹੇਠਾਂ) ਨੂੰ ਵਿਵਸਥਿਤ ਕਰਨ ਲਈ ਕੁਝ ਟੈਸਟਿੰਗ ਕਰੋ।

SQL ਵੇਅਰਹਾਊਸ x ਜਨਰਲ ਕੰਪਿਊਟ ਕਲੱਸਟਰਾਂ ਵਿਚਕਾਰ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਤੁਲਨਾ

ਨੋਟ ਕਰੋ
ਇਹ ਟੈਸਟ ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਦੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਇਹ ਕਿਸੇ ਵੀ ਅਸਲ ਲਾਈਵ ਵਾਤਾਵਰਣ ਨੂੰ ਨਹੀਂ ਦਰਸਾਉਂਦਾ ਹੈ। ਨਤੀਜੇ ਸਰੋਤਾਂ ਦੀ ਕਿਸਮ, ਟੌਪੌਲੋਜੀ, ਵਾਲੀਅਮ, ਰਿਕਾਰਡ ਦਾ ਆਕਾਰ, ਸਰੋਤ ਡੇਟਾਬੇਸ ਟਿਊਨਿੰਗ, ਅਤੇ ਹੋਰ ਵੇਰੀਏਬਲਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਵੱਖ-ਵੱਖ ਹੋ ਸਕਦੇ ਹਨ।

ਵਾਤਾਵਰਣ:

• ਸਰੋਤ
  • PostgreSQL ਇੱਕ VM 'ਤੇ ਚੱਲ ਰਿਹਾ ਹੈ
  • 1 ਕਾਲਮਾਂ ਅਤੇ 7 ਮਿਲੀਅਨ ਰਿਕਾਰਡਾਂ ਵਾਲੀ 36 ਸਾਰਣੀ
  • ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ(1 ਕਾਲਮ)
  • ਪ੍ਰੋ ਦੇ ਨਾਲ ਸੀਡੀਸੀ ਸਕ੍ਰਿਪਟ ਟੈਸਟਿੰਗfile ਹੇਠਾਂ
• ਟਾਰਗੇਟਸ (ਅਜ਼ੁਰ 'ਤੇ ਡਾਟਾਬ੍ਰਿਕਸ) - ਐੱਸtagADLS gen2 'ਤੇ ing
• ਵਿੰਡੋਜ਼ 'ਤੇ ਨਵੰਬਰ 2023 (2023.11.0.149) ਦੀ ਨਕਲ ਕਰੋ
• ਪ੍ਰਕਿਰਿਆ
  • ਦੋ ਕਾਰਜ (ਇੱਕੋ ਸਰੋਤ ਅਤੇ ਵੱਖ-ਵੱਖ ਟੀਚਾ ਅੰਤਮ ਬਿੰਦੂ)
  • ਟਾਸਕ 1 'ਤੇ ਪੂਰਾ ਲੋਡ ਸ਼ੁਰੂ ਕੀਤਾ ਅਤੇ ਪੂਰਾ ਹੋਣ ਦੀ ਉਡੀਕ ਕੀਤੀ।
  • ਟਾਸਕ 2 'ਤੇ ਪੂਰਾ ਲੋਡ ਸ਼ੁਰੂ ਕੀਤਾ ਅਤੇ ਪੂਰਾ ਹੋਣ ਦੀ ਉਡੀਕ ਕੀਤੀ।
  • ਤਬਦੀਲੀਆਂ ਦੀ ਨਕਲ ਕਰਨ ਵਾਲੀ SQL ਸਕ੍ਰਿਪਟ ਸ਼ੁਰੂ ਕੀਤੀ। ਦੋਵੇਂ ਕੰਮ ਸਮਾਨਾਂਤਰ ਚੱਲਦੇ ਹਨ ਅਤੇ ਡੇਟਾਬ੍ਰਿਕਸ 'ਤੇ ਵੱਖ-ਵੱਖ ਸਕੀਮਾਂ ਨੂੰ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ
    ਨਤੀਜੇ:
    ਸਾਰੇ ਅੰਕੜੇ ਇਕੱਠੇ ਕਰਨ ਲਈ ਕਿਲਿਕ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਮੈਨੇਜਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਅਸੀਂ ਦੇਖਿਆ ਕਿ SQL ਵੇਅਰਹਾਊਸਾਂ ਅਤੇ ਕਲੱਸਟਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਿੱਚ ਕਾਰਗੁਜ਼ਾਰੀ ਵਿੱਚ ਕੋਈ ਮਹੱਤਵਪੂਰਨ ਅੰਤਰ ਨਹੀਂ ਹੈ। ਲਾਗਤ ਦੇ ਨਜ਼ਰੀਏ ਤੋਂ, SQL ਵੇਅਰਹਾਊਸ ਆਮ ਤੌਰ 'ਤੇ ਵਧੇਰੇ ਲਾਗਤ-ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੁੰਦੇ ਹਨ, ਜੋ ਕਿ ਕਲੱਸਟਰਾਂ 'ਤੇ ਉਹਨਾਂ ਦੀ ਵਰਤੋਂ ਨੂੰ ਦਰਸਾ ਸਕਦੇ ਹਨ।

Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਲਈ ਸਿਫ਼ਾਰਿਸ਼ਾਂ

1. ਇੱਕ ਕੰਮ ਵਿੱਚ ਸਾਰਣੀ ਚੋਣ
   ਡੇਟਾਬ੍ਰਿਕਸ ਵੱਡੇ ਜਾਂ ਚੌੜੇ (ਕਈ ਕਾਲਮ) ਟੇਬਲਾਂ ਨੂੰ ਅਲੱਗ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਉਹਨਾਂ ਦੇ ਕੰਮਾਂ ਲਈ ਬਹੁਤ ਸਾਰੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ। ਇਸ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਜਾਂ ਕਿਸੇ ਖਾਸ ਕੰਮ ਲਈ ਵੇਅਰਹਾਊਸ ਨਿਰਧਾਰਤ ਕਰਨਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।
2. ਇੱਕ ਕੰਮ ਵਿੱਚ ਤਬਦੀਲੀਆਂ
   ਜੇ ਤੁਹਾਡਾ ਉਦੇਸ਼ ਲੇਕਹਾਊਸ ਵਿੱਚ ਦਾਖਲ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਲੈਣ-ਦੇਣ ਵਾਲੇ ਡੇਟਾ ਦੇ ਥ੍ਰਰੂਪੁਟ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਹੈ, ਤਾਂ ਇਹ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਕਾਰਜ ਪੱਧਰ 'ਤੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕੀਤਾ ਜਾਵੇ। ਇਹ ਪਹੁੰਚ ਤੁਹਾਨੂੰ ਡੇਟਾ ਨੂੰ ਲੇਕਹਾਊਸ ਵਿੱਚ ਉਤਾਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਅਤੇ ਫਿਰ ਪਰਿਵਰਤਨ ਕਰਨ ਲਈ ਸਾਰੀਆਂ ਉਪਲਬਧ ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਸਮਰੱਥਾਵਾਂ ਦਾ ਲਾਭ ਉਠਾਉਂਦੀ ਹੈ। ਇਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਇੱਕ ETL (ਐਕਸਟ੍ਰੈਕਟ-ਟਰਾਂਸਫਾਰਮ-ਲੋਡ) ਨੂੰ ਇੱਕ ELT (ਐਕਸਟ੍ਰੈਕਟ-ਲੋਡ-ਟ੍ਰਾਂਸਫਾਰਮ) ਵਿੱਚ ਬਦਲਣਾ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
3. ਸਟੋਰੇਜ਼ / ਟ੍ਰਾਂਸਫਾਰਮ 'ਤੇ ਇਤਿਹਾਸਕ ਡੇਟਾ ਸਟੋਰ (ਟਾਈਪ 2)
   Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਮੂਲ ਰੂਪ ਵਿੱਚ ਇਤਿਹਾਸਕ ਡੇਟਾ ਸਟੋਰ (ਟਾਈਪ 2) ਸੰਪਤੀਆਂ ਨੂੰ ਬਣਾਏਗਾ ਜੋ ਟਾਈਪ 2 SCD (ਹੌਲੀ-ਹੌਲੀ ਬਦਲਦੇ ਆਯਾਮ) ਸੰਕਲਪ ਦੇ ਅਧਾਰ ਤੇ, ਸਮੇਂ ਦੇ ਨਾਲ ਮੌਜੂਦਾ ਅਤੇ ਇਤਿਹਾਸਕ ਡੇਟਾ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦਾ ਹੈ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰਦਾ ਹੈ। ਇੱਕ ਰਿਕਾਰਡ ਦੇ ਸਾਰੇ ਸੰਸਕਰਣਾਂ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਿਆ ਜਾਂਦਾ ਹੈ, ਮਿਟਾਏ ਜਾਣ ਸਮੇਤ, ਮਿਤੀਆਂ ਦੇ ਨਾਲ ਹਰ ਰਿਕਾਰਡ ਦੇ ਕਿਰਿਆਸ਼ੀਲ ਹੋਣ ਦੀ ਮਿਆਦ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਜੇਕਰ ਇਹ ਜਾਣਕਾਰੀ ਢੁਕਵੀਂ ਨਹੀਂ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਪ੍ਰੋਜੈਕਟ ਸੈਟਿੰਗਾਂ ਦੇ ਸਟੋਰੇਜ ਜਾਂ ਟ੍ਰਾਂਸਫਾਰਮ ਸੈਕਸ਼ਨ ਵਿੱਚ ਇਸ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਅਯੋਗ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ ਤੁਹਾਡੇ ਵਰਕਸਪੇਸ ਤੋਂ ਸਰੋਤਾਂ (ਸਪੇਸ ਅਤੇ ਕੰਪਿਊਟਿੰਗ) ਨੂੰ ਬਚਾਏਗਾ।
4. ਪਰਿਵਰਤਨ ਕਾਰਜਾਂ 'ਤੇ ਪਦਾਰਥੀਕਰਨ
   ਪਰਿਵਰਤਨ ਕਾਰਜ ਤੋਂ ਪੈਦਾ ਹੋਏ ਡੇਟਾ ਨੂੰ ਦੋ ਤਰੀਕਿਆਂ ਨਾਲ ਪ੍ਰਗਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ:
   • Views - ਜਿੱਥੇ ਇਸ ਇਕਾਈ ਦੇ ਵਿਰੁੱਧ ਸਾਰੀਆਂ ਪੁੱਛਗਿੱਛਾਂ ਨੂੰ ਸਟੋਰੇਜ ਜ਼ੋਨ ਤੋਂ ਅਸਲ ਟੇਬਲ ਦੇ ਵਿਰੁੱਧ ਲਾਗੂ ਕੀਤਾ ਜਾਵੇਗਾ
   • ਟੇਬਲ - ਜਿੱਥੇ ਟੇਬਲਾਂ ਨੂੰ ਸਟੋਰੇਜ ਜ਼ੋਨ ਦੇ ਡੇਟਾ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਨਿਯਤ ਤਰੀਕੇ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਜਾਵੇਗਾ।
     ਉਹਨਾਂ ਵਿਚਕਾਰ ਚੋਣ ਇਸ ਗੱਲ 'ਤੇ ਅਧਾਰਤ ਹੋਵੇਗੀ ਕਿ ਪਰਿਵਰਤਿਤ ਡੇਟਾ ਨੂੰ ਕਿੰਨੀ ਵਾਰ ਐਕਸੈਸ ਕੀਤਾ ਜਾਵੇਗਾ। ਘੱਟ ਅਕਸਰ ਬਦਲਿਆ ਡਾਟਾ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਪ੍ਰਗਟ ਕੀਤਾ ਜਾਵੇਗਾ views, ਵਧੇਰੇ ਵਾਰ-ਵਾਰ ਪਰਿਵਰਤਿਤ ਡੇਟਾ ਨੂੰ ਟੇਬਲ ਦੇ ਰੂਪ ਵਿੱਚ ਕਾਇਮ ਰੱਖਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੇ ਦੋਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਜ਼ਰੂਰਤ ਹੈ, ਤਾਂ ਦੋ (ਜਾਂ ਵੱਧ) ਪਰਿਵਰਤਨ ਕਾਰਜਾਂ ਦਾ ਵਿਕਲਪ ਹੈ, ਇੱਕ ਦੇ ਅਧਾਰ ਤੇ views ਅਤੇ ਹੋਰ(s) ਟੇਬਲ 'ਤੇ ਆਧਾਰਿਤ ਹਨ।
5. ਲਾਈਵ ਦੀ ਵਰਤੋਂ ਕਰਨਾ Views
   • ਲਾਈਵ views ਪਰਿਵਰਤਨ ਟੇਬਲਾਂ ਤੋਂ ਡੇਟਾ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦਾ ਹੈ ਜੋ ਅਜੇ ਤੱਕ ਮੌਜੂਦਾ ਜਾਂ ਪੁਰਾਣੇ ਟੇਬਲਾਂ 'ਤੇ ਲਾਗੂ ਨਹੀਂ ਕੀਤਾ ਗਿਆ ਹੈ। ਇਹ ਵਿਸ਼ੇਸ਼ਤਾ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਤਬਦੀਲੀਆਂ ਦੀ ਵਾਰ-ਵਾਰ ਐਪਲੀਕੇਸ਼ਨ ਦੀ ਜ਼ਰੂਰਤ ਤੋਂ ਬਿਨਾਂ ਘੱਟ ਲੇਟੈਂਸੀ ਨਾਲ ਡੇਟਾ ਤੱਕ ਪਹੁੰਚ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀ ਹੈ।
   • ਰਲੇਵੇਂ ਦੀ ਕਾਰਵਾਈ ਵਿੱਚ ਦੇਰੀ ਕਰਨ ਨਾਲ ਲਾਗਤ ਦੀ ਬੱਚਤ ਹੁੰਦੀ ਹੈ ਅਤੇ ਟੀਚਾ ਪਲੇਟਫਾਰਮ 'ਤੇ ਪ੍ਰੋਸੈਸਿੰਗ ਮੰਗਾਂ ਘਟਦੀਆਂ ਹਨ।
   • ਇਸ ਤੋਂ ਇਲਾਵਾ, ਲਾਈਵ views ਐਡਵਾਂ ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈtage ਲਈ ਕੰਪਿਊਟ ਟੀਅਰ ਨੂੰ ਹਮੇਸ਼ਾ ਕਾਰਜਸ਼ੀਲ ਰਹਿਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਲੇਟੈਂਸੀ ਨੂੰ ਵਧਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ ਹੁਣ ਪੂਰੇ ਦਿਨ ਵਿੱਚ ਬਦਲਾਅ ਲਾਗੂ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਨਵੇਂ ਸ਼ਾਮਲ ਕੀਤੇ ਰਿਕਾਰਡ ਲਾਈਵ ਵਿੱਚ ਤੁਰੰਤ ਉਪਲਬਧ ਹੋ ਜਾਂਦੇ ਹਨ views ਇੱਕ ਵਾਰ ਜਦੋਂ ਉਹ ਤਬਦੀਲੀਆਂ ਸਾਰਣੀ ਵਿੱਚ ਪਹੁੰਚਯੋਗ ਹੁੰਦੇ ਹਨ ਅਤੇ ਸਟੋਰੇਜ ਦਾ ਕੰਮ ਕਲੱਸਟਰ/ਵੇਅਰਹਾਊਸ ਸਰੋਤਾਂ ਨੂੰ ਬਚਾਉਣ ਲਈ ਘੱਟ ਵਾਰ ਚਲਾ ਸਕਦਾ ਹੈ।
6. ਕਨੈਕਸ਼ਨ ਪੱਧਰ 'ਤੇ ਸਮਾਂ ਸਮਾਪਤ
   Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਦੇ ਅਨੁਕੂਲ ਕਾਰਜ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਣ ਲਈ, 300 ਤੋਂ ਵੱਧ ਮੁੱਲ ਦੇ ਨਾਲ executeTimeout ਨਾਮ ਦੀ ਇੱਕ ਅੰਦਰੂਨੀ ਸੰਪੱਤੀ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਇਹ ਸੰਰਚਨਾ ਯਕੀਨੀ ਬਣਾਉਂਦੀ ਹੈ ਕਿ Qlik ਕਲਾਉਡ ਡੇਟਾ ਏਕੀਕਰਣ ਸਿਸਟਮ ਰਜਿਸਟਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਘੱਟੋ-ਘੱਟ 5 ਮਿੰਟ ਦੀ ਉਡੀਕ ਮਿਆਦ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖੇਗਾ। ਇੱਕ ਅਸਫਲਤਾ. ਸਿੱਟੇ ਵਜੋਂ, ਇਹ ਵੇਅਰਹਾਊਸ ਨੂੰ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਸਮਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ ਜੇਕਰ ਇਹ ਪਹਿਲਾਂ ਰੁਕੀ ਹੋਈ ਸਥਿਤੀ ਵਿੱਚ ਸੀ। ਇਹ ਖਾਸ ਤੌਰ 'ਤੇ ਉਹਨਾਂ ਸਥਿਤੀਆਂ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਹੈ ਜਿੱਥੇ ਵੇਅਰਹਾਊਸ ਨੂੰ ਲੰਬੇ ਸ਼ੁਰੂਆਤੀ ਸਮੇਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

Qlik Replicate ਲਈ ਸਿਫ਼ਾਰਿਸ਼ਾਂ

1. ਇੱਕ ਕੰਮ ਵਿੱਚ ਸਾਰਣੀ ਚੋਣ
   ਡੇਟਾਬ੍ਰਿਕਸ ਵੱਡੇ ਜਾਂ ਚੌੜੇ (ਕਈ ਕਾਲਮ) ਟੇਬਲਾਂ ਨੂੰ ਅਲੱਗ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਦਾ ਹੈ ਜੋ ਉਹਨਾਂ ਦੇ ਕੰਮਾਂ ਲਈ ਬਹੁਤ ਸਾਰੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ। ਇਸ ਪਹੁੰਚ ਦੀ ਵਰਤੋਂ ਕਰਨ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਜਾਂ ਕਿਸੇ ਖਾਸ ਕੰਮ ਲਈ ਕਲੱਸਟਰ ਨਿਰਧਾਰਤ ਕਰਨਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ।
2. ਇੱਕ ਕੰਮ ਵਿੱਚ ਤਬਦੀਲੀਆਂ
   ਜੇ ਤੁਹਾਡਾ ਉਦੇਸ਼ ਲੇਕਹਾਊਸ ਵਿੱਚ ਦਾਖਲ ਕੀਤੇ ਜਾਣ ਵਾਲੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਲੈਣ-ਦੇਣ ਵਾਲੇ ਡੇਟਾ ਦੇ ਥ੍ਰਰੂਪੁਟ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਹੈ, ਤਾਂ ਇਹ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਕਾਰਜ ਪੱਧਰ 'ਤੇ ਤਬਦੀਲੀਆਂ ਨੂੰ ਘੱਟ ਤੋਂ ਘੱਟ ਕੀਤਾ ਜਾਵੇ। ਇਹ ਪਹੁੰਚ ਤੁਹਾਨੂੰ ਡੇਟਾ ਨੂੰ ਲੇਕਹਾਊਸ ਵਿੱਚ ਲੈਂਡ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਅਤੇ ਫਿਰ ਪਰਿਵਰਤਨ ਕਰਨ ਲਈ ਸਾਰੀਆਂ ਉਪਲਬਧ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਸਮਰੱਥਾਵਾਂ ਦਾ ਲਾਭ ਉਠਾਉਂਦੀ ਹੈ। ਇਸ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਇੱਕ ETL (ਐਕਸਟ੍ਰੈਕਟ-ਟਰਾਂਸਫਾਰਮ-ਲੋਡ) ਨੂੰ ਇੱਕ ELT (ਐਕਸਟ੍ਰੈਕਟ-ਲੋਡ-ਟ੍ਰਾਂਸਫਾਰਮ) ਵਿੱਚ ਬਦਲਣਾ ਕਿਹਾ ਜਾਂਦਾ ਹੈ।
3. File ਆਕਾਰ ਸੰਰਚਨਾ
   • ਕੁਨੈਕਸ਼ਨ ਪੱਧਰ 'ਤੇ ਇੱਕ Qlik ਰੀਪਲੀਕੇਟ ਪੈਰਾਮੀਟਰ ਹੈ ਜੋ ਡੇਟਾ ਥ੍ਰਰੂਪੁਟ ਨੂੰ ਵਧਾ ਸਕਦਾ ਹੈ। ਇਸਨੂੰ ਅਧਿਕਤਮ ਕਿਹਾ ਜਾਂਦਾ ਹੈ file ਆਕਾਰ (MB) ਅਤੇ ਇਹ ਤੁਹਾਡੇ ਕਨੈਕਸ਼ਨ ਦੀਆਂ ਉੱਨਤ ਸੈਟਿੰਗਾਂ ਦੇ ਅਧੀਨ ਸਥਿਤ ਹੈ
   • ਡਿਫੌਲਟ ਮੁੱਲ 100Mb ਹੈ ਅਤੇ ਇਹ ਪੈਰਾਮੀਟਰ ਦਰਸਾਉਂਦਾ ਹੈ file ਆਕਾਰ ਜੋ ਕਿ s 'ਤੇ ਅੱਪਲੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈtagਇੱਕ ਸਾਰਣੀ ਵਿੱਚ ਲੋਡ ਕੀਤੇ ਜਾਣ ਤੋਂ ਪਹਿਲਾਂ ਖੇਤਰ. ਤੁਸੀਂ 100M ਰਿਕਾਰਡਾਂ (ਸਰੋਤ 'ਤੇ ਲਗਭਗ 3.8 GB ਡੇਟਾ) ਵਾਲੀ ਸਾਰਣੀ ਲਈ ਇਸ ਪੈਰਾਮੀਟਰ ਨੂੰ ਬਦਲਣ ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਹੇਠਾਂ ਦੇਖ ਸਕਦੇ ਹੋ। ਇਸ ਪੈਰਾਮੀਟਰ ਲਈ ਕੋਈ "ਸੁਨਹਿਰੀ ਨਿਯਮ" ਨਹੀਂ ਹੈ, ਪਰ ਆਮ ਤੌਰ 'ਤੇ, ਇੱਕ ਵੱਡਾ file ਆਕਾਰ ਡੇਟਾ ਟ੍ਰਾਂਸਫਰ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ ਜੋ ਸ਼ੁਰੂਆਤੀ ਪੂਰੇ ਲੋਡ ਦੌਰਾਨ ਬਹੁਤ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦਾ ਹੈ।
   • ਕਲੱਸਟਰ ਸੰਰਚਨਾ:
   • ਸਰੋਤ ਸਾਰਣੀ (Azure RDS Mysql) 

     
     ਜਿਵੇਂ ਕਿ ਉੱਪਰ ਦਿਖਾਇਆ ਗਿਆ ਹੈ, ਨੂੰ ਵਧਾਉਣ ਵੇਲੇ ਬਹੁਤ ਵਧੀਆ ਸੁਧਾਰ ਹੋਇਆ ਸੀ file ਪੂਰਵ-ਨਿਰਧਾਰਤ ਮੁੱਲ (100MB) ਤੋਂ 500MB ਤੱਕ ਦਾ ਆਕਾਰ, ਹਾਲਾਂਕਿ ਇਸ ਟੈਸਟ ਵਿੱਚ 500MB ਤੋਂ ਵੱਧ ਵਾਧੂ ਵਾਧੇ ਦਾ ਪ੍ਰਦਰਸ਼ਨ 'ਤੇ ਬਹੁਤ ਘੱਟ ਪ੍ਰਭਾਵ ਪੈਂਦਾ ਹੈ।
4. ਬੈਚ ਟਿਊਨਿੰਗ ਸੈਟਿੰਗਾਂ
   ਡਾਟਾਬ੍ਰਿਕਸ ਡੈਲਟਾ ਨੂੰ ਅਨੁਕੂਲਿਤ ਡਿਲੀਵਰੀ ਲਈ Qlik ਮਾਈਕ੍ਰੋ-ਬੈਚ ਤਬਦੀਲੀਆਂ ਦੀ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਅਤੇ ਕਿਸੇ ਕੰਮ ਲਈ ਬੈਚ ਟਿਊਨਿੰਗ ਕੌਂਫਿਗਰੇਸ਼ਨ ਡੇਟਾਬ੍ਰਿਕਸ ਨੂੰ ਭੇਜੇ ਗਏ ਮਾਈਕ੍ਰੋ-ਬੈਚ ਦੇ ਆਕਾਰ ਨੂੰ ਪ੍ਰਭਾਵਤ ਕਰਦੀ ਹੈ।
   • ਪ੍ਰੋਸੈਸਿੰਗ ਮੋਡ ਬਦਲੋ: ਡਾਟਾਬ੍ਰਿਕਸ ਟੀਚਿਆਂ ਲਈ ਸਿਰਫ਼ ਬੈਚ ਆਪਟੀਮਾਈਜ਼ਡ ਅਪਲਾਈ ਸਮਰਥਿਤ ਹੈ।
   • ਕਈ ਟੇਬਲਾਂ ਵਿੱਚ ਇੱਕੋ ਸਮੇਂ ਬੈਚ ਕੀਤੀਆਂ ਤਬਦੀਲੀਆਂ ਲਾਗੂ ਕਰੋ: ਇਹ ਵਿਕਲਪ ਥਰਿੱਡਾਂ ਦੀ ਸੰਖਿਆ ਨੂੰ ਕੌਂਫਿਗਰ ਕਰਦਾ ਹੈ ਜੋ ਡੇਟਾਬ੍ਰਿਕਸ 'ਤੇ ਡੇਟਾ ਨੂੰ ਅਪਲੋਡ ਕਰਨ ਅਤੇ ਲਾਗੂ ਕਰਨ ਲਈ ਸਮਾਨਾਂਤਰ ਕੰਮ ਕਰਨਗੇ। ਪੂਰਵ-ਨਿਰਧਾਰਤ ਮੁੱਲ 5 ਹੈ, ਅਧਿਕਤਮ 50 ਦੇ ਨਾਲ। ਇਸ ਮੁੱਲ ਨੂੰ ਵਧਾਉਣ ਨਾਲ ਤੁਹਾਡੇ ਥ੍ਰੋਪੁੱਟ ਵਿੱਚ ਸੁਧਾਰ ਹੋ ਸਕਦਾ ਹੈ ਜਦੋਂ ਇੱਕ ਦਿੱਤੇ ਬੈਚ ਵਿੱਚ CDC ਦੇ ਨਾਲ ਬਹੁਤ ਸਾਰੀਆਂ ਟੇਬਲ ਹੋਣ ਪਰ ਇਸ ਲਈ ਵਾਧੂ ਕਲੱਸਟਰ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ। ਕਿਰਪਾ ਕਰਕੇ ਮੁੜview ਰਿਪਲੀਕੇਟ ਮਦਦ ਗਾਈਡ ਵਿੱਚ ਇਸ ਮੋਡ ਦੀਆਂ ਸੀਮਾਵਾਂ।
   • ਅੰਤਰਾਲ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਬੈਚ ਕੀਤੀਆਂ ਤਬਦੀਲੀਆਂ ਲਾਗੂ ਕਰੋ: ਮਾਈਕ੍ਰੋ-ਬੈਚ ਦਾ ਸਮਾਂ ਅਤੇ ਆਕਾਰ ਸੰਰਚਿਤ ਕਰੋ।
   • (ਸਕਿੰਟ) ਤੋਂ ਲੰਬਾ: ਇਹ ਬੈਚ ਤਬਦੀਲੀਆਂ ਦੀ ਹਰੇਕ ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਵਿਚਕਾਰ ਉਡੀਕ ਕਰਨ ਲਈ ਘੱਟੋ-ਘੱਟ ਸਮਾਂ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ। ਪੂਰਵ-ਨਿਰਧਾਰਤ ਮੁੱਲ 1 ਹੈ ਅਤੇ ਡੇਟਾਬ੍ਰਿਕਸ ਡੈਲਟਾ ਲਾਗੂ ਪ੍ਰਕਿਰਿਆਵਾਂ ਲਈ ਆਮ ਤੌਰ 'ਤੇ ਬਹੁਤ ਘੱਟ ਮੁੱਲ ਹੈ। ਇਸ ਮੁੱਲ ਨੂੰ ਵਧਾਉਣ ਨਾਲ ਉਹ ਬਾਰੰਬਾਰਤਾ ਘਟਦੀ ਹੈ ਜਿਸ ਨਾਲ ਬੈਚਾਂ ਦੇ ਆਕਾਰ ਨੂੰ ਵਧਾਉਂਦੇ ਹੋਏ ਟੀਚੇ 'ਤੇ ਬਦਲਾਅ ਲਾਗੂ ਕੀਤੇ ਜਾਂਦੇ ਹਨ, ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਕੁਝ ਵਾਧੂ ਲੇਟੈਂਸੀ ਦੀ ਕੀਮਤ 'ਤੇ ਵੱਡੇ ਬੈਚ ਬਣਾਉਂਦੇ ਹਨ। ਇਹ 60 ਦੇ ਮੁੱਲ ਨਾਲ ਸ਼ੁਰੂ ਕਰਨ ਅਤੇ ਹੋਰ ਵੀ ਵਧਾਉਣ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੇਕਰ ਕੁਝ ਵਾਧੂ ਲੇਟੈਂਸੀ ਸਵੀਕਾਰਯੋਗ ਹੈ। ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਵੱਡੇ ਬੈਚਾਂ ਦੀ ਉਡੀਕ ਕਰਨ ਨਾਲ ਥ੍ਰੋਪੁੱਟ ਅਤੇ ਲੇਟੈਂਸੀ ਵਿੱਚ ਸੁਧਾਰ ਹੋ ਸਕਦਾ ਹੈ
   • ਪਰ (ਸਕਿੰਟ) ਤੋਂ ਘੱਟ: ਇਹ ਮੁੱਲ ਬੈਚ ਤਬਦੀਲੀਆਂ ਦੀ ਹਰੇਕ ਐਪਲੀਕੇਸ਼ਨ (ਸਮਾਂ ਸਮਾਪਤੀ ਦਾ ਐਲਾਨ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ) ਦੇ ਵਿਚਕਾਰ ਉਡੀਕ ਕਰਨ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਸਮੇਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਵੱਧ ਤੋਂ ਵੱਧ ਸਵੀਕਾਰਯੋਗ ਵਿਲੰਬਤਾ। ਪੂਰਵ-ਨਿਰਧਾਰਤ ਮੁੱਲ 30 ਹੈ। ਇਹ ਮੁੱਲ (ਸਕਿੰਟ) ਤੋਂ ਲੰਬੇ ਮੁੱਲ 'ਤੇ ਪਹੁੰਚਣ ਤੋਂ ਬਾਅਦ ਤਬਦੀਲੀਆਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਉਡੀਕ ਕਰਨ ਲਈ ਵੱਧ ਤੋਂ ਵੱਧ ਸਮਾਂ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ। ਇਸ ਮੁੱਲ ਨੂੰ 120 (60 ਤੋਂ ਲੰਬੇ ਮੁੱਲ ਦੇ ਨਾਲ ਜੋੜ ਕੇ ਅਤੇ ਹੋਰ ਲੇਟੈਂਸੀ ਸਵੀਕਾਰ ਹੋਣ 'ਤੇ ਇਸ ਤੋਂ ਵੀ ਉੱਚੇ ਮੁੱਲ ਨੂੰ ਟਿਊਨ ਕਰਨ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
   • ਜਦੋਂ ਮੈਮੋਰੀ ਦੀ ਪ੍ਰਕਿਰਿਆ (MB) ਤੋਂ ਵੱਧ ਜਾਂਦੀ ਹੈ ਤਾਂ ਇੱਕ ਬੈਚ ਲਾਗੂ ਕਰੋ: ਇਹ ਸੈਟਿੰਗ ਬੈਚ ਅਨੁਕੂਲਿਤ ਲਾਗੂ ਮੋਡ ਵਿੱਚ ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸਿੰਗ ਲਈ ਵਰਤਣ ਲਈ ਮੈਮੋਰੀ ਦੀ ਅਧਿਕਤਮ ਮਾਤਰਾ ਨੂੰ ਨਿਸ਼ਚਿਤ ਕਰਦੀ ਹੈ। ਡਿਫੌਲਟ ਮੁੱਲ 500 ਹੈ। ਅਧਿਕਤਮ ਬੈਚ ਆਕਾਰ ਲਈ, ਇਸ ਮੁੱਲ ਨੂੰ ਮੈਮੋਰੀ ਦੀ ਸਭ ਤੋਂ ਵੱਧ ਮਾਤਰਾ 'ਤੇ ਸੈੱਟ ਕਰੋ ਜੋ ਤੁਸੀਂ Qlik ਰਿਪਲੀਕੇਟ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦੇ ਹੋ। ਇਹ 2000 ਦੇ ਮੁੱਲ ਨਾਲ ਸ਼ੁਰੂ ਕਰਨ ਅਤੇ ਉੱਚੇ ਟਿਊਨਿੰਗ 'ਤੇ ਵਿਚਾਰ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੇਕਰ Qlik ਰਿਪਲੀਕੇਟ ਸਰਵਰ 'ਤੇ ਲੋੜੀਂਦੇ ਸਰੋਤ ਹਨ।
   • ਮਿਲਾਨ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਦਲਾਅ ਲਾਗੂ ਕਰੋ: ਇਹ ਲੇਕਹਾਊਸ ਵਿੱਚ ਇੰਜੈਸ਼ਨ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ SQL MERGE ਕਮਾਂਡਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਕੰਮ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ।
5. ਵੱਡੇ ਟੇਬਲ ਨੂੰ ਵੰਡੋ
   • ਡੈਟਾਬ੍ਰਿਕਸ ਡੈਲਟਾ ਟੇਬਲ ਨੂੰ ਵੰਡਣ ਦੀ ਸਮਰੱਥਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਵੱਡੀਆਂ ਟੇਬਲਾਂ ਨੂੰ ਵੰਡਣ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਐਪਲੀਕੇਸ਼ਨ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਰੁਕਾਵਟ ਬਣ ਸਕਦੀ ਹੈ। Qlik ਰਿਪਲੀਕੇਟ ਵਰਤਮਾਨ ਵਿੱਚ ਟਾਸਕ ਦੇ ਅੰਦਰ ਟਾਰਗਿਟ ਵਿਭਾਗੀਕਰਨ ਦੀ ਸੰਰਚਨਾ ਦਾ ਸਮਰਥਨ ਨਹੀਂ ਕਰਦਾ ਹੈ। ਟਾਰਗੇਟ ਡੈਲਟਾ ਟੇਬਲ ਨੂੰ Qlik ਰਿਪਲੀਕੇਟ ਦੁਆਰਾ ਬਣਾਇਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਫਿਰ ਢੁਕਵੇਂ ਭਾਗ ਕਾਲਮਾਂ ਨਾਲ ਦੁਬਾਰਾ ਬਣਾਇਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੇਕਰ ਇੱਕ ਸਾਰਣੀ ਨੂੰ ਵਿਭਾਜਨ ਵਜੋਂ ਪਰਿਭਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ, ਤਾਂ ਪੂਰੇ ਲੋਡ ਲਈ ਇੱਕ TRUNCATE ਕਰਨ ਲਈ ਕੰਮ ਨੂੰ ਸੈੱਟ ਕਰਨ ਦੀ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।
   • ਜਦੋਂ ਕਿ ਵਿਭਾਗੀਕਰਨ ਇੱਕ ਸਿੱਧਾ ਸੰਕਲਪ ਹੈ, ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਭਾਗੀਕਰਨ ਕਾਲਮ (ਕਾਲਮਾਂ) ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ ਇੱਕ ਠੋਸ ਸਮਝ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਕਿ ਐਪਲੀਕੇਸ਼ਨ ਦੁਆਰਾ ਡੇਟਾ ਨੂੰ ਕਿਵੇਂ ਸੋਧਿਆ ਜਾਂਦਾ ਹੈ। ਕਾਰਡੀਨਲਿਟੀ ਚਿੰਤਾਵਾਂ ਦੇ ਕਾਰਨ ਪ੍ਰਾਇਮਰੀ ਕੁੰਜੀ ਨੂੰ ਵੰਡਣ ਦੀ ਸਿਫਾਰਸ਼ ਨਹੀਂ ਕੀਤੀ ਜਾਂਦੀ। ਵੱਡੀਆਂ ਟੇਬਲਾਂ ਜਿਹਨਾਂ ਲਈ ਵਿਭਾਗੀਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ
     ਕੁਦਰਤ ਵਿੱਚ "ਲੈਣ-ਦੇਣ" - ਜਿਵੇਂ ਕਿ ਵਿਕਰੀ ਡੇਟਾ। ਆਮ ਤੌਰ 'ਤੇ ਰੀਪਲੀਕੇਟ ਦੇ ਅੰਦਰ ਇੱਕ ਮਿਤੀ ਕਾਲਮ ਨੂੰ ਚੁਣਨਾ ਜਾਂ ਇੱਕ YEAR_MONTH ਕਾਲਮ ਨੂੰ ਟਾਰਗੇਟ ਡੇਟਾ ਵਿੱਚ ਜੋੜਨਾ ਵਿਭਾਗੀਕਰਨ ਲਈ ਇੱਕ ਵਧੀਆ ਤਰੀਕਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਹੇਠਾਂ ਇੱਕ ਸਾਬਕਾ ਹੈampਕਲੱਸਟਰ ਉਪਯੋਗਤਾ ਅਤੇ ਇਸ ਤਰ੍ਹਾਂ ਲੇਟੈਂਸੀ 'ਤੇ ਵਿਭਾਗੀਕਰਨ ਦਾ ਪ੍ਰਭਾਵ। ਇਸ ਵਿੱਚ ਸਾਬਕਾample, ਲਗਭਗ 68 ਮਿਲੀਅਨ ਸਰੋਤ ਕਤਾਰਾਂ ਦੀ ਇੱਕ ਸਾਰਣੀ / 655 GB ਡੇਟਾ ਇੱਕ ਉਤਪਾਦਨ CDC ਵਰਕਲੋਡ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰ ਰਿਹਾ ਸੀ। DATE ਕਾਲਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਡੈਲਟਾ ਟੇਬਲ ਨੂੰ ਵੰਡਣ ਨਾਲ ਲੇਟੈਂਸੀ ਵਿੱਚ 73% ਕਮੀ ਅਤੇ ਕਲੱਸਟਰ 'ਤੇ ਮੈਮੋਰੀ ਅਤੇ CPU ਦੀ ਖਪਤ ਵਿੱਚ ਵੱਡੀ ਕਮੀ ਆਈ ਹੈ।

ਕਲੱਸਟਰ ਉਪਯੋਗਤਾ - ਵੰਡਿਆ ਨਹੀਂ ਗਿਆ

ਅੰਤਿਕਾ I – ਕੁਨੈਕਸ਼ਨ ਬਣਾਉਣਾ

ਇਹ ਜ਼ੋਰਦਾਰ ਸਿਫਾਰਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਡੇਟਾਬ੍ਰਿਕਸ ਵਾਤਾਵਰਣ ਲਈ ਨਵੀਨਤਮ ਲੋੜਾਂ ਅਤੇ ਸਮਰਥਿਤ ਸੰਰਚਨਾਵਾਂ ਲਈ help.qlik.com 'ਤੇ ਉਪਲਬਧ ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਜਾਂਚ ਕਰੋ।
Qlik Replicate to a Databricks ਉਦਾਹਰਨ ਵਿੱਚ ਇੱਕ ਡਾਟਾ ਕਨੈਕਸ਼ਨ ਬਣਾਉਣ ਲਈ ਤੁਹਾਨੂੰ ਲੋੜ ਹੋਵੇਗੀ:

1. ਸਰਵਰ ਹੋਸਟਨਾਮ
2. ਪੋਰਟ
3. HTTP ਮਾਰਗ
4. ਟੋਕਨ

ਕਲੱਸਟਰ
ਜਾਣਕਾਰੀ 1, 2, ਅਤੇ 3 ਨੂੰ ਕਲੱਸਟਰ ਕੌਂਫਿਗਰੇਸ਼ਨ ਜਾਂ ਤੁਹਾਡੀ SQL ਐਂਡਪੁਆਇੰਟ ਕੌਂਫਿਗਰੇਸ਼ਨ 'ਤੇ ਜਾ ਕੇ ਡੇਟਾਬ੍ਰਿਕਸ ਕੰਸੋਲ ਤੋਂ ਐਕਸਟਰੈਕਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ, ਅਤੇ ਐਡਵਾਂਸਡ ਵਿਕਲਪ ਸੈਕਸ਼ਨ ਦੇ ਤਹਿਤ ਤੁਹਾਨੂੰ JDBC/ODBC ਟੈਬ ਮਿਲੇਗਾ।

ਡਾਟਾਬ੍ਰਿਕਸ SQL ਵੇਅਰਹਾਊਸ
ਜਾਣਕਾਰੀ 1, 2, ਅਤੇ 3 ਨੂੰ ਡਾਟਾਬ੍ਰਿਕਸ ਕੰਸੋਲ ਤੋਂ "ਕੁਨੈਕਸ਼ਨ ਵੇਰਵੇ" ਟੈਬ ਦੇ ਅਧੀਨ SQL ਵੇਅਰਹਾਊਸ ਭਾਗ ਵਿੱਚ ਜਾ ਕੇ ਕੱਢਿਆ ਜਾ ਸਕਦਾ ਹੈ।

ਐਕਸੈਸ ਟੋਕਨ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਉਪਭੋਗਤਾ ਕੋਲ ਜਾਣ ਦੀ ਲੋੜ ਹੈ
ਤੁਹਾਡੇ ਡੇਟਾਬ੍ਰਿਕਸ ਕੰਸੋਲ ਦਾ ਸੈਟਿੰਗ ਸੈਕਸ਼ਨ ਅਤੇ ਨਵਾਂ ਟੋਕਨ ਬਣਾਓ ਬਟਨ ਦੀ ਵਰਤੋਂ ਕਰੋ।

ਤਿਆਰ ਕੀਤੇ ਟੋਕਨ ਨੂੰ ਸੁਰੱਖਿਅਤ ਥਾਂ 'ਤੇ ਸਟੋਰ ਕਰਨਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਤੁਸੀਂ ਇਸ ਡਾਇਲਾਗ ਨੂੰ ਬੰਦ ਕਰਨ ਤੋਂ ਬਾਅਦ ਇਸਨੂੰ ਦੁਬਾਰਾ ਪ੍ਰਾਪਤ ਨਹੀਂ ਕਰ ਸਕਦੇ ਹੋ।

ਦਸਤਾਵੇਜ਼ / ਸਰੋਤ

Qlik Talend ਡਾਟਾ ਏਕੀਕਰਣ ਹੱਲ [pdf] ਯੂਜ਼ਰ ਗਾਈਡ ਟੈਲੇਂਡ ਡੇਟਾ ਏਕੀਕਰਣ ਹੱਲ, ਡੇਟਾ ਏਕੀਕਰਣ ਹੱਲ, ਏਕੀਕਰਣ ਹੱਲ, ਹੱਲ

ਹਵਾਲੇ

• ਯੂਜ਼ਰ ਮੈਨੂਅਲ