אינטל AI Analytics Toolkit עבור לינוקס

מידע על המוצר

ערכת הבינה המלאכותית היא ערכת כלים הכוללת סביבות קונדה מרובות עבור למידת מכונה ופרויקטים של למידה עמוקה. הוא כולל סביבות עבור TensorFlow, PyTorch ו-Intel oneCCL Bindings. זה מאפשר למשתמשים להגדיר את המערכת שלהם על ידי הגדרת משתני סביבה, שימוש ב-Conda להוספת חבילות, התקנת מנהלי התקנים גרפיים והשבתת בדיקת hangcheck. ניתן להשתמש בערכת הכלים בממשק שורת פקודה (CLI) וניתן לשלב אותה בקלות בפרויקטים קיימים ללא כל שינויים מיוחדים.

שימוש במוצר

1. הגדר את המערכת שלך על ידי הגדרת משתני סביבה לפני שתמשיך.
2. כדי לעבוד בממשק שורת פקודה (CLI), השתמש בסקריפט setvars.sh כדי להגדיר את הכלים בערכות הכלים של oneAPI באמצעות משתני סביבה. אתה יכול למקור את הסקריפט setvars.sh פעם אחת בכל הפעלה או בכל פעם שאתה פותח חלון מסוף חדש. ניתן למצוא את הסקריפט setvars.sh בתיקיית השורש של התקנת oneAPI שלך.
3. הפעל סביבות קונדה שונות לפי הצורך באמצעות הפקודה "conda active ". ערכת הבינה המלאכותית כוללת סביבות קונדה עבור TensorFlow (CPU), TensorFlow עם אינטל Extension עבור Sample TensorFlow (GPU), PyTorch עם אינטל הרחבה עבור PyTorch (XPU), ו-Intel oneCCL Bindings עבור PyTorch (CPU).
4. חקור את תחילת העבודה הקשורה לכל סביבה Sampהדף המקושר בטבלה המופיעה במדריך למשתמש לקבלת מידע נוסף על אופן השימוש בכל סביבה.

ההוראות הבאות מניחות שהתקנת את תוכנת Intel® oneAPI. אנא עיין בדף Intel AI Analytics Toolkit לאפשרויות התקנה. בצע את השלבים הבאים כדי לבנות ולהפעיל בתורampעם ערכת הכלים של Intel® AI Analytics (ערכת AI):

1. הגדר את המערכת שלך.
2. בנה והפעל Sample.

פֶּתֶק: התקנות Python סטנדרטיות תואמות באופן מלא לערכת הבינה המלאכותית, אך העדיפה את Intel® Distribution for Python*.
אין צורך בשינויים מיוחדים בפרויקטים הקיימים שלך כדי להתחיל להשתמש בהם עם ערכת כלים זו.

רכיבים של ערכת כלים זו

ערכת AI כוללת

• Intel® Optimization for PyTorch*: ספריית הרשת העצבית העמוקת של Intel® oneAPI (oneDNN) כלולה ב- PyTorch כספריית ליבת המתמטיקה המוגדרת כברירת מחדל ללמידה עמוקה.
• Intel® Extension for PyTorch:Intel® Extension for PyTorch* מרחיב את יכולות PyTorch* עם תכונות עדכניות ואופטימיזציות לשיפור ביצועים נוסף בחומרה של אינטל.
• Intel® Optimization for TensorFlow*: גרסה זו משלבת פרימיטיבים מ-oneDNN בזמן הריצה של TensorFlow לביצועים מואצים.
• Intel® Extension for TensorFlow: Intel® Extension for TensorFlow* הוא תוסף הרחבה למידה עמוקה הטרוגני עם ביצועים גבוהים המבוסס על ממשק TensorFlow PluggableDevice. תוסף הרחבה זה מביא התקני Intel XPU (GPU, CPU וכו') לקהילת הקוד הפתוח של TensorFlow להאצת עומס העבודה של AI.
• Intel® Distribution for Python*: קבל ביצועים מהירים יותר של יישומי Python ישירות מהקופסה, עם שינויים מינימליים או ללא שינויים בקוד שלך. הפצה זו משולבת עם Intel® Performance Libraries כגון Intel® oneAPI Math Kernel Library ו-Intel®oneAPI Data Analytics Library.
• Intel® Distribution of Modin* (זמינה דרך Anaconda בלבד), המאפשרת לך להתאים בצורה חלקה עיבוד מקדים על פני מספר צמתים באמצעות ספריית מסגרות נתונים מבוזרת חכמה זו עם API זהה לפנדות. הפצה זו זמינה רק על ידי התקנת ערכת הכלים של Intel® AI Analytics עם Conda* Package Manager.
• Intel® Neural Compressor: פריסה מהירה פתרונות הסקת הסקת דיוק נמוכה במסגרות למידה עמוקות פופולריות כגון TensorFlow*, PyTorch*, MXNet* ו-ONNX* (Open Neural Network Exchange) זמן ריצה.
• Intel® Extension for Scikit-learn*: דרך חלקה להאיץ את יישום Scikit-learn שלך באמצעות ספריית Intel® oneAPI Data Analytics (oneDAL).
  תיקון scikit-learn הופך אותו למסגרת למידת מכונה מתאימה להתמודדות עם בעיות מהחיים האמיתיים.
• XGBoost מותאם על ידי אינטל: חבילת לימוד מכונה ידועה זו לעצי החלטה בעלי שיפוע, כוללת האצה חלקה וצניחה עבור ארכיטקטורות Intel® כדי להאיץ משמעותית את אימון המודלים ולשפר את הדיוק לחיזויים טובים יותר.

הגדר את המערכת שלך - אינטל® AI Analytics Toolkit

אם עדיין לא התקנת את ערכת הכלים של AI Analytics, ראה התקנת ערכת הכלים של Intel® AI Analytics. כדי להגדיר את המערכת שלך, הגדר משתני סביבה לפני שתמשיך.

 

הגדר משתני סביבה לפיתוח CLI
לעבודה בממשק שורת פקודה (CLI), הכלים בערכות הכלים של oneAPI מוגדרים באמצעות
משתני סביבה. כדי להגדיר משתני סביבה באמצעות מיקור הסקריפט של setvars:

אפשרות 1: מקור setvars.sh פעם אחת בכל הפעלה
מקור setvars.sh בכל פעם שאתה פותח חלון מסוף חדש:

אתה יכול למצוא את הסקריפט setvars.sh בתיקיית השורש של התקנת oneAPI שלך, שהיא בדרך כלל /opt/intel/oneapi/ עבור התקנות רחבות המערכת ו-~/intel/oneapi/ עבור התקנות פרטיות.

עבור התקנות רחבות המערכת (דורש הרשאות root או sudo):

• . /opt/intel/oneapi/setvars.sh

עבור התקנות פרטיות:

• . ~/intel/oneapi/setvars.sh

אפשרות 2: הגדרה חד פעמית עבור setvars.sh
כדי להגדיר את הסביבה באופן אוטומטי עבור הפרויקטים שלך, כלול את מקור הפקודה
/setvars.sh בסקריפט הפעלה שבו הוא יופעל אוטומטית (החלף
עם הנתיב למיקום ההתקנה של oneAPI שלך). מיקומי ההתקנה המוגדרים כברירת מחדל הם /opt/
intel/oneapi/ עבור התקנות רחבות המערכת (דורש הרשאות root או sudo) ו-~/intel/oneapi/ עבור התקנות פרטיות.
למשלample, אתה יכול להוסיף את המקור הפקודה /setvars.sh ל-~/.bashrc או ~/.bashrc_pro שלךfile או ~/.profile file. כדי להפוך את ההגדרות קבועות עבור כל החשבונות במערכת שלך, צור סקריפט .sh בשורה אחת ב-/etc/pro של המערכת שלךfileתיקיית .d שמקורה ב-setvars.sh (לפרטים נוספים, ראה תיעוד של אובונטו על משתני סביבה).

פֶּתֶק
ניתן לנהל את הסקריפט setvars.sh באמצעות תצורה file, וזה מועיל במיוחד אם אתה צריך לאתחל גרסאות ספציפיות של ספריות או מהדר, במקום ברירת מחדל לגרסה ה"עדכנית". לפרטים נוספים, ראה שימוש בתצורה File כדי לנהל את Setvars.sh.. אם אתה צריך להגדיר את הסביבה במעטפת שאינה POSIX, עיין בהגדרת סביבת הפיתוח של oneAPI לקבלת אפשרויות תצורה נוספות.

השלבים הבאים

• אם אינך משתמש ב-Conda, או מפתח עבור GPU, בנה והפעל Sample Project.
• עבור משתמשי Conda, המשך לסעיף הבא.
• לפיתוח על GPU, המשך למשתמשי GPU

סביבות קונדה בערכת כלים זו
קיימות סביבות קונדה מרובות כלולות בערכת AI. כל סביבה מתוארת בטבלה שלהלן. לאחר שהגדרת משתני סביבה לסביבת CLI כפי שהורה קודם לכן, תוכל להפעיל סביבות קונדה שונות לפי הצורך באמצעות הפקודה הבאה:

• קונדה להפעיל

למידע נוסף, אנא חקור את תחילת העבודה הקשורה לכל סביבה Sample מקושר בטבלה למטה.

השתמש בפונקציית Conda Clone כדי להוסיף חבילות כמשתמש שאינו שורש
ערכת הכלים של Intel AI Analytics מותקנת בתיקיית oneapi, הדורשת הרשאות שורש לניהול. ייתכן שתרצה להוסיף ולתחזק חבילות חדשות באמצעות Conda*, אך אינך יכול לעשות זאת ללא גישת שורש. לחלופין, ייתכן שיש לך גישת שורש אך אינך רוצה להזין את סיסמת השורש בכל פעם שתפעיל את Conda.

כדי לנהל את הסביבה שלך מבלי להשתמש בגישה לשורש, השתמש בפונקציונליות השיבוט של Conda כדי לשכפל את החבילות שאתה צריך לתיקיה מחוץ לתיקיה /opt/intel/oneapi/:

1. מאותו חלון מסוף שבו הפעלת את setvars.sh, זהה את סביבות ה-Conda במערכת שלך:
   • רשימת ה-conda env
     תראה תוצאות דומות לזה:
2. השתמש בפונקציית השיבוט כדי לשכפל את הסביבה לתיקיה חדשה. באקסampלהלן, הסביבה החדשה נקראת usr_intelpython והסביבה המשובטת נקראת base (כפי שמוצג בתמונה למעלה).
   • conda create –name usr_intelpython – בסיס שיבוט
     פרטי השיבוט יופיעו:

1. הפעל את הסביבה החדשה כדי לאפשר את היכולת להוסיף חבילות. conda הפעל את usr_intelpython
2. ודא שהסביבה החדשה פעילה. רשימת ה-conda env
   כעת אתה יכול לפתח באמצעות סביבת Conda עבור Intel Distribution עבור Python.
3. כדי להפעיל את סביבת TensorFlow* או PyTorch*:

TensorFlow

• conda להפעיל tensorflow

PyTorch

• conda להפעיל את pytorch

השלבים הבאים

• אם אינך מפתח עבור GPU, בנה והפעל Sample Project.
• לפיתוח על GPU, המשך למשתמשי GPU.

משתמשי GPU
למי שמפתח על GPU, בצע את השלבים הבאים:

התקן מנהלי התקנים של GPU
אם פעלת לפי ההוראות במדריך ההתקנה להתקנת מנהלי התקן GPU, תוכל לדלג על שלב זה. אם לא התקנת את מנהלי ההתקן, עקוב אחר ההנחיות במדריך ההתקנה.

הוסף משתמש לקבוצת וידאו
עבור עומסי עבודה של מחשוב GPU, למשתמשים שאינם שורשיים (רגילים) אין בדרך כלל גישה להתקן ה-GPU. הקפד להוסיף את המשתמשים הרגילים שלך לקבוצת הסרטונים; אחרת, קבצים בינאריים שקומפלו עבור התקן ה-GPU ייכשלו כאשר יבוצעו על ידי משתמש רגיל. כדי לפתור בעיה זו, הוסף את המשתמש הלא-שורש לקבוצת הסרטונים:

• וידאו sudo usermod -a -G

השבת את Hangcheck
עבור יישומים עם עומסי עבודה ארוכי טווח של מחשוב GPU בסביבות מקוריות, השבת את בדיקת ה-hangcheck. זה לא מומלץ עבור וירטואליזציות או שימושים סטנדרטיים אחרים של GPU, כגון משחקים.

עומס עבודה שלוקח יותר מארבע שניות לביצוע חומרת GPU הוא עומס עבודה ארוך. כברירת מחדל, שרשורים בודדים המתאימים לעומסי עבודה ארוכי טווח נחשבים כתולים ומסתיימים. על ידי השבתת תקופת הזמן הקצוב ל-hangcheck, תוכל להימנע מבעיה זו.

פֶּתֶק: אם הליבה מעודכנת, בדיקת תקלות מופעלת באופן אוטומטי. הפעל את ההליך שלהלן לאחר כל עדכון ליבה כדי לוודא שה-hangcheck מושבת.

1. פתח מסוף.
2. פתח את הגראב file ב-/etc/default.
3. בגראב file, מצא את השורה GRUB_CMDLINE_LINUX_DEFAULT=”” .
4. הזן את הטקסט הזה בין המרכאות (""):
5. הפעל פקודה זו:
   sudo update-grub
6. הפעל מחדש את המערכת. בדיקת התקפה נשארת מושבתת.

השלב הבא
כעת לאחר שהגדרת את המערכת שלך, המשך לבנייה והפעל Sample Project.

בנה והפעל Sample שימוש בשורת הפקודה

ערכת הכלים של Intel® AI Analytics
בחלק זה, תפעילו פרויקט פשוט של "שלום עולם" כדי להכיר את תהליך בניית הפרויקטים, ולאחר מכן לבנות פרויקט משלכם.

פֶּתֶק: אם עדיין לא הגדרת את סביבת הפיתוח שלך, עבור אל הגדר את המערכת שלך ואז חזור לדף זה. אם כבר השלמת את השלבים להגדרת המערכת שלך, המשך עם השלבים שלהלן.

אתה יכול להשתמש בחלון מסוף או ב-Visual Studio Code* בעת עבודה משורת הפקודה. לפרטים כיצד להשתמש בקוד VS באופן מקומי, ראה שימוש בסיסי בקוד Visual Studio עם oneAPI ב-Linux*. כדי להשתמש ב- VS Code מרחוק, ראה פיתוח קוד Visual Studio מרחוק עם oneAPI ב-Linux*.

בנה והפעל Sample Project
שלampיש לשבט את הקבצים למטה למערכת שלך לפני שתוכל לבנות את ה-sampלפרויקט:

כדי לראות רשימה של רכיבים התומכים ב- CMake, ראה שימוש ב- CMake עם יישומי oneAPI.

בנה פרויקט משלך
אין צורך בשינויים מיוחדים בפרויקטי Python הקיימים שלך כדי להתחיל להשתמש בהם עם ערכת כלים זו. עבור פרויקטים חדשים, התהליך עוקב מקרוב אחר התהליך המשמש ליצירת sampפרויקטים של Hello World. עיין ב-Hello World README files להוראות.

מקסום ביצועים
אתה יכול לקבל תיעוד שיעזור לך למקסם את הביצועים עבור TensorFlow או PyTorch.

הגדר את הסביבה שלך

פֶּתֶק: אם הסביבה הווירטואלית שלך אינה זמינה, או אם ברצונך להוסיף חבילות לסביבה הוירטואלית שלך, ודא שהשלמת את השלבים בשימוש בפונקציית ה-Conda Clone כדי להוסיף חבילות כמשתמש שאינו שורש.

אם אתה מפתח מחוץ לקונטיינר, מקור את הסקריפט הבא כדי להשתמש ב- Intel® Distribution for Python*:

• • /setvars.sh
• איפה זה המקום שבו התקנת את ערכת הכלים הזו. כברירת מחדל, ספריית ההתקנה היא:
• התקנות שורש או סודו: /opt/intel/oneapi
• התקנות משתמש מקומיות: ~/intel/oneapi

פֶּתֶק: ניתן לנהל את הסקריפט setvars.sh באמצעות תצורה file, וזה מועיל במיוחד אם אתה צריך לאתחל גרסאות ספציפיות של ספריות או מהדר, במקום ברירת מחדל לגרסה ה"עדכנית". לפרטים נוספים, ראה שימוש בתצורה File לניהול Setvars.sh. אם אתה צריך להגדיר את הסביבה במעטפת שאינה POSIX, עיין בהגדרת סביבת הפיתוח של oneAPI לקבלת אפשרויות תצורה נוספות.

כדי להחליף סביבה, תחילה עליך לבטל את הסביבה הפעילה.
האקס הבאample מדגים את הגדרת הסביבה, הפעלת TensorFlow*, ולאחר מכן חזרה ל- Intel Distribution for Python:

הורד קונטיינר

ערכת הכלים של Intel® AI Analytics
קונטיינרים מאפשרים לך להגדיר ולהגדיר סביבות לבנייה, הפעלה ויצירת פרופיל של יישומי oneAPI ולהפיץ אותם באמצעות תמונות:

• אתה יכול להתקין תמונה המכילה סביבה שהוגדרה מראש עם כל הכלים שאתה צריך, ואז לפתח בתוך הסביבה הזו.
• אתה יכול לשמור סביבה ולהשתמש בתמונה כדי להעביר את הסביבה למחשב אחר ללא הגדרה נוספת.
• ניתן להכין קונטיינרים עם סטים שונים של שפות וזמני ריצה, כלי ניתוח או כלים אחרים, לפי הצורך.

הורד תמונה של Docker*
אתה יכול להוריד תמונת Docker* מ-Containers Repository.

פֶּתֶק: תמונת Docker היא ~5 GB ויכולה להימשך ~15 דקות להוריד. זה ידרוש 25 GB של שטח דיסק.

1. הגדירו את התמונה:
   image=intel/oneapi-aikit docker pull "$image"
2. משוך את התמונה.
   docker pull "$image"

לאחר הורדת התמונה שלך, המשך אל שימוש במכולות עם שורת הפקודה.

שימוש בקונטיינרים עם שורת הפקודה
Intel® AI Analytics Toolkit הורד ישירות קונטיינרים מובנים מראש. הפקודה למטה עבור CPU תשאיר אותך בשורת פקודה, בתוך הקונטיינר, במצב אינטראקטיבי.

מעבד
image=intel/oneapi-aikit docker run -it "$image"

שימוש ב-Intel® Advisor, Intel® Inspector או VTune™ עם מיכלים
בעת שימוש בכלים אלה, יש לספק יכולות נוספות למיכל: –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE

• docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \ –device=/dev/dri -it "$image"

שימוש ב-Cloud CI Systems

מערכות CI בענן מאפשרות לך לבנות ולבדוק את התוכנה שלך באופן אוטומטי. ראה את ה-repo ב-github למשלampטקסטים של תצורה fileמשתמשים ב-oneAPI עבור מערכות ה-CI הפופולריות בענן.

פתרון בעיות עבור ערכת הכלים של Intel® AI Analytics

הודעות וכתבי ויתור

טכנולוגיות אינטל עשויות לדרוש הפעלת חומרה, תוכנה או שירות מופעלת. שום מוצר או רכיב לא יכולים להיות מאובטחים לחלוטין.
העלויות והתוצאות שלך עשויות להשתנות.

© Intel Corporation. Intel, הלוגו של Intel וסימני Intel אחרים הם סימנים מסחריים של Intel Corporation או של חברות הבת שלה. ניתן לתבוע שמות ומותגים אחרים כרכושם של אחרים.

מידע על מוצר וביצועים

הביצועים משתנים לפי שימוש, תצורה וגורמים אחרים. למידע נוסף ב www.Intel.com/PerformanceIndex.
הודעה על עדכון מס' 20201201

מסמך זה אינו מעניק רישיון (מפורש או משתמע, בהסכמה או בכל דרך אחרת) לזכויות קניין רוחני כלשהן. המוצרים המתוארים עשויים להכיל פגמים בתכנון או שגיאות הידועות כ-errata אשר עלולות לגרום למוצר לסטות מהמפרטים שפורסמו. שגיאות מאופיינות עדכניות זמינות על פי בקשה.

אינטל מתנערת מכל אחריות מפורשת ומשתמעת, לרבות, ללא הגבלה, האחריות המשתמעת של סחירות, התאמה למטרה מסוימת ואי-הפרה, כמו גם כל אחריות הנובעת ממהלך הביצוע, מהלך העסקה או השימוש במסחר.

מסמכים / משאבים

אינטל AI Analytics Toolkit עבור לינוקס [pdfמדריך למשתמש AI Analytics Toolkit עבור Linux, AI Analytics Toolkit, Analytics Toolkit עבור Linux, Analytics Toolkit, Toolkit

הפניות

• מדריך למשתמש