Intel oneAPI DL Framework Developers Toolkit για Linux
Ακολουθήστε αυτά τα βήματα για το Intel® OneAPI DL Framework Developer Toolkit:
Οι παρακάτω οδηγίες προϋποθέτουν ότι έχετε εγκαταστήσει το λογισμικό Intel® oneAPI. Παρακαλώ δείτε το Σελίδα Intel oneAPI Toolkits για επιλογές εγκατάστασης.
- Διαμορφώστε το σύστημά σας
- Κατασκευάστε και εκτελέστε ωςample project χρησιμοποιώντας τη γραμμή εντολών.
Εισαγωγή
Εάν θέλετε να χρησιμοποιήσετε το oneDNN και το oneCCLamples, πρέπει να εγκαταστήσετε το Intel® oneAPI Base Toolkit. Το Base Kit περιέχει όλα τα στοιχεία του Intel® OneAPI DL Framework Developer Toolkit (DLFD Kit) με όλες τις απαιτούμενες εξαρτήσεις.
Εάν θέλετε να χρησιμοποιήσετε τις βιβλιοθήκες DL DevKit χωρίς να δοκιμάσετε τα παρεχόμενα sampΓια παράδειγμα, χρειάζεται μόνο να εγκαταστήσετε το κιτ DLFD. Διαφορετικά, εγκαταστήστε το Intel® oneAPI Base Toolkit.
Αυτή η εργαλειοθήκη είναι μια σουίτα βιβλιοθηκών ανάπτυξης που καθιστούν γρήγορη και εύκολη τη δημιουργία ή τη βελτιστοποίηση ενός πλαισίου βαθιάς εκμάθησης που αποκομίζει και την τελευταία ουγγιά απόδοσης από τους νεότερους επεξεργαστές Intel®. Αυτή η εργαλειοθήκη επιτρέπει το Deep Learning Framework με ευέλικτες επιλογές, συμπεριλαμβανομένης της βέλτιστης απόδοσης σε CPU ή GPU.
- Βιβλιοθήκη Deep Neural Network Intel® oneAPI
- Intel® oneAPI Collective Communications Library
Βιβλιοθήκη Deep Neural Network Intel® oneAPI
Η Βιβλιοθήκη Deep Neural Network Intel® oneAPI είναι μια βιβλιοθήκη επιδόσεων ανοιχτού κώδικα για εφαρμογές βαθιάς εκμάθησης. Η βιβλιοθήκη περιλαμβάνει βασικά δομικά στοιχεία για νευρωνικά δίκτυα βελτιστοποιημένα για Intel® Architecture Processors και Intel® Processor Graphics. Αυτή η βιβλιοθήκη προορίζεται για εφαρμογές βαθιάς εκμάθησης και προγραμματιστές πλαισίων που ενδιαφέρονται να βελτιώσουν την απόδοση εφαρμογών σε επεξεργαστές και GPU της Intel. Πολλά δημοφιλή πλαίσια Deep Learning είναι ενσωματωμένα σε αυτήν τη βιβλιοθήκη.
Intel® oneAPI Collective Communications Library
Η Intel® OneAPI Collective Communications Library είναι μια βιβλιοθήκη που παρέχει αποτελεσματική εφαρμογή προτύπων επικοινωνίας που χρησιμοποιούνται στη βαθιά μάθηση.
- Χτισμένο πάνω στη βιβλιοθήκη Intel® MPI, επιτρέπει τη χρήση άλλων βιβλιοθηκών επικοινωνίας.
- Βελτιστοποιημένο για να αυξάνει την επεκτασιμότητα των προτύπων επικοινωνίας.
- Λειτουργεί σε διάφορες διασυνδέσεις: Intel® Omni-Path Architecture, InfiniBand* και Ethernet
- Κοινό API για την υποστήριξη πλαισίων Deep Learning (Caffe*, Theano*, Torch*, κ.λπ.)
- Αυτό το πακέτο περιλαμβάνει το Intel® MLSL Software Development Kit (SDK) και τα στοιχεία Intel® MPI Library Runtime.
Διαμορφώστε το σύστημά σας
Intel® oneAPI DL Framework Developer Toolkit
Για να τρέξετε sampΓια τη χρήση του Intel® oneAPI DPC++/C++ Compiler και του Intel® Threading Building Blocks, πρέπει να εγκαταστήσετε το Intel® oneAPI Base Toolkit πριν διαμορφώσετε το σύστημά σας.
Για μια πλήρη λίστα απαιτήσεων συστήματος, ανατρέξτε στο Σημειώσεις έκδοσης της βιβλιοθήκης Deep Neural Network Intel® oneAPI.
Για να διαμορφώσετε το σύστημά σας, πρέπει:
- Ορίστε μεταβλητές περιβάλλοντος για CPU/GPU ή FPGA
- Για χρήστες GPU, εγκαταστήστε προγράμματα οδήγησης GPU
- Απενεργοποιήστε το Hangcheck για εφαρμογές με μακροχρόνιο φόρτο εργασίας υπολογισμού GPU
- Για χρήστες GPU, προσθέστε έναν χρήστη στην ομάδα βίντεο
Ορισμός μεταβλητών περιβάλλοντος για την ανάπτυξη CLI
Για εργασία σε μια διεπαφή γραμμής εντολών (CLI), τα εργαλεία στα κιτ εργαλείων oneAPI διαμορφώνονται μέσω μεταβλητών περιβάλλοντος. Ρυθμίστε το περιβάλλον CLI σας προμηθεύοντας το σενάριο setvars:
Επιλογή 1: Πηγή setvars.sh μία φορά ανά περίοδο λειτουργίας
Πηγή setvars.sh κάθε φορά που ανοίγετε ένα νέο παράθυρο τερματικού:
Μπορείτε να βρείτε το σενάριο setvars.sh στον ριζικό φάκελο της εγκατάστασης του oneAPI, το οποίο είναι συνήθως /opt/ intel/oneapi/ για χρήστες sudo ή root και ~/intel/oneapi/ όταν εγκαθίσταται ως κανονικός χρήστης.
Για εγκαταστάσεις root ή sudo:
. /opt/intel/oneapi/setvars.sh
Για κανονικές εγκαταστάσεις χρήστη:
. ~/intel/oneapi/setvars.sh
Επιλογή 2: Ρύθμιση μίας χρήσης για το setvars.sh
Για να ρυθμίσετε αυτόματα το περιβάλλον για τα έργα σας, συμπεριλάβετε την εντολή source /setvars.sh σε ένα σενάριο εκκίνησης όπου θα κληθεί αυτόματα (αντικαταστήστε με τη διαδρομή προς τη θέση εγκατάστασης του oneAPI). Οι προεπιλεγμένες θέσεις εγκατάστασης είναι /opt/ intel/oneapi/ για χρήστες sudo ή root και ~/intel/oneapi/ όταν εγκαθίστανται ως κανονικός χρήστης.
Για π.χample, μπορείτε να προσθέσετε την εντολή source /setvars.sh στο ~/.bashrc ή στο ~/.bashrc_profile ή ~/.profile file. Για να κάνετε τις ρυθμίσεις μόνιμες για όλους τους λογαριασμούς στο σύστημά σας, δημιουργήστε ένα σενάριο .sh μιας γραμμής στο /etc/pro του συστήματός σαςfileΦάκελος .d που προέρχεται από το setvars.sh (για περισσότερες λεπτομέρειες, βλ Τεκμηρίωση Ubuntu για τις μεταβλητές περιβάλλοντος).
ΣΗΜΕΙΩΜΑ
Η διαχείριση του σεναρίου setvars.sh μπορεί να γίνει χρησιμοποιώντας μια διαμόρφωση file, το οποίο είναι ιδιαίτερα χρήσιμο εάν χρειάζεται να αρχικοποιήσετε συγκεκριμένες εκδόσεις βιβλιοθηκών ή του μεταγλωττιστή, αντί να κάνετε προεπιλογή στην "πιο πρόσφατη" έκδοση.
Για περισσότερες λεπτομέρειες, δείτε Χρήση διαμόρφωσης File για να διαχειριστείτε το Setvars.sh.. Εάν χρειάζεται να ρυθμίσετε το περιβάλλον σε κέλυφος που δεν είναι POSIX, βλ Ρύθμιση περιβάλλοντος ανάπτυξης oneAPI για περισσότερες επιλογές διαμόρφωσης.
Για χρήστες GPU, Εγκαταστήστε προγράμματα οδήγησης GPU
Εάν ακολουθήσατε τις οδηγίες στον Οδηγό εγκατάστασης για την εγκατάσταση προγραμμάτων οδήγησης GPU, μπορείτε να παραλείψετε αυτό το βήμα. Εάν δεν έχετε εγκαταστήσει τα προγράμματα οδήγησης, ακολουθήστε τις οδηγίες στο Οδηγός εγκατάστασης.
GPU: Απενεργοποιήστε το Hangcheck
Αυτή η ενότητα ισχύει μόνο για εφαρμογές με μακροχρόνιο φόρτο εργασίας υπολογισμού GPU σε εγγενή περιβάλλοντα. Δεν συνιστάται για εικονικοποιήσεις ή άλλες τυπικές χρήσεις GPU, όπως παιχνίδια.
Ένας φόρτος εργασίας που διαρκεί περισσότερα από τέσσερα δευτερόλεπτα για να εκτελεστεί το υλικό GPU είναι μεγάλος φόρτος εργασίας. Από προεπιλογή, τα μεμονωμένα νήματα που πληρούν τις προϋποθέσεις ως μακροχρόνιος φόρτος εργασίας θεωρούνται αναρτημένα και τερματίζονται.
Απενεργοποιώντας την περίοδο χρονικού ορίου του hangcheck, μπορείτε να αποφύγετε αυτό το πρόβλημα.
ΣΗΜΕΙΩΜΑ Εάν το σύστημα επανεκκινηθεί, το hangcheck ενεργοποιείται αυτόματα. Πρέπει να απενεργοποιήσετε ξανά το hangcheck μετά από κάθε επανεκκίνηση ή να ακολουθήσετε τις οδηγίες για να απενεργοποιήσετε το hangcheck επίμονα (σε πολλές επανεκκινήσεις).
Για να απενεργοποιήσετε το hangcheck μέχρι την επόμενη επανεκκίνηση:
sudo sh -c "echo N> /sys/module/i915/parameters/enable_hangcheck"
Για να απενεργοποιήσετε το hangcheck σε πολλές επανεκκινήσεις:
ΣΗΜΕΙΩΜΑ Εάν ο πυρήνας ενημερωθεί, το hangcheck ενεργοποιείται αυτόματα. Εκτελέστε την παρακάτω διαδικασία μετά από κάθε ενημέρωση του πυρήνα για να βεβαιωθείτε ότι το hangcheck είναι απενεργοποιημένο.
- Ανοίξτε ένα τερματικό.
- Ανοίξτε το γκρουπ file στο /etc/default.
- Στο γκρουπ file, βρείτε τη γραμμή GRUB_CMDLINE_LINUX_DEFAULT=””.
Εισαγάγετε αυτό το κείμενο ανάμεσα στα εισαγωγικά (""):
i915.enable_hangcheck=0 - Εκτελέστε αυτήν την εντολή:
sudo update-grub - Επανεκκινήστε το σύστημα. Το Hangcheck παραμένει απενεργοποιημένο.
GPU: Προσθήκη χρήστη στην ομάδα βίντεο
Για φόρτους εργασίας υπολογισμού GPU, οι χρήστες που δεν είναι root (κανονικοί) δεν έχουν συνήθως πρόσβαση στη συσκευή GPU. Φροντίστε να προσθέσετε τους κανονικούς χρήστες σας στην ομάδα βίντεο. Διαφορετικά, τα δυαδικά αρχεία που έχουν μεταγλωττιστεί για τη συσκευή GPU θα αποτύχουν όταν εκτελεστούν από έναν κανονικό χρήστη. Για να διορθώσετε αυτό το πρόβλημα, προσθέστε τον χρήστη που δεν είναι root στην ομάδα βίντεο: sudo usermod -a -G βίντεο
Για την πιο ενημερωμένη λίστα απαιτήσεων, ανατρέξτε στο Σημειώσεις έκδοσης της βιβλιοθήκης συλλογικών επικοινωνιών Intel® oneAPI.
Εκτελέστε ένα Sample Project
Εκτέλεση ωςample project χρησιμοποιώντας τη γραμμή εντολών.
Εκτελέστε ένα Sample Project με χρήση της γραμμής εντολών
Intel® oneAPI DL Framework Developer Toolkit
Εάν θέλετε να χρησιμοποιήσετε το oneDNN και το oneCCLamples, πρέπει να εγκαταστήσετε το Intel® oneAPI Base Toolkit (BaseKit).
Το BaseKit περιέχει όλα τα στοιχεία του Intel® OneAPI DL Framework Developer Toolkit με όλες τις απαιτούμενες εξαρτήσεις.
Αφού εγκατασταθεί το BaseKit, μπορείτε να εκτελέσετε ωςampχρησιμοποιώντας τις οδηγίες στο Δημιουργήστε και εκτελέστε ένα Intel® OneAPI DL Framework Developer Toolkit Sample Χρήση της γραμμής εντολών.
Χρήση κοντέινερ
Intel® oneAPI DL Framework Developer Toolkit
Τα κοντέινερ σάς επιτρέπουν να ρυθμίζετε και να διαμορφώνετε περιβάλλοντα για τη δημιουργία, εκτέλεση και δημιουργία προφίλ εφαρμογών oneAPI και να τα διανέμετε χρησιμοποιώντας εικόνες:
- Μπορείτε να εγκαταστήσετε μια εικόνα που περιέχει ένα περιβάλλον προρυθμισμένο με όλα τα εργαλεία που χρειάζεστε και στη συνέχεια να αναπτύξετε σε αυτό το περιβάλλον.
- Μπορείτε να αποθηκεύσετε ένα περιβάλλον και να χρησιμοποιήσετε την εικόνα για να μετακινήσετε αυτό το περιβάλλον σε άλλο μηχάνημα χωρίς πρόσθετη ρύθμιση.
- Μπορείτε να προετοιμάσετε κοντέινερ με διαφορετικά σύνολα γλωσσών και χρόνους εκτέλεσης, εργαλεία ανάλυσης ή άλλα εργαλεία, ανάλογα με τις ανάγκες.
Λήψη εικόνας Docker*
Μπορείτε να κάνετε λήψη μιας εικόνας Docker* από το Αποθετήριο Containers.
ΣΗΜΕΙΩΜΑ Η εικόνα του Docker είναι ~5 GB και μπορεί να χρειαστούν ~15 λεπτά για τη λήψη. Θα απαιτήσει 25 GB χώρου στο δίσκο.
εικόνα=intel/oneapi-dlfdkit
Docker pull "$image"
Χρήση κοντέινερ με τη γραμμή εντολών
Intel® oneAPI DL Framework Developer Toolkit
Μεταγλωττίστε και εκτελέστε απευθείας τα κοντέινερ.
Τα παρακάτω ενεργοποιούν τη GPU, εάν είναι διαθέσιμη, χρησιμοποιώντας –device=/dev/dri (ενδέχεται να μην είναι διαθέσιμη σε Linux* VM ή Windows*). Η εντολή θα σας αφήσει σε μια γραμμή εντολών, μέσα στο κοντέινερ, σε διαδραστική λειτουργία.
εικόνα=intel/oneapi-dlfdkit
# –device=/dev/dri ενεργοποιεί το gpu (αν είναι διαθέσιμο). Μπορεί να μην είναι διαθέσιμο σε Linux VM ή Windows docker run –device=/dev/dri -it “$image”
Μόλις μπείτε στο κοντέινερ, μπορείτε να αλληλεπιδράσετε μαζί του χρησιμοποιώντας το Run a Sample Project με χρήση της γραμμής εντολών.
ΣΗΜΕΙΩΜΑ Μπορεί να χρειαστεί να συμπεριλάβετε ρυθμίσεις διακομιστή μεσολάβησης πριν από το "$image" εάν βρίσκεστε πίσω από έναν διακομιστή μεσολάβησης:
docker run -e http_proxy=”$http_proxy” -e https_proxy=”$https_proxy” -it “$image”
Χρήση Intel® Advisor, Intel® Inspector ή VTune™ με κοντέινερ
Όταν χρησιμοποιείτε αυτά τα εργαλεία, πρέπει να παρέχονται επιπλέον δυνατότητες στο δοχείο:
–cap-add=SYS_ADMIN –cap-add=SYS_PTRACE
docker run –cap-add=SYS_ADMIN –cap-add=SYS_PTRACE \
–device=/dev/dri -it “$image”
Επόμενα Βήματα
Intel® oneAPI DL Framework Developer Toolkit
Αφού δημιουργήσετε το δικό σας έργο, εκ νέουview Intel® oneAPI DL Framework Toolkit Code Samples για να κατανοήσετε τις δυνατότητες αυτής της εργαλειοθήκης.
Ειδοποιήσεις και αποποιήσεις ευθυνών
Οι τεχνολογίες Intel ενδέχεται να απαιτούν ενεργοποίηση υλικού, λογισμικού ή υπηρεσίας.
Κανένα προϊόν ή συστατικό δεν μπορεί να είναι απολύτως ασφαλές.
Το κόστος και τα αποτελέσματά σας ενδέχεται να διαφέρουν.
© Intel Corporation. Η ονομασία Intel, το λογότυπο Intel και άλλα σήματα Intel είναι εμπορικά σήματα της Intel Corporation ή των θυγατρικών της. Άλλα ονόματα και επωνυμίες μπορούν να διεκδικηθούν ως ιδιοκτησία άλλων.
Σημείωση βελτιστοποίησης
Οι μεταγλωττιστές της Intel μπορεί ή όχι να βελτιστοποιούν στον ίδιο βαθμό για μικροεπεξεργαστές εκτός Intel για βελτιστοποιήσεις που δεν είναι μοναδικές για τους μικροεπεξεργαστές Intel. Αυτές οι βελτιστοποιήσεις περιλαμβάνουν σύνολα εντολών SSE2, SSE3 και SSSE3 και άλλες βελτιστοποιήσεις. Η Intel δεν εγγυάται τη διαθεσιμότητα, τη λειτουργικότητα ή την αποτελεσματικότητα οποιασδήποτε βελτιστοποίησης σε μικροεπεξεργαστές που δεν έχουν κατασκευαστεί από την Intel. Οι βελτιστοποιήσεις που εξαρτώνται από μικροεπεξεργαστή σε αυτό το προϊόν προορίζονται για χρήση με μικροεπεξεργαστές Intel. Ορισμένες βελτιστοποιήσεις που δεν είναι συγκεκριμένες για τη μικροαρχιτεκτονική της Intel προορίζονται για μικροεπεξεργαστές Intel. Ανατρέξτε στους ισχύοντες Οδηγούς χρήσης και αναφοράς του προϊόντος για περισσότερες πληροφορίες σχετικά με τα συγκεκριμένα σύνολα οδηγιών που καλύπτονται από αυτήν την ειδοποίηση.
Αναθεώρηση ειδοποίησης #20110804
Καμία άδεια (ρητή ή σιωπηρή, με estoppel ή με άλλο τρόπο) για δικαιώματα πνευματικής ιδιοκτησίας δεν χορηγείται από αυτό το έγγραφο.
Τα προϊόντα που περιγράφονται ενδέχεται να περιέχουν σχεδιαστικά ελαττώματα ή σφάλματα γνωστά ως λάθη που μπορεί να προκαλέσουν απόκλιση του προϊόντος από τις δημοσιευμένες προδιαγραφές. Τα τρέχοντα χαρακτηρισμένα σφάλματα είναι διαθέσιμα κατόπιν αιτήματος.
Η Intel αποποιείται κάθε ρητής και σιωπηρής εγγύησης, συμπεριλαμβανομένων χωρίς περιορισμό, των σιωπηρών εγγυήσεων εμπορευσιμότητας, καταλληλότητας για συγκεκριμένο σκοπό και μη παραβίασης, καθώς και οποιασδήποτε εγγύησης που προκύπτει από την πορεία απόδοσης, την πορεία συναλλαγής ή τη χρήση στο εμπόριο.
Έγγραφα / Πόροι
 |
Intel oneAPI DL Framework Developers Toolkit για Linux [pdf] Εγχειρίδιο κατόχου oneAPI DL Framework Developers Toolkit για Linux, Framework Developers Toolkit για Linux, Developers Toolkit για Linux, Toolkit για Linux |
