שימוש ב-TensorFlow Enterprise עם Deep Learning VM

בדף הזה מופיעה סקירה כללית קצרה על תמונות VM של למידה עמוקה (Deep Learning), ומוסבר איך להתחיל להשתמש ב-TensorFlow Enterprise עם מכונת VM של למידה עמוקה.

בדוגמה הזו, יוצרים מכונה וירטואלית של TensorFlow Enterprise Deep Learning, מתחברים למכונה באמצעות SSH, פותחים מחברת JupyterLab ומריצים מדריך לסיווג באמצעות רשתות עצביות עם Keras.

סקירה כללית של Deep Learning VM

‫Deep Learning VM Images (תמונות VM של למידה עמוקה) היא קבוצה של תמונות מכונה וירטואלית שעברו אופטימיזציה למשימות של מדעי הנתונים ולמידת מכונה. כל התמונות מגיעות עם מסגרות וכלים מרכזיים של ML שכבר מותקנים מראש. אפשר להשתמש בהם מיד במקרים עם GPU כדי להאיץ את משימות עיבוד הנתונים.

קובצי אימג' של מכונות VM ללמידה עמוקה (Deep Learning) זמינים כדי לתמוך בשילובים רבים של מסגרות ומעבדים. כרגע יש תמונות שתומכות ב-TensorFlow Enterprise, ב-TensorFlow, ב-PyTorch ובמחשוב כללי בעל ביצועים גבוהים, עם גרסאות לזרימות עבודה שמבוססות על מעבד בלבד ועל מעבד גרפי.

כדי לראות רשימה של מסגרות שזמינות, אפשר לעיין במאמר בנושא בחירת תמונה.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

יצירת מופע של מכונת VM ללמידה עמוקה

כדי ליצור מכונת וירטואלית של TensorFlow Enterprise Deep Learning, מבצעים את השלבים הבאים:

1. נכנסים לדף Deep Learning VM Cloud Marketplace במסוף Google Cloud .

   כניסה לדף Deep Learning VM Cloud Marketplace

2. לוחצים על הפעלה ב-Compute Engine. אם מופיע חלון לבחירת פרויקט, בוחרים את הפרויקט שבו רוצים ליצור את המופע. אם זו הפעם הראשונה שאתם מפעילים את Compute Engine, אתם צריכים לחכות עד שתהליך ההגדרה הראשונית של ה-API יסתיים.

3. בדף New Deep Learning VM deployment (פריסה חדשה של מכונת Deep Learning וירטואלית), מזינים Deployment name (שם הפריסה). זה יהיה הבסיס לשם המכונה הווירטואלית. כשמערכת Compute Engine יוצרת את המכונה, היא מוסיפה את המחרוזת -vm לשם הזה.

4. בקטע מספר יחידות GPU, בוחרים באפשרות ללא. לא תצטרכו אותן כדי להשלים את ההוראות במדריך הזה.

   הערה: אם אתם מתכננים להשתמש במעבדי GPU עם מופע TensorFlow Enterprise שלכם, כדאי לעיין בדף המכסות כדי לוודא שיש לכם מספיק מעבדי GPU זמינים בפרויקט. אם יחידות ה-GPU לא מופיעות בדף המכסות, או אם אתם צריכים מכסת GPU נוספת, אתם יכולים לבקש להגדיל את המכסה. איך מבקשים להגדיל את המכסה בדף מכסות משאבים של Compute Engine.

5. בקטע Framework (מסגרת), בוחרים באפשרות TensorFlow Enterprise 2.3 (CUDA 11.0).

6. בדוגמה הזו, אפשר להשאיר את שאר ההגדרות כמו שהן.

7. לוחצים על פריסה.

זהו, יצרתם את המופע הראשון של מכונת VM ללמידה עמוקה. אחרי שיוצרים את המופע, נפתח Deployment Manager. כאן אפשר לנהל את מופע מכונת ה-VM ללמידה עמוקה (Deep Learning) ופריסות אחרות.

התחברות באמצעות SSH, פתיחת נוטבוק והרצת מדריך לסיווג

כדי להגדיר חיבור SSH למופע של מכונה וירטואלית ללמידה עמוקה, לפתוח מחברת JupyterLab ולהריץ הדרכה על שימוש ברשתות עצביות עם Keras, צריך לבצע את השלבים הבאים:

1. כדי לבצע את השלבים האלה, אפשר להשתמש ב-Cloud Shell או בכל סביבה שבה אפשר להתקין את Google Cloud CLI. אפשר להשתמש ב-CLI של gcloud כדי ליצור ממשק עם המכונה.

   • אם רוצים להשתמש ב-Cloud Shell, לוחצים על הלחצן Activate Cloud Shell בפינה הימנית העליונה של Google Cloud.

     

   • אם רוצים להשתמש ב-CLI של gcloud, צריך להוריד ולהתקין את Google Cloud CLI במחשב המקומי.

2. ב-Cloud Shell או בחלון טרמינל מקומי, משתמשים בפקודה הבאה כדי ליצור חיבור SSH למכונה. מחליפים את my-project-id,‏ my-zone ו-my-instance-name במידע הרלוונטי.

   gcloud compute ssh --project my-project-id --zone my-zone \
     my-instance-name -- -L 8080:localhost:8080
   

   הערה: כדי למצוא את מזהה הפרויקט, לוחצים על שם הפרויקט בחלק העליון של מסוף Google Cloud . כדי למצוא את האזור, לוחצים על המופע ב-Deployment Manager.

3. בדפדפן המקומי, עוברים אל http://localhost:8080 כדי לגשת למחברת JupyterLab שכלולה במופע כברירת מחדל.

4. במחברת, בצד ימין, לוחצים פעמיים על tutorials כדי לפתוח את התיקייה, מנווטים אל tutorials/tf2_course/01_neural_nets_with_keras.ipynb ופותחים אותה.

5. לוחצים על לחצן ההפעלה כדי להפעיל תאים במדריך.

המאמרים הבאים

• מידע נוסף על מכונות וירטואליות ללמידה עמוקה
• מידע נוסף על קהילת Deep Learning VM, שבה אפשר לדון ולשאול שאלות על Deep Learning VM.
• איך מתחילים להשתמש ב-TensorFlow Enterprise עם Deep Learning Containers