מבוא ל-Notebooks מנוהלים

מופעים של מחברות מנוהלות ב-Vertex AI Workbench הם סביבות בניהול Google עם שילובים ויכולות שעוזרים לכם להגדיר ולעבוד בסביבת ייצור מקצה לקצה שמבוססת על מחברת Jupyter.

מכונות מחברת מנוהלות מגיעות עם JupyterLab ועם חבילה מותקנת מראש של חבילות ללמידה עמוקה, כולל תמיכה ב-frameworks של TensorFlow ו-PyTorch. מכונות notebook מנוהלות תומכות במאיצי GPU ובאפשרות לסנכרן עם מאגר GitHub. מופעי מחברות מנוהלות מוגנים באמצעות אימות והרשאות של Google Cloud .

תשתית מחשוב בניהול Google

מכונה של Vertex AI Workbench managed notebooks היא תשתית מחשוב מבוססת Jupyter notebook שמנוהלת על ידי Google.

כשיוצרים מחברת מנוהלת, היא נפרסת כמכונה וירטואלית (VM) שמנוהלת על ידי Google בפרויקט דייר.

האירוע המנוהל של מחברות כולל הרבה סביבות נפוצות של מסגרות למדעי הנתונים, כמו TensorFlow ו-PyTorch. אפשר גם להוסיף קובצי אימג' בקונטיינר בהתאמה אישית למופע של מחברות מנוהלות. הסביבות האלה זמינות כליבות שאפשר להריץ בהן את קובץ ה-notebook.

כשמריצים notebook באחד מהקרנלים, מערכת Vertex AI Workbench מפעילה את הקונטיינר המתאים, יוצרת בו סשן Jupyter ומשתמשת בסשן הזה כדי להריץ את ה-notebook בקונטיינר.

תשתית המחשוב הזו שמנוהלת על ידי Google כוללת שילובים ויכולות שעוזרים לכם להטמיע תהליכי עבודה של מדעי הנתונים ולמידת מכונה מההתחלה ועד הסוף. פרטים נוספים מופיעים בקטעים הבאים.

שימוש במאגרי תגים מותאמים אישית

אתם יכולים להוסיף קובצי אימג' מותאמים אישית של קונטיינרים של Docker למופע של מחברות מנוהלות כדי להריץ את קוד המחברת בסביבה שמותאמת לצרכים שלכם.

המאגרי התגים המותאמים אישית האלה זמינים לשימוש ישירות מממשק המשתמש של JupyterLab, לצד המסגרות שהותקנו מראש. מידע נוסף מופיע במאמר בנושא הוספת מאגר מותאם אישית למופע של מחברות מנוהלות.

תהליך עבודה שמבוסס על מחברת

מכונות notebook מנוהלות מאפשרות לכם לבצע משימות שקשורות לתהליכי עבודה בלי לצאת מממשק המשתמש של JupyterLab.

שליטה בחומרה ובמסגרת מ-JupyterLab

במופע של מחברות מנוהלות, בממשק המשתמש של JupyterLab מציינים את משאבי המחשוב שבהם הקוד יפעל. לדוגמה, אתם יכולים להגדיר כמה מעבדים וירטואליים או מעבדים גרפיים אתם רוצים, כמה זיכרון RAM אתם רוצים ובאיזו מסגרת אתם רוצים להריץ את הקוד. אתם יכולים לכתוב את הקוד קודם, ואז לבחור איך להריץ אותו בלי לצאת מ-JupyterLab או להפעיל מחדש את המופע. כדי לבצע בדיקות מהירות של הקוד, אפשר להקטין את קנה המידה של החומרה ואז להגדיל אותו שוב כדי להריץ את הקוד על יותר נתונים.

גישה לנתונים

אתם יכולים לגשת לנתונים בלי לצאת מממשק המשתמש של JupyterLab.

בתפריט הניווט של JupyterLab במופע של מחברות מנוהלות, אפשר להשתמש בשילוב עם Cloud Storage כדי לעיין בנתונים ובקבצים אחרים שיש לכם גישה אליהם. איך ניגשים לקטגוריות ולקבצים ב-Cloud Storage מתוך JupyterLab

אפשר גם להשתמש בשילוב עם BigQuery כדי לעיין בטבלאות שיש לכם גישה אליהן, לכתוב שאילתות, לראות תצוגה מקדימה של התוצאות ולטעון נתונים למחברת. איך שולפים נתונים מטבלאות BigQuery מתוך JupyterLab

ביצוע של הפעלות של מחברות

אפשר להשתמש ב-executor כדי להריץ קובץ מחברת כהפעלה חד-פעמית או לפי לוח זמנים. בוחרים את הסביבה והחומרה הספציפיות שרוצים להריץ עליהן את ההפעלה. הקוד של ה-notebook יפעל באימון מותאם אישית של Vertex AI, שיכול להקל על ביצוע אימון מבוזר, אופטימיזציה של היפרפרמטרים או תזמון של משימות אימון רציפות. מידע נוסף זמין במאמר בנושא הרצת קובצי מחברת באמצעות כלי ההרצה.

אתם יכולים להשתמש בפרמטרים בהרצה כדי לבצע שינויים ספציפיים בכל הרצה. לדוגמה, אפשר לציין להשתמש במערך נתונים אחר, לשנות את קצב הלמידה של המודל או לשנות את גרסת המודל.

אפשר גם להגדיר הפעלה של מחברת לפי לוח זמנים חוזר. גם כשהמופע מושבת, Vertex AI Workbench יפעיל את קובץ ה-notebook וישמור את התוצאות כדי שתוכלו לעיין בהן ולשתף אותן עם אחרים.

שיתוף תובנות

הפעלות של מחברות מבוצעות מאוחסנות בקטגוריה של Cloud Storage, כך שאפשר לשתף את התובנות עם אחרים על ידי מתן גישה לתוצאות. אפשר לעיין בקטע הקודם בנושא הפעלת מחברות.

אבטחת המופע

אפשר לפרוס את מופע המחברות המנוהלות עם רשת ברירת המחדל שמנוהלת על ידי Google, שמשתמשת ברשת VPC ובתת-רשת שמוגדרות כברירת מחדל. במקום רשת ברירת המחדל, אפשר לציין רשת VPC לשימוש עם המופע. מידע נוסף מופיע במאמר בנושא הגדרת רשת. אתם יכולים להשתמש ב-VPC Service Controls כדי לספק אבטחה נוספת למופעים של מחברות מנוהלות.

כדי להשתמש במחברות מנוהלות בתוך גבולות גזרה לשירות, אפשר לעיין במאמר שימוש במופע של מחברות מנוהלות בתוך גבולות גזרה לשירות.

כברירת מחדל, Google Cloud הנתונים מוצפנים אוטומטית כשהם במצב מנוחה באמצעות מפתחות הצפנה שמנוהלים על ידי Google. אם יש לכם דרישות ספציפיות בנושא תאימות או רגולציה שקשורות למפתחות שמגנים על הנתונים שלכם, אתם יכולים להשתמש במפתחות הצפנה בניהול הלקוח (CMEK) עם מופעי מחברות מנוהלות. מידע נוסף מופיע במאמר בנושא שימוש במפתחות הצפנה בניהול הלקוח.

כיבוי אוטומטי של מופעים לא פעילים

כדי לעזור לכם לנהל את העלויות, מופעי מחברות מנוהלות מושבתים כברירת מחדל אחרי תקופת חוסר פעילות מסוימת. אפשר לשנות את משך הזמן או להשבית את התכונה הזו. מידע נוסף זמין במאמר בנושא כיבוי במצב לא פעיל.

שילוב עם Dataproc

אתם יכולים לעבד נתונים במהירות על ידי הפעלת מחברת ב-Dataproc cluster. אחרי שמגדירים את האשכול, אפשר להריץ קובץ notebook בלי לצאת מממשק המשתמש של JupyterLab. מידע נוסף זמין במאמר הפעלת מופע של מחברות מנוהלות באשכול Dataproc.

מגבלות

כשמתכננים את הפרויקט, כדאי לקחת בחשבון את המגבלות הבאות של מחברות מנוהלות:

  • מכונות של מחברות מנוהלות מנוהלות על ידי Google, ולכן יש פחות אפשרויות להתאמה אישית שלהן בהשוואה למכונות של מחברות בניהול משתמשים של Vertex AI Workbench. יכול להיות שיהיה יותר נוח למשתמשים שרוצים שליטה רבה בסביבה שלהם להשתמש במופעים של notebooks בניהול המשתמשים. מידע נוסף מופיע במאמר מבוא למחברות שנוהלו על ידי המשתמש.

  • אין תמיכה בתוספים של צד שלישי ל-JupyterLab.

  • התוסף Dataproc JupyterLab לא נתמך במחברות מנוהלות, אבל אפשר להשתמש בתוסף במופעים של Vertex AI Workbench. אפשר לעיין במאמר בנושא יצירת מופע עם Dataproc.

  • מופעים של מחברות מנוהלות לא מאפשרים למשתמשים לקבל גישה ל-sudo.

  • כשמשתמשים ב-Access Context Manager וב-Chrome Enterprise Premium כדי להגן על מופעי מחברות מנוהלים באמצעות אמצעי בקרה לגישה מודעת-הקשר, הגישה מוערכת בכל פעם שהמשתמש מאומת למופע. לדוגמה, הגישה נבדקת בפעם הראשונה שהמשתמש ניגש ל-JupyterLab, ובכל פעם לאחר מכן אם תוקף קובץ ה-Cookie של דפדפן האינטרנט פג.

  • כדי להשתמש במאיצים עם מופעים מנוהלים של מחברות, סוג המאיץ שבו רוצים להשתמש צריך להיות זמין באזור של המופע. מידע על זמינות של מאיצים לפי אזור זמין במאמר זמינות של אזורים ואזורים גיאוגרפיים של GPU.

המאמרים הבאים