ה-Dataproc Hub מאפשר לכם להשתמש ב-Vertex AI Workbench וב-Dataproc כדי להריץ משימות אינטראקטיביות של למידת מכונה (ML) ועיבוד נתונים בהיקף נרחב באמצעות מחברות Jupyter והמערכת האקולוגית של Hadoop ו-Spark.
מחברות Dataproc Hub הן מחברות של משתמש יחיד, שנוצרו ופועלות בפרויקט של המשתמש באשכול Dataproc JupyterLab. האדמין בוחר את המחברות האלה.
Dataproc Hub משתמש ב-JupyterHub כדי:
- כדי לשמור על עקביות בכל הארגון, האדמינים יכולים ליצור רשימה מותאמת אישית של תבניות מחברות למשתמשים שונים בקבוצות שונות של נתונים ו-ML.
- האצת יצירת מחברות על ידי אספקת סביבות שהוגדרו מראש למשתמשים בנתונים ולמידת מכונה, בהתאם לדרישות התוכנה והחומרה שלהם.
ב-Dataproc Hub יש ממשקים נפרדים לאדמינים ולמשתמשים:
- אדמינים משתמשים בדף Dataproc→Workbench→User-Managed Notebooks במסוף Google Cloud כדי ליצור מופעים של Dataproc Hub. כל מופע של Hub מכיל קבוצה מוגדרת מראש של סביבות מחברת שמוגדרות על ידי קובצי הגדרת אשכולות ב-YAML.
- משתמשים בנתונים וב-ML משתמשים בממשק המשתמש Notebooks→Instances במסוףGoogle Cloud כדי לבחור סביבת מחברת מוגדרת מראש כדי ליצור שרת מחברת באשכול Dataproc שלהם.
- משתמשים שאין להם גישה למסוף יכולים לגשת למופע של Dataproc Hub כדי ליצור אשכול Dataproc מדפדפן האינטרנט שלהם באמצעות כתובת URL של מופע Dataproc Hub שסופקה על ידי האדמין.
תרחישים לדוגמה לשימוש ב-Dataproc Hub:
- משתמשים בנתונים וב-ML מאורגנים בקבוצות עם דרישות משותפות של תוכנה וחומרה (אפשר להוסיף משתמשים לכמה קבוצות)
- גישה מוגבלת למסוף Dataproc: למשתמשים אין גישה ל-Dataproc במסוף Google Cloud
תכונות Dataproc Hub:
- סביבות משתמש מוגדרות מראש
- בידוד של אשכולות ומחברות: חברים בקבוצה לא מקבלים גישה קלה לאשכולות ולמחברות של חברים בקבוצות אחרות
למידע נוסף
- אדמינים: הגדרת Dataproc Hub
- משתמשים: שימוש ב-Dataproc Hub