סקירה כללית על Dataproc Hub

בעזרת Dataproc Hub אתם יכולים להשתמש ב-Vertex AI Workbench וב-Managed Service for Apache Spark כדי להריץ משימות אינטראקטיביות של ML ועיבוד נתונים בקנה מידה נרחב, באמצעות סביבות פיתוח משולבות של Jupyter והסביבה העסקית של Hadoop ו-Spark.

ה-notebooks ב-Dataproc Hub הם notebooks למשתמש יחיד, שנאספו על ידי אדמין ופועלים באשכול JupyterLab של Managed Service for Apache Spark שנוצר ופועל בפרויקט של המשתמש.

  • Dataproc Hub משתמש ב-JupyterHub כדי:

    • כדי לשמור על עקביות בארגון, האדמינים יכולים ליצור רשימה של תבניות ל-Notebooks שמתאימות לקבוצות שונות של משתמשי נתונים ו-ML.
    • להאיץ את יצירת ה-notebooks על ידי מתן סביבות מוגדרות מראש למשתמשי נתונים ולמידת מכונה, שתואמות לדרישות התוכנה והחומרה שלהם.

  • ב-Dataproc Hub יש ממשקים נפרדים לאדמינים ולמשתמשים:

    • האדמינים משתמשים בדף Dataproc→Workbench→User-Managed Notebooks במסוף Google Cloud כדי ליצור מכונות של Dataproc Hub. כל מופע של Hub מכיל קבוצה מוגדרת מראש של סביבות Notebook, שמוגדרות באמצעות קובצי תצורה של אשכולות YAML.
    • משתמשי נתונים ו-ML משתמשים בממשק המשתמש Notebooks→Instances במסוףGoogle Cloud כדי לבחור סביבת Notebook מוגדרת מראש, כדי ליצור שרת Notebook באשכול Managed Service for Apache Spark שלהם.
      • משתמשים שאין להם גישה למסוף יכולים לגשת למכונה של Dataproc Hub כדי ליצור אשכול של Managed Service for Apache Spark מדפדפן האינטרנט שלהם, באמצעות כתובת ה-URL של מכונת Dataproc Hub שסופקה על ידי האדמין.

  • תרחישים לדוגמה לשימוש ב-Dataproc Hub:

    • משתמשי נתונים ו-ML מאורגנים בקבוצות עם דרישות תוכנה וחומרה משותפות (אפשר להציב משתמשים בכמה קבוצות)
    • גישה מוגבלת למסוף Managed Service for Apache Spark: למשתמשים אין גישה ל-Managed Service for Apache Spark במסוף Google Cloud

  • התכונות של Dataproc Hub:

    • סביבות משתמשים מוגדרות מראש
    • בידוד של אשכולות ו-notebooks: לחברים בקבוצה אין גישה קלה לאשכולות ול-notebooks של חברים בקבוצות אחרות.

למידע נוסף