רכיב Jupyter אופציונלי של Managed Service for Apache Spark

הרכיב האופציונלי של Jupyter מאפשר להריץ מסמכי Notebook אינטראקטיביים לניתוח נתונים באשכול של Managed Service for Apache Spark. הרכיב מספק סביבת notebook של Jupyter למשתמש יחיד, שמבוססת-אינטרנט ותומכת בממשק המשתמש של JupyterLab באינטרנט.

חלופות ל-Notebook עם משתמשים מרובים

כדי להציג קובצי notebook לכמה משתמשים, יוצרים מכונה של Vertex AI Workbench עם Managed Service for Apache Spark. לחלופין, מתקינים את הפלאגין Managed Service for Apache Spark JupyterLab במכונה וירטואלית.

הגדרות אישיות

מגדירים את Jupyter. אפשר להגדיר את Jupyter באמצעות מאפייני אשכול של dataproc:jupyter. כדי להפחית את הסיכון להפעלה מרחוק של קוד באמצעות ממשקי API לא מאובטחים של שרת Notebook, הגדרת ברירת המחדל של מאפיין האשכול dataproc:jupyter.listen.all.interfaces היא false, שמגבילה את החיבורים ל-localhost (127.0.0.1) כששער הרכיבים מופעל (צריך להפעיל את שער הרכיבים כשמתקינים את רכיב Jupyter).

ב-Jupyter Notebook יש ליבת Python להרצת קוד Spark וליבת PySpark. כברירת מחדל, ה-notebooks נשמרים ב-Cloud Storage בקטגוריית ה-staging של Managed Service for Apache Spark, שצוינה על ידי המשתמש או נוצרה באופן אוטומטי כשהאשכול נוצר. אפשר לשנות את המיקום בזמן יצירת האשכול באמצעות המאפיין dataproc:jupyter.notebook.gcs.dir של האשכול.

עבודה עם קובצי נתונים אתם יכולים להשתמש ב-Jupyter Notebook כדי לעבוד עם קובצי נתונים שהועלו ל-Cloud Storage. מכיוון שחיבור ל-Cloud Storage מותקן מראש באשכול של Managed Service for Apache Spark, אתם יכולים להפנות לקבצים ישירות ב-notebook. דוגמה לגישה לקובצי CSV ב-Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

דוגמאות ל-PySpark מופיעות במאמר פונקציות כלליות של טעינה ושמירה.

התקנת Jupyter

מתקינים את הרכיב כשיוצרים אשכול Managed Service for Apache Spark. כדי להשתמש ברכיב Jupyter, צריך להפעיל את שער הרכיבים של Managed Service for Apache Spark.

מסוףGoogle Cloud

  1. במסוף Google Cloud , פותחים את הדף Create cluster.
  2. לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
  3. עורכים את Optional components.
  4. בחלונית שנפתחת, מסמנים את התיבה Jupyter Notebook ולוחצים על Save.

‫CLI של gcloud

כדי ליצור אשכול Managed Service for Apache Spark שכולל את רכיב Jupyter, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

דוגמה לגרסת תמונה האחרונה כברירת מחדל

בדוגמה הבאה, הרכיב Jupyter מותקן באשכול שמשתמש בגרסת ברירת המחדל העדכנית ביותר של קובץ האימג'.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

‫API בארכיטקטורת REST

אפשר להתקין את רכיב Jupyter באמצעות Dataproc API, על ידי שימוש ב-SoftwareConfig.Component כחלק מבקשת clusters.create.

פתיחת ממשקי המשתמש של Jupyter ו-JupyterLab

לוחצים על הקישורים של Component Gateway במסוףGoogle Cloud כדי לפתוח בדפדפן המקומי את ממשק המשתמש של Jupyter Notebook או של JupyterLab שפועל בצומת הראשי של האשכול.

בוחרים באפשרות GCS או Local Disk כדי ליצור קובץ Jupyter Notebook חדש באחד מהמיקומים האלה.

הוספת מעבדי GPU לצומתי מאסטר ולצומתי עובדים

אתם יכולים להוסיף מעבדים גרפיים לצומת הראשי ולצומתי העובדים של האשכול כשאתם משתמשים ב-Jupyter Notebook כדי:

  1. עיבוד מראש של נתונים ב-Spark, איסוף של DataFrame במאסטר והרצה של TensorFlow
  2. שימוש ב-Spark כדי לתזמר הרצות של TensorFlow במקביל
  3. מריצים את Tensorflow-on-YARN
  4. שימוש בתרחישים אחרים של למידת מכונה שמשתמשים במעבדים גרפיים