שימוש בתוסף JupyterLab לפיתוח עומסי עבודה (workloads) של Spark ללא שרת (serverless)

במאמר הזה מוסבר איך להתקין את התוסף של JupyterLab ולהשתמש בו במכונה או ב-VM בניהול עצמי שיש להם גישה לשירותי Google. בנוסף, מוסבר איך לפתח ולפרוס קוד של notebook ב-Spark ללא שרת (serverless).

התקנת התוסף נמשכת כמה דקות, ואחריה אפשר ליהנות מהתכונות הבאות:

  • הפעלת פריטי Notebook של Spark ו-BigQuery ללא שרת (serverless) כדי לפתח קוד במהירות
  • עיון במערכי נתונים של BigQuery ותצוגה מקדימה שלהם ב-JupyterLab
  • עריכת קובצי Cloud Storage ב-JupyterLab
  • תזמון Notebook ב-Composer

שימוש ב-Google Cloud Data Agent Kit: בנוסף ל-JupyterLab, אתם יכולים גם לפתח ולנהל את עומסי העבודה של Managed Service for Apache Spark ב-VS Code באמצעות Data Agent Kit. בעזרת Data Agent Kit אתם יכולים לנהל את כל מחזור החיים של עומסי העבודה של הנתונים ב-IDE או באמצעות CLI נתמך של סוכנים, כולל בניית צינורות נתונים.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that you have the permissions required to complete this guide.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  6. Install the Google Cloud CLI.

  7. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  10. Verify that you have the permissions required to complete this guide.

  11. Verify that billing is enabled for your Google Cloud project.

  12. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  13. Install the Google Cloud CLI.

  14. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  15. To initialize the gcloud CLI, run the following command: 

    gcloud init

התפקידים הנדרשים

כדי להריץ את הדוגמאות שבדף הזה, צריך תפקידים מסוימים ב-IAM. יכול להיות שהתפקידים האלה כבר הוקצו בהתאם למדיניות הארגון. כדי לבדוק את התפקידים שהוקצו, קראו את המאמר האם צריך להקצות תפקידים?.

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

תפקידי משתמשים

כדי לקבל את ההרשאות שדרושות ליצירת סשן אינטראקטיבי של Notebook, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

תפקיד של חשבון שירות

כדי לוודא שלחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש את ההרשאות שנדרשות ליצירת סשן אינטראקטיבי, צריך לבקש מהאדמין לתת לחשבון השירות הזה את התפקיד Dataproc Worker ‏(roles/dataproc.worker) ב-IAM בפרויקט.

התקנת התוסף של JupyterLab

אתם יכולים להתקין את התוסף של JupyterLab ולהשתמש בו במכונה או ב-VM שיש להם גישה לשירותי Google, כמו המכונה המקומית או מכונה וירטואלית של Compute Engine.

כדי להתקין את התוסף, פועלים לפי השלבים הבאים:

  1. מורידים ומתקינים את Python בגרסה 3.11 ואילך מהכתובת python.org/downloads.

    • מאמתים את ההתקנה של Python 3.11 ואילך. 
      python3 --version

  2. יוצרים סביבה וירטואלית ל-Python. 

    pip3 install pipenv

    • יוצרים תיקיית התקנה. 
      mkdir jupyter
    • עוברים לתיקיית ההתקנה. 
      cd jupyter
    • יוצרים סביבה וירטואלית. 
      pipenv shell

  3. מתקינים את JupyterLab בסביבה הווירטואלית. 

    pipenv install jupyterlab

  4. מתקינים את התוסף של JupyterLab. 

    pipenv install bigquery-jupyter-plugin

  5. מפעילים את JupyterLab. 

    jupyter lab

    1. הדף Launcher של JupyterLab נפתח בדפדפן. הוא מכיל את הקטע Dataproc Jobs and Sessions. הוא יכול להכיל גם את הקטעים Dataproc Serverless Notebooks ו-Dataproc Cluster Notebooks, אם יש לכם גישה ל-Managed Service for Apache Spark notebooks או לאשכולות עם הרכיב האופציונלי של Jupyter שפועל בפרויקט.

      דף הדפדפן של מרכז האפליקציות של JupyterLab

    2. כברירת מחדל, הסשן האינטראקטיבי פועל בפרויקט ובאזור שהגדרתם כשהרצתם את gcloud init בקטע לפני שמתחילים. אפשר לשנות את הגדרות הפרויקט והאזור של הסשנים דרך הגדרות > Google Cloud הגדרות > Google Cloud הגדרות הפרויקט ב-JupyterLab.

      כדי שהשינויים ייכנסו לתוקף, צריך להפעיל מחדש את התוסף.

יצירת תבנית של סביבת זמן ריצה ב-Managed Service for Apache Spark

תבניות של סביבות זמן ריצה ב-Managed Service for Apache Spark (נקראות פרופילים של סביבות זמן ריצה בדף Runtime Profiles במסוףGoogle Cloud ותבניות של סשנים ב-Google Cloud CLI וב-Dataproc API) מכילות הגדרות אישיות להרצת קוד Spark בסשן. אפשר ליצור ולנהל תבניות של סביבות זמן ריצה באמצעות JupyterLab, מסוףGoogle Cloud או Google Cloud CLI.

JupyterLab

  1. לוחצים על הכרטיס New runtime template בקטע Dataproc Serverless Notebooks בדף Launcher של JupyterLab.

  2. ממלאים את הטופס Runtime template.

    • פרטי התבנית:

      • שם לתצוגה, מזהה סביבת זמן ריצה ותיאור: מאשרים או ממלאים את השם לתצוגה, מזהה סביבת זמן הריצה והתיאור של התבנית.

    • Execution Configuration: בוחרים באפשרות User Account כדי להריץ קובצי notebook באמצעות זהות המשתמש במקום באמצעות הזהות של חשבון השירות של Dataproc.

    • Encryption: מאשרים את ברירת המחדל Google-owned and Google-managed encryption key או בוחרים באפשרות Customer-managed encryption key (CMEK). אם בחרתם ב-CMEK, בחרו או הזינו את פרטי המפתח.

    • הגדרת רשת: בוחרים רשת משנה בפרויקט או ברשת ששותפה מפרויקט מארח (אפשר לשנות את הפרויקט דרך הגדרות > Google Cloud הגדרות > Google Cloud הגדרות הפרויקט ב-JupyterLab. אפשר לציין תגי רשת שיחולו על הרשת שצוינה. שימו לב שב-Managed Service for Apache Spark, אפשר להפעיל גישה פרטית ל-Google‏ (PGA) ברשת המשנה שצוינה. לדרישות של קישוריות לרשת, קראו את המאמר הגדרת הרשת של Managed Service for Apache Spark.

    • הגדרת סשן: אפשר למלא את השדות האלה כדי להגביל את משך הסשנים שנוצרו באמצעות התבנית.

      • זמן חוסר פעילות מקסימלי: משך הזמן המקסימלי של חוסר פעילות לפני שהסשן מסתיים. הטווח המותר: 10 דקות עד 336 שעות (14 ימים).
      • משך הסשן המקסימלי: משך החיים המקסימלי של סשן לפני שהוא מסתיים. הטווח המותר: 10 דקות עד 336 שעות (14 ימים).

    • ‫Metastore: כדי להשתמש בשירות Dataproc Metastore בסשנים, בוחרים את מזהה הפרויקט והשירות של Metastore.

    • שרת היסטוריה מתמשכת: אתם יכולים לבחור שרת היסטוריה מתמשכת של Spark זמין כדי לאפשר לכם לגשת ליומני הסשנים במהלך הסשנים ואחריהם.

    • מאפייני Spark: אתם יכולים לבחור ולהוסיף את המאפיינים Resource Allocation,‏ Autoscaling או GPU של Spark. לוחצים על הוספת נכס כדי להוסיף נכסים אחרים של Spark. מידע נוסף זמין במאמר מאפייני Spark.

    • תוויות: לוחצים על הוספת תווית לכל תווית שרוצים להגדיר בסשנים שנוצרו באמצעות התבנית.

  3. לוחצים על שמירה כדי ליצור את התבנית.

  4. כדי להציג או למחוק תבנית של זמן ריצה:

    1. לוחצים על הגדרות > Google Cloud הגדרות.

    2. בקטע Dataproc Settings > Serverless Runtime Templates מוצגת רשימת התבניות של סביבות זמן הריצה.

      רשימת התבניות של סביבת זמן הריצה

      • לוחצים על שם של תבנית כדי לראות את הפרטים שלה.
      • אפשר למחוק תבנית דרך תפריט הפעולות של התבנית.

  5. פותחים וטוענים מחדש את דף מרכז האפליקציות של JupyterLab כדי לראות את כרטיס תבנית ה-Notebook השמורה בדף מרכז האפליקציות של JupyterLab.

gcloud

  1. יוצרים קובץ YAML עם הגדרת התבנית של סביבת זמן הריצה.

    YAML פשוט

    environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

    ‫YAML מורכב

    description: Example session template
environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri:
    subnetworkUri: default
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "2.3"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

  2. יוצרים תבנית סשן (פרופיל זמן ריצה) מקובץ ה-YAML על ידי הפעלת הפקודה הבאה של gcloud beta dataproc session-templates import באופן מקומי או ב-Cloud Shell: 

    gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION

    • במאמר gcloud beta dataproc session-templates מפורטות פקודות לתיאור, להצגה, לייצוא ולמחיקה של תבניות סשן (פרופילי זמן ריצה).

הפעלה וניהול של תיקיות Notebook

אחרי התקנת התוסף Managed Service for Apache Spark JupyterLab, אתם יכולים ללחוץ על כרטיסי התבניות בדף מרכז האפליקציות של JupyterLab כדי:

הפעלת Jupyter Notebook

בקטע Dataproc Serverless Notebooks בדף מרכז האפליקציות של JupyterLab, מוצגים כרטיסים של תבניות ל-Notebook שממופים לתבניות של סביבות זמן ריצה של Managed Service for Apache Spark (ראו יצירת תבנית של סביבת זמן ריצה של Managed Service for Apache Spark).

  1. לוחצים על כרטיס כדי ליצור סשן של Managed Service for Apache Spark ולהפעיל notebook. כשהסשן נוצר וליבת ה-notebook מוכנה לשימוש, הסטטוס של הליבה משתנה מ-Starting ל-Idle (Ready).

  2. לכתוב ולבדוק קוד ב-Notebook.

    1. מעתיקים את קוד PySpark הבא (Pi estimation) ומדביקים אותו בתא של ה-notebook ב-PySpark, ואז לוחצים על Shift+Return כדי להריץ את הקוד. 

      import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))

      תוצאת ה-Notebook:

  3. אחרי שיוצרים את ה-notebook ומשתמשים בו, אפשר לסיים את הסשן שלו בלחיצה על Shut Down Kernel בכרטיסייה Kernel.

    • כדי להשתמש שוב בסשן, יוצרים תיקיית Notebook חדשה: בתפריט File>>New בוחרים באפשרות Notebook. אחרי שיוצרים את ה-notebook החדש, בוחרים את הסשן הקיים בתיבת הדו-שיח לבחירת הליבה. ה-notebook החדש ישתמש מחדש בסשן וישמור על ההקשר של הסשן מה-notebook הקודם.

  4. אם לא תסיימו את הסשן, Managed Service for Apache Spark יסיים אותו כשטיימר הסשן הלא פעיל יסתיים. אפשר להגדיר את זמן חוסר הפעילות של הסשן בהגדרות של תבנית זמן הריצה. כברירת מחדל, משך הזמן שבו הסשן לא פעיל הוא שעה.

הפעלת Notebook באשכול

אם יצרתם אשכול Jupyter ב-Managed Service for Apache Spark, בדף Launcher של JupyterLab יש קטע בשם Dataproc Cluster Notebook עם כרטיסי ליבה (kernel) שהותקנו מראש.

כדי להפעיל Jupyter Notebook באשכול של Managed Service for Apache Spark ב-Compute Engine:

  1. לוחצים על כרטיס בקטע Dataproc Cluster Notebook.

  2. כשהסטטוס של הליבה משתנה מ-Starting ל-Idle (Ready), אפשר להתחיל לכתוב ולהריץ קוד ב-notebook.

  3. אחרי שיוצרים את ה-notebook ומשתמשים בו, אפשר לסיים את הסשן שלו בלחיצה על Shut Down Kernel בכרטיסייה Kernel.

ניהול קובצי קלט ופלט ב-Cloud Storage

ניתוח נתונים חקירתיים ובניית מודלים של למידת מכונה (ML) כוללים לעיתים קרובות קלט ופלט שמבוססים על קבצים. ‫Managed Service for Apache Spark ניגש לקבצים האלה ב-Cloud Storage.

  • כדי לגשת לדפדפן Cloud Storage, לוחצים על הסמל של דפדפן Cloud Storage בסרגל הצד של הדף Launcher ב-JupyterLab, ואז לוחצים לחיצה כפולה על תיקייה כדי לראות את התוכן שלה.

  • אתם יכולים ללחוץ על סוגי קבצים שנתמכים ב-Jupyter כדי לפתוח ולערוך אותם. כששומרים שינויים בקבצים, הם נכתבים ב-Cloud Storage.

  • כדי ליצור תיקייה חדשה ב-Cloud Storage, לוחצים על סמל התיקייה החדשה ומזינים את שם התיקייה.

  • כדי להעלות קבצים לקטגוריה של Cloud Storage או לתיקייה, לוחצים על סמל ההעלאה ובוחרים את הקבצים שרוצים להעלות.

פיתוח קוד של Spark notebook

אחרי שמתקינים את התוסף של JupyterLab, אפשר להפעיל מסמכי Notebook של Jupyter מהדף Launcher של JupyterLab כדי לפתח קוד אפליקציה.

פיתוח קוד ב-PySpark וב-Python

אשכולות של Managed Service for Apache Spark תומכים בקרנלים של PySpark ו-Python.

פיתוח קוד SQL

כדי לפתוח notebook של PySpark לכתיבה ולהרצה של קוד SQL, בדף Launcher של JupyterLab, בקטע Dataproc Serverless Notebooks או Dataproc Cluster Notebook, לוחצים על כרטיס הליבה של PySpark.

פקודות קסם של Spark SQL: מכיוון שקרנל PySpark שמפעיל את Dataproc Serverless Notebooks נטען מראש עם פקודות קסם של Spark SQL, במקום להשתמש ב-spark.sql('SQL STATEMENT').show() כדי לעטוף את הצהרת ה-SQL, אתם יכולים להקליד %%sparksql magic בחלק העליון של התא ואז להקליד את הצהרת ה-SQL בתא.

‫BigQuery SQL: המחבר של BigQuery Spark מאפשר לקוד של ה-notebook לטעון נתונים מטבלאות BigQuery, לנתח אותם ב-Spark ואז לכתוב את התוצאות בטבלה ב-BigQuery.

ב-Managed Service for Apache Spark 2.2 ובסביבות זמן ריצה מאוחרות יותר, נכלל המחבר של BigQuery ל-Spark. אם אתם משתמשים בסביבת זמן ריצה קודמת כדי להפעיל את ה-notebooks של Managed Service for Apache Spark, אתם יכולים להתקין את מחבר Spark BigQuery על ידי הוספת המאפיין הבא של Spark לתבנית של סביבת זמן הריצה של Managed Service for Apache Spark:

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

פיתוח קוד ב-Scala

אשכולות של Managed Service for Apache Spark שנוצרו עם גרסאות אימג' 2.0 ואילך כוללים את Apache Toree, ליבת Scala לפלטפורמת Jupyter Notebook שמספקת גישה אינטראקטיבית ל-Spark.

  • לוחצים על הכרטיס Apache Toree בקטע Dataproc cluster Notebook בדף Launcher של JupyterLab כדי לפתוח notebook לפיתוח קוד Scala.

    תרשים 1. כרטיס הליבה של Apache Toree בדף מרכז האפליקציות של JupyterLab.

פיתוח קוד באמצעות התוסף של Visual Studio Code

בעזרת התוסף Google Cloud Visual Studio Code (VS Code) אפשר:

  • לפתח ולהריץ קוד Spark ב-notebooks של Managed Service for Apache Spark.

  • ליצור ולנהל פרופילים של סביבות זמן ריצה (תבניות של סשנים), סשנים אינטראקטיביים ועומסי עבודה באצווה ב-Managed Service for Apache Spark.

התוסף של Visual Studio Code הוא בחינם, אבל אתם מחויבים על כל שירותיGoogle Cloud , כולל Managed Service for Apache Spark, ‏Managed Service for Apache Spark ומשאבי Cloud Storage שבהם אתם משתמשים.

שימוש ב-VS Code עם BigQuery: אתם יכולים גם להשתמש ב-VS Code עם BigQuery כדי:

  • לפתח ולהפעיל מסמכי Notebook ב-BigQuery.
  • לעיין במערכי נתונים של BigQuery, לבדוק אותם ולצפות בהם בתצוגה מקדימה.

לפני שמתחילים

  1. מורידים ומתקינים את VS Code.
  2. פותחים את VS Code, ובסרגל הפעילות לוחצים על Extensions.

  3. בשורת החיפוש, מחפשים את התוסף Jupyter ולוחצים על Install. התוסף Jupyter של Microsoft הוא תלות נדרשת.

    רשימה של תוספי Jupyter במסוף VS Code.

התקנת התוסף של Google Cloud

  1. פותחים את VS Code, ובסרגל הפעילות לוחצים על Extensions.

  2. בשורת החיפוש, מחפשים את התוסף Google Cloud Code ולוחצים על Install.

    ‫התוסף Google Cloud Code במסוף VS Code.

  3. אם מוצגת בקשה, מפעילים מחדש את VS Code.

הסמל של Google Cloud Code מופיע בסרגל הפעילות של VS Code.

הגדרת התוסף

  1. פותחים את VS Code, ובסרגל הפעילות לוחצים על Google Cloud Code.
  2. פותחים את הקטע Dataproc.
  3. לוחצים על התחברות אל Google Cloud. המערכת תפנה אתכם להיכנס באמצעות פרטי הכניסה שלכם.
  4. בסרגל המשימות של האפליקציה ברמה העליונה, עוברים אל Code > Settings > Settings > Extensions.
  5. מוצאים את Google Cloud Code ולוחצים על סמל הניהול כדי לפתוח את התפריט.
  6. לוחצים על Settings.
  7. בשדות Project ו-Managed Service for Apache Spark Region, מזינים את שם הפרויקט ב- Google Cloud ואת האזור שבו רוצים לפתח את ה-notebooks ולנהל את המשאבים של Managed Service for Apache Spark.

פיתוח תיקיות Notebook

  1. פותחים את VS Code, ובסרגל הפעילות לוחצים על Google Cloud Code.
  2. פותחים את הקטע Notebooks ולוחצים על New Serverless Spark Notebook.
  3. בוחרים או יוצרים פרופיל סביבת זמן ריצה חדש (תבנית סשן) לשימוש בסשן של ה-notebook.

  4. קובץ .ipynb חדש שמכיל קוד לדוגמה נוצר ונפתח בכלי העריכה.

    ‫Notebook חדש של Serverless Spark במסוף VS Code.

    עכשיו אתם יכולים לכתוב ולהריץ קוד ב-notebook של Managed Service for Apache Spark.

יצירה וניהול של משאבים

  1. פותחים את VS Code, ובסרגל הפעילות לוחצים על Google Cloud Code.

  2. פותחים את הקטע Dataproc ולוחצים על שמות המשאבים הבאים:

    • אשכולות: יצירה וניהול של אשכולות ומשימות.

    • בלי שרת (serverless): יצירה וניהול של עומסי עבודה באצווה וסשנים אינטראקטיביים.

    • תבניות של סביבת זמן הריצה של Spark: יצירה וניהול של פרופילים של סביבת זמן הריצה (תבניות של סשנים).

    משאבי Dataproc שמופיעים במסוף VS Code.

סייר קבוצות הנתונים

אתם יכולים להשתמש בסייר מערכי הנתונים של JupyterLab כדי להציג מערכי נתונים של מטא-נתונים של BigLake.

כדי לפתוח את JupyterLab Dataset Explorer, לוחצים על הסמל שלו בסרגל הצד.

אפשר לחפש מסד נתונים, טבלה או עמודה בסייר של קבוצת הנתונים. לוחצים על שם של מסד נתונים, טבלה או עמודה כדי לראות את המטא-נתונים שמשויכים אליהם.

פריסת הקוד

אחרי התקנת התוסף של JupyterLab, אתם יכולים להשתמש ב-JupyterLab כדי:

  • הרצת קוד של Notebook בתשתית של Managed Service for Apache Spark

  • תזמון הרצת Notebook ב-Managed Service for Apache Airflow

  • שליחת משימות באצווה לתשתית של Managed Service for Apache Spark או לאשכול של Managed Service for Apache Spark.

תזמון הרצת Notebook ב-Managed Airflow

כדי לתזמן את קוד ה-Notebook ב-Managed Airflow כך שירוץ כמשימה באצווה ב-Managed Service for Apache Spark או באשכול של Managed Service for Apache Spark:

  1. יוצרים סביבת Managed Airflow.

  2. לוחצים על הכפתור Job Scheduler (תזמון משימות) בפינה הימנית העליונה של ה-Notebook.

  3. ממלאים את הטופס Create A Scheduled Job כדי לספק את הפרטים הבאים:

    • שם ייחודי למשימת ההפעלה של ה-Notebook
    • סביבת Managed Airflow שבה משתמשים כדי לפרוס את ה-notebook
    • פרמטרים של קלט אם ה-notebook מוגדר באמצעות פרמטרים
    • האשכול של Managed Service for Apache Spark או תבנית זמן הריצה ללא שרת (serverless) שבהם משתמשים כדי להריץ את ה-notebook
      • אם נבחר אשכול, האם לעצור את האשכול אחרי שה-notebook מסיים לפעול באשכול
    • מספר ניסיונות חוזרים וזמן ההמתנה בדקות בין ניסיונות חוזרים, אם הפעלת ה-Notebook נכשלת בניסיון הראשון
    • התראות על ביצוע שצריך לשלוח ורשימת הנמענים. ההתראות נשלחות באמצעות הגדרת SMTP של Airflow.
    • תזמון ההרצה של ה-notebook

  4. לוחצים על יצירה.

  5. אחרי שה-notebook תוזמן בהצלחה, שם המשימה יופיע ברשימת המשימות המתוזמנות בסביבת Managed Airflow.

שליחת משימה באצווה ל-Managed Service for Apache Spark

  • לוחצים על הכרטיס Serverless בקטע Dataproc Jobs and Sessions בדף Launcher של JupyterLab.

  • לוחצים על הכרטיסייה Batch, ואז על Create Batch וממלאים את השדות בקטע Batch Info.

  • לוחצים על Submit כדי לשלוח את המשימה.

שליחת משימה באצווה לאשכול של Managed Service for Apache Spark

  • לוחצים על הכרטיס Clusters בקטע Dataproc Jobs and Sessions בדף Launcher של JupyterLab.

  • לוחצים על הכרטיסייה Jobs ואז על Submit Job.

  • בוחרים אשכול וממלאים את השדות של משימה.

  • לוחצים על Submit כדי לשלוח את המשימה.

הצגה וניהול של משאבים

אחרי שמתקינים את התוסף של JupyterLab, אפשר לראות ולנהל את Managed Service for Apache Spark ואת Managed Service for Apache Spark מהקטע Dataproc Jobs and Sessions בדף Launcher של JupyterLab.

לוחצים על הקטע Dataproc Jobs and Sessions כדי להציג את הכרטיסים Clusters ו-Serverless.

כדי לראות ולנהל סשנים של Managed Service for Apache Spark:

  1. לוחצים על הכרטיס Serverless.
  2. לוחצים על הכרטיסייה Sessions ואז על מזהה סשן כדי לפתוח את הדף Session details, שבו אפשר לראות את מאפייני הסשן, להציג את היומנים של Google Cloud ב-Logs Explorer ולסיים את הסשן. הערה: כדי להפעיל כל Notebook ב-Managed Service for Apache Spark, נוצר סשן ייחודי ב-Managed Service for Apache Spark.

כדי לראות ולנהל את המשימות ב-Managed Service for Apache Spark:

  1. לוחצים על הכרטיסייה Batches כדי לראות את רשימת המשימות של Managed Service for Apache Spark בפרויקט ובאזור הנוכחיים. לוחצים על מזהה של קבוצה כדי לראות את הפרטים שלה.

כדי לראות ולנהל את האשכולות של Managed Service for Apache Spark:

  1. לוחצים על הכרטיס אשכולות. הכרטיסייה Clusters נבחרת כדי להציג את האשכולות הפעילים של Managed Service for Apache Spark בפרויקט ובאזור הנוכחיים. אפשר ללחוץ על הסמלים בעמודה Actions כדי להפעיל, לעצור או להפעיל מחדש אשכול. לוחצים על שם האשכול כדי לראות את הפרטים שלו. אפשר ללחוץ על הסמלים בעמודה Actions כדי לשכפל, לעצור או למחוק משימה.

כדי לראות ולנהל משימות ב-Managed Service for Apache Spark:

  1. לוחצים על הכרטיס Jobs כדי לראות את רשימת המשימות בפרויקט הנוכחי. לוחצים על מזהה משימה כדי לראות את פרטי המשימה.