שימוש בפלאגין של BigQuery ל-JupyterLab

כדי לבקש משוב או תמיכה לגבי התכונה הזו, שלחו אימייל לכתובת bigquery-ide-plugin@google.com.

הפלאגין BigQuery JupyterLab מאפשר לכם לחקור את מערכי הנתונים ולהשתמש ב-BigQuery DataFrames API ישירות מסביבת הפיתוח המקומית. שילוב הפלאגין הזה בתהליך העבודה מאפשר לכם לנהל קובצי Notebook, לפתח באמצעות Apache Spark ולפרוס את הקוד ב-Managed Service for Apache Airflow.

התוסף BigQuery JupyterLab כולל את כל הפונקציונליות של התוסף Managed Service for Apache Spark JupyterLab.

התקנת הפלאגין של BigQuery ל-JupyterLab

כדי להתקין את הפלאגין של BigQuery ל-JupyterLab ולהשתמש בו:

  1. בטרמינל המקומי, מוודאים שמותקנת במערכת גרסה 3.8 ומעלה של Python:

    python3 --version

  2. מתקינים את ה-CLI של gcloud.

  3. במסוף המקומי, מאתחלים את ה-CLI של gcloud:

    gcloud init

  4. מתקינים את Pipenv, כלי לסביבה וירטואלית של Python:

    pip3 install pipenv

  5. יוצרים סביבה וירטואלית חדשה:

    pipenv shell

  6. מתקינים את JupyterLab בסביבה הווירטואלית החדשה:

    pipenv install jupyterlab

  7. מתקינים את הפלאגין של BigQuery ל-JupyterLab:

    pipenv install bigquery-jupyter-plugin

  8. אם גרסת JupyterLab שמותקנת אצלכם היא ישנה יותר מ-4.0.0, צריך להפעיל את תוסף הפלאגין:

    jupyter server extension enable bigquery_jupyter_plugin

  9. הפעלת JupyterLab:

    jupyter lab

    ‫JupyterLab נפתח בדפדפן.

עדכון הגדרות הפרויקט והאזור

כברירת מחדל, הסשן פועל בפרויקט ובאזור שהגדרתם כשהפעלתם את gcloud init. כדי לשנות את הגדרות הפרויקט והאזור של הסשן:

  • בתפריט של JupyterLab, לוחצים על Settings > Google BigQuery Settings.

כדי שהשינויים ייכנסו לתוקף, צריך להפעיל מחדש את הפלאגין.

עיון בנתונים

כדי לעבוד עם נתוני BigQuery ב-JupyterLab:

  1. בסרגל הצד של JupyterLab, פותחים את החלונית Dataset Explorer: לוחצים על הסמל של מערכי הנתונים סמל של Dataset Explorer..

  2. כדי להרחיב פרויקט, בחלונית Dataset Explorer לוחצים על החץ להרחבה לצד שם הפרויקט.

    בחלונית Dataset Explorer מוצג פרויקט מורחב ורשימה של מערכי נתונים.

    בחלונית Dataset Explorer מוצגים כל מערכי הנתונים בפרויקט שנמצאים באזור BigQuery שהגדרתם לסשן. אתם יכולים לבצע פעולות שונות בפרויקט ובמערך הנתונים:

    • כדי לראות מידע על קבוצת נתונים, לוחצים על השם שלה.
    • כדי להציג את כל הטבלאות במערך נתונים, לוחצים על החץ להרחבה לצד מערך הנתונים.
    • כדי לראות מידע על טבלה, לוחצים על השם שלה.
    • כדי לשנות את הפרויקט או את האזור ב-BigQuery, צריך לעדכן את ההגדרות.

הפעלת קובצי Notebook

כדי לשלוח שאילתות לנתוני BigQuery מ-JupyterLab:

  1. כדי לפתוח את דף מרכז האפליקציות, לוחצים על File > New Launcher (קובץ > מרכז אפליקציות חדש).
  2. בקטע BigQuery Notebooks, לוחצים על הכרטיס BigQuery DataFrames. ייפתח Notebook חדש שבו מוסבר איך להתחיל לעבוד עם BigQuery DataFrames.

ב-Notebooks של BigQuery DataFrames אפשר לפתח ב-Python בקרנל מקומי של Python. הפעולות של BigQuery DataFrames מבוצעות מרחוק ב-BigQuery, אבל שאר הקוד מבוצע באופן מקומי במחשב שלכם. כשמבצעים פעולה ב-BigQuery, מזהה משימת השאילתה והקישור למשימה מופיעים מתחת לתא הקוד.

  • כדי לראות את המשימה במסוף Google Cloud , לוחצים על Open Job.

פריסת notebook של BigQuery DataFrames

אתם יכולים לפרוס Notebook של BigQuery DataFrames ב-Managed Airflow באמצעות תבנית זמן ריצה של Managed Service for Apache Spark Serverless. חייבים להשתמש בסביבת זמן ריצה בגרסה 2.1 ואילך.

  1. ב-Notebook של JupyterLab, לוחצים על calendar_monthJob Scheduler.
  2. בשדה Job name, נותנים שם ייחודי למשימה.
  3. בשדה Environment, מזינים את השם של סביבת Managed Airflow שבה רוצים לפרוס את המשימה.
  4. אם ה-notebook מוגדר עם פרמטרים, מוסיפים פרמטרים.
  5. מזינים את השם של Serverless runtime template.
  6. כדי לטפל בכשלים בהרצת ה-notebook, מזינים מספר שלם בשדה Retry count וערך (בדקות) בשדה Retry delay.

  7. בוחרים אילו התראות על הפעלה לשלוח, ואז מזינים את הנמענים.

    ההתראות נשלחות באמצעות הגדרת ה-SMTP של Airflow.

  8. בוחרים לוח זמנים ל-Notebook.

  9. לוחצים על יצירה.

אחרי שמתזמנים את ה-Notebook, הוא מופיע ברשימת המשימות המתוזמנות בסביבת Managed Airflow שנבחרה.

המאמרים הבאים