יצירת תיקיות Notebook

אתם יכולים לשלב את Python בתהליכי העבודה של BigQuery באמצעות ה-notebooks של Colab Enterprise. במאמר הזה מוסבר איך ליצור את ה-notebooks האלה שמבוססים על Dataform ישירות ב-BigQuery Studio, כדי שתוכלו לנתח נתונים ולבנות מודלים של למידת מכונה בלי לייצא את מערכי הנתונים.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Compute Engine APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery, Dataform, and Compute Engine APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

ההרשאות הנדרשות

מגדירים את ההרשאות המתאימות ליצירה, לעריכה או לצפייה ב-Notebooks.

לכל המשתמשים עם התפקיד "אדמין ב-Dataform" (roles/dataform.admin) יש גישת בעלים לכל ה-notebooks שנוצרו בפרויקט.

למידע נוסף על ניהול הזהויות והרשאות הגישה (IAM) ב-BigQuery, קראו את המאמר בקרת גישה באמצעות IAM.

הרשאות ליצירת תיקיות Notebook

כדי לקבל את ההרשאות שנדרשות ליצירה ולהרצה של קובצי Notebook, צריך לבקש מהאדמין להקצות לכם את התפקיד משתמש ב-BigQuery Studio (roles/bigquery.studioUser) ב-IAM בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הערה: משתמשים שהוקצה להם התפקיד "יוצר קוד" בפרויקט יכולים להציג את השמות של נכסי הקוד בפרויקט באמצעות Dataform API או ממשק שורת הפקודה (CLI) של Dataform.

יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש. כדי לראות את ההרשאות הנדרשות ליצירה ולהפעלה של קובצי Notebook, מרחיבים את הקטע Required permissions:

ההרשאות הנדרשות

• bigquery.config.get
• bigquery.jobs.create
• bigquery.readsessions.create
• bigquery.readsessions.getData
• bigquery.readsessions.update
• resourcemanager.projects.get
• resourcemanager.projects.list
• dataform.locations.get
• dataform.locations.list
• dataform.repositories.create
• dataform.repositories.list
• dataform.collections.create
• dataform.collections.list
• aiplatform.notebookRuntimeTemplates.apply
• aiplatform.notebookRuntimeTemplates.get
• aiplatform.notebookRuntimeTemplates.list
• aiplatform.notebookRuntimeTemplates.getIamPolicy
• aiplatform.notebookRuntimes.assign
• aiplatform.notebookRuntimes.get
• aiplatform.notebookRuntimes.list
• aiplatform.operations.list

הערה: כשיוצרים Notebook, ‏ BigQuery נותן לכם את התפקיד אדמין ב-Dataform (roles/dataform.admin) ב-Notebook הזה. לכל המשתמשים עם התפקיד "אדמין ב-Dataform" בפרויקט Google Cloud יש גישת בעלים לכל ה-notebooks שנוצרו בפרויקט. כדי לשנות את ההתנהגות הזו, קראו את המאמר הקצאת תפקיד ספציפי בזמן יצירת המשאב.

תפקידים לעריכת תיקיות Notebook

כדי לערוך ולהריץ קובצי Notebook, צריך את התפקידים הבאים ב-IAM:

• BigQuery Job User (roles/bigquery.jobUser)
• BigQuery Read Session User ‏ (roles/bigquery.readSessionUser)
• משתמש בסביבת זמן ריצה של Notebook‏ (roles/aiplatform.notebookRuntimeUser)
• עורך קוד (roles/dataform.codeEditor)

תפקידים לצפייה בתיקיות Notebook

כדי להציג ולהריץ קובצי Notebook, צריך את התפקידים הבאים ב-IAM:

• BigQuery Job User (roles/bigquery.jobUser)
• BigQuery Read Session User ‏ (roles/bigquery.readSessionUser)
• משתמש בסביבת זמן ריצה של Notebook‏ (roles/aiplatform.notebookRuntimeUser)
• צפייה בקוד (roles/dataform.codeViewer)

שיקולי אבטחה בתיקיות Notebook

נכסי הקוד ב-BigQuery מופעלים על ידי Dataform, לכן חשוב להביא בחשבון את ההשלכות הבאות על האבטחה של משתמשים שיש להם גישה לנכסים האלה:

• ההרשאות ברמת הפרויקט ב-Dataform קובעות את הרשאות הגישה לנכסי הקוד. משתמשים עם ההרשאה dataform.repositories.list – שכלולה בתפקידים הרגילים של BigQuery כמו BigQuery Job User,‏ BigQuery Studio User ו-BigQuery User – יכולים לראות את כל נכסי הקוד בחלונית Explorer של הפרויקט ב- Google Cloud , גם אם הם לא יצרו את הנכסים האלה או שהנכסים האלה לא שותפו איתם. כדי להגביל את החשיפה, אתם יכולים ליצור תפקידים בהתאמה אישית שלא כוללים את ההרשאה dataform.repositories.list.
• משתמשים שיכולים לערוך את הנכסים האלה יכולים לגשת לכל הסודות ששותפו עם סוכן השירות של Dataform. כדי לאבטח את פרטי הכניסה, צריך להגביל את הגישה ליצירה ולעריכה למשתמשים מהימנים, ולהגביל את הגישה של סוכן השירות של Dataform לסודות. מידע נוסף זמין במאמר גישה לסודות במהלך התקנת החבילה.

מידע נוסף זמין במאמר שיקולי אבטחה לגבי הרשאות ב-Dataform.

יצירת תיקיות Notebook

בקטעים הבאים מוסבר איך ליצור Notebook.

הגדרת אזור ברירת המחדל לנכסי קוד

כל נכסי הקוד החדשים בפרויקט Google Cloud משתמשים באזור ברירת המחדל. אחרי שיוצרים את הנכס, אי אפשר לשנות את האזור שלו.

חשוב: אם משנים את האזור בזמן שיוצרים נכס קוד, האזור הזה הופך לברירת המחדל של כל נכסי הקוד הבאים. נכסי הקוד הקיימים לא יושפעו.

כדי להגדיר את אזור ברירת המחדל לנכסי קוד חדשים:

1. נכנסים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על Files כדי לפתוח את דפדפן הקבצים:

   

3. ליד שם הפרויקט, לוחצים על View files panel actions > Switch code region.

4. בוחרים את אזור הקוד שרוצים להשתמש בו כברירת מחדל.

5. לוחצים על Save.

רשימת האזורים הנתמכים ב-BigQuery Studio

איך יוצרים תיקיית Notebook באמצעות גלריית התיקיות

גלריית ה-notebooks במסוף Google Cloud ל-BigQuery היא המרכז שבו אתם יכולים למצוא תבניות מוכנות מראש של notebooks ולהשתמש בהן.

כדי ליצור Notebook מתבנית בגלריית התבניות:

1. במסוף Google Cloud , נכנסים ל-BigQuery Studio.

   כניסה ל-BigQuery Studio

2. כדי לפתוח את הגלריה, בסרגל הכרטיסיות של חלונית העריכה לוחצים על החץ לצד שאילתת SQL, ואז על Notebook > All templates.

3. בגלריית התיקיות, בוחרים תבנית. לדוגמה, אפשר לבחור באפשרות Getting started with BigQuery DataFrames.

   ה-notebook החדש נפתח, והוא מכיל תאים שבהם מוצגות שאילתות לדוגמה במערך הנתונים הציבורי bigquery-public-data.ml_datasets.penguins.

4. לחלופין, אפשר ללחוץ על החץ ליד שאילתת SQL ואז על Notebook > Empty notebook,‏ Notebook > BigQuery template או Notebook > Spark template כדי לפתוח את התבניות הספציפיות האלה.

5. כדי ליצור notebook שאפשר להריץ מהתבנית, לוחצים על Use this template.

6. אופציונלי: כדי לראות את פרטי ה-Notebook או את היסטוריית הגרסאות, להוסיף תגובות חדשות, להשיב לתגובה קיימת או לקבל קישור אליה, משתמשים בסרגל הכלים הבא:

   

   התכונה Comments בסרגל הכלים נמצאת בגרסת Preview. כדי לשלוח משוב או לבקש תמיכה בתכונה הזו, שלחו אימייל לכתובת [e-mail].

7. אופציונלי: בסרגל הכלים Comments, אתם יכולים להשתמש בחלונית Reference כדי לראות תצוגה מקדימה של פרטי הסכימה של טבלאות, תמונות מצב, תצוגות או תצוגות מהותיות, או לפתוח אותן בכרטיסייה חדשה. בחלונית יש גם רשימה של משאבים שסומנו בכוכב ומשאבים מהזמן האחרון.

יצירת Notebook מטבלה

כדי ליצור Notebook שמכיל שאילתת ברירת מחדל לטבלה ספציפית:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ואז לוחצים על מערך הנתונים.

4. לוחצים על Overview > Tables ומחפשים את הטבלה שרוצים לשלוח אליה שאילתה.

5. ליד הטבלה, לוחצים על Actions ואז על Open in > Python notebook.

   ה-notebook החדש נפתח, והוא מכיל תאים עם שאילתות לדוגמה בטבלה שנבחרה.

יצירת Notebook כדי לבחון את קבוצת התוצאות של שאילתה

כדי ליצור Notebook ולחקור את קבוצת התוצאות של שאילתה:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית העריכה, מריצים שאילתה שמניבה תוצאה.

3. בחלונית Query results, לוחצים על Open in > Notebook.

   ה-notebook החדש נפתח, והוא מכיל תאים עם קוד להחזרת שאילתת ה-SQL ותוצאות השאילתה.

איך יוצרים תיקיית Notebook מתיקייה קיימת

כדי לפתוח גרסה כלשהי של Notebook קיים בתור Notebook חדש:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. בוחרים תיקיית Notebook.

5. לוחצים על היסטוריית גרסאות.

6. לוחצים על View actions ליד גרסת ה-notebook ואז על Open as new Python notebook.

   עותק של ה-notebook נפתח כ-notebook חדש.

העלאת תיקיות Notebook

אתם יכולים להעלות קובץ Notebook מקומי כדי להשתמש בו ב-BigQuery Studio. ה-notebook שהועלה מופיע בדף BigQuery במסוף Google Cloud .

כדי להעלות תיקיית Notebook:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ואז מבצעים אחת מהפעולות הבאות:

   • לצד Notebooks, לוחצים על View actions > Upload notebook.
   • ליד שם הפרויקט ( Google Cloud ), לוחצים על View actions > Upload to project > Notebook.

4. בתיבת הדו-שיח Upload Notebook, בשדה Notebook לוחצים על Browse ובוחרים את ה-notebook שרוצים להעלות.

5. אופציונלי: בשדה Notebook name, עורכים את שם התיקייה.

6. בשדה Region, בוחרים את האזור שבו רוצים להעלות את ה-notebook.

7. לוחצים על Upload.

אפשר לגשת ל-notebook דרך החלונית Explorer.

התחברות לסביבת זמן ריצה

בקטעים הבאים מוסבר איך לחבר Notebook לסביבת זמן ריצה של Gemini Enterprise Agent Platform. סביבת זמן ריצה היא משאב מחשוב שמריץ את הקוד ב-notebook. סביבת זמן הריצה צריכה להיות באותו אזור שבו נמצא ה-Notebook.

מידע נוסף על סביבות זמן ריצה מופיע במאמר סביבות זמן ריצה ותבניות של סביבות זמן ריצה.

הערה: אם אתם משתמשים ב-VPC Service Controls, ודאו שהגדרתם את גישה פרטית ל-Google עם VPC Service Controls לפני ההתחברות לסביבת זמן ריצה. אחרת, השירות מחזיר את השגיאה Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

התחברות לסביבת זמן הריצה שמוגדרת כברירת מחדל

סביבת זמן הריצה שמוגדרת כברירת מחדל היא סביבה מוגדרת מראש שדורשת הגדרה מינימלית.

כדי להתחבר לסביבת זמן הריצה שמוגדרת כברירת מחדל:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על השם של תיקיית Notebook כדי לפתוח אותה.

5. ב-notebook, לוחצים על Connect או מריצים תא כלשהו ב-notebook.

   אם אין לכם סביבת זמן ריצה פעילה, יכול להיות שיעברו כמה דקות עד שהחיבור לסביבת זמן הריצה שמוגדרת כברירת מחדל יתבצע.

התחברות לסביבת זמן ריצה שהיא לא ברירת המחדל

אם אתם רוצים להשתמש בסביבת זמן ריצה אחרת, קודם צריך ליצור את סביבת זמן הריצה הנוספת ב-Agent Platform.

כדי להתחבר לסביבת זמן ריצה שאינה ברירת המחדל, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על השם של תיקיית Notebook כדי לפתוח אותה.

5. ב-notebook, לוחצים על התפריט הנפתח לצד Connect ואז על Connect to a runtime.

6. לוחצים על Connect to an existing runtime.

7. בקטע Runtimes, בוחרים את סביבת זמן הריצה שבה רוצים להשתמש. סביבת זמן הריצה צריכה להיות באותו מיקום כמו ה-notebook.

8. לוחצים על Connect.

התחברות לסביבת זמן ריצה חדשה

כדי להתחבר לסביבת זמן ריצה חדשה:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על השם של תיקיית Notebook כדי לפתוח אותה.

5. ב-notebook, לוחצים על התפריט הנפתח לצד Connect ואז על Connect to a runtime.

6. לוחצים על Create new runtime.

7. בשדה Runtime Template, בוחרים את התבנית של סביבת זמן הריצה של Agent Platform שבה רוצים להשתמש.

8. בקטע Runtime name, מקלידים שם לסביבת זמן הריצה.

9. לוחצים על Connect.

פתרון בעיות

מידע נוסף זמין במאמר פתרון בעיות ב-Colab Enterprise.

המאמרים הבאים

• איך מנהלים תיקיות Notebook
• איך מתזמנים תיקיות Notebook
• איך ניגשים לקובצי Notebook ב-Git repository mount ב-BigQuery Studio