יצירת מחברות

במאמר הזה נסביר איך ליצור מחברות Colab Enterprise ב-BigQuery. מחברות הן נכסי קוד של BigQuery Studio שמבוססים על Dataform.

לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery, Dataform, and Compute Engine APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

ההרשאות הנדרשות

מגדירים את ההרשאות המתאימות ליצירה, לעריכה או לצפייה במחברות.

לכל המשתמשים עם התפקיד Dataform Admin (roles/dataform.admin) יש גישת בעלים לכל המחברות שנוצרו בפרויקט.

מידע נוסף על ניהול זהויות והרשאות גישה (IAM) ב-BigQuery זמין במאמר בקרת גישה באמצעות IAM.

הרשאות ליצירת מחברות

כדי לקבל את ההרשאות שנדרשות ליצירה ולהרצה של מחברות, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ BigQuery Studio User (roles/bigquery.studioUser) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים. כדי לראות בדיוק אילו הרשאות נדרשות ליצירה ולהרצה של מחברות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

  • bigquery.config.get
  • bigquery.jobs.create
  • bigquery.readsessions.create
  • bigquery.readsessions.getData
  • bigquery.readsessions.update
  • resourcemanager.projects.get
  • resourcemanager.projects.list
  • dataform.locations.get
  • dataform.locations.list
  • dataform.repositories.create
  • dataform.repositories.list
  • dataform.collections.create
  • dataform.collections.list
  • aiplatform.notebookRuntimeTemplates.apply
  • aiplatform.notebookRuntimeTemplates.get
  • aiplatform.notebookRuntimeTemplates.list
  • aiplatform.notebookRuntimeTemplates.getIamPolicy
  • aiplatform.notebookRuntimes.assign
  • aiplatform.notebookRuntimes.get
  • aiplatform.notebookRuntimes.list
  • aiplatform.operations.list

תפקידים לעריכת מחברות

כדי לערוך ולהפעיל מחברות, אתם צריכים את תפקידי ה-IAM הבאים:

תפקידים לצפייה ב-Notebook

כדי להציג ולהריץ מחברות, אתם צריכים את תפקידי ה-IAM הבאים:

יצירת מחברות

בסעיפים הבאים מוסבר איך ליצור מחברת.

הגדרת אזור ברירת המחדל לנכסי קוד

כל נכסי הקוד החדשים בפרויקט Google Cloud משתמשים באזור ברירת מחדל. אחרי שיוצרים את הנכס, אי אפשר לשנות את האזור שלו.

כדי להגדיר את אזור ברירת המחדל לנכסי קוד חדשים:

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על קבצים כדי לפתוח את דפדפן הקבצים:

    לוחצים על **קבצים** כדי לפתוח את דפדפן הקבצים.

  3. לצד שם הפרויקט, לוחצים על View files panel actions (הצגת פעולות בחלונית הקבצים) > Switch code region (החלפת אזור הקוד).

  4. בוחרים את אזור הקוד שרוצים להגדיר כברירת מחדל.

  5. לוחצים על Save.

רשימת האזורים הנתמכים מופיעה במאמר בנושא מיקומים ב-BigQuery Studio.

יצירת מחברת באמצעות גלריית המחברות

גלריית המחברות במסוף Google Cloud של BigQuery היא המרכז שלכם לגילוי ולשימוש בתבניות מוכנות מראש של מחברות.

כדי ליצור מחברת מתבנית בגלריית המחברות:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. כדי לפתוח את הגלריה, בסרגל הכרטיסיות של חלונית העריכה, לוחצים על החץ לצד שאילתת SQL ואז על Notebook > All templates.

  3. בוחרים תבנית מגלריית ה-Notebook. לדוגמה, אפשר לבחור באפשרות Getting started with BigQuery DataFrames (תחילת העבודה עם BigQuery DataFrames).

    מחברת חדשה תיפתח, עם תאים שמציגים שאילתות לדוגמה על מערך הנתונים הציבורי bigquery-public-data.ml_datasets.penguins.

  4. לחלופין, אפשר ללחוץ על החץ לצד שאילתת SQL ואז על Notebook > Empty notebook,‏ Notebook > BigQuery template או Notebook > Spark template כדי לפתוח את התבניות הספציפיות האלה.

  5. כדי ליצור מחברת שאפשר להריץ מהתבנית, לוחצים על שימוש בתבנית הזו.

  6. אופציונלי: כדי לראות את פרטי המחברת או את היסטוריית הגרסאות, להוסיף תגובות חדשות, להשיב לתגובות קיימות או לקבל קישור לתגובה קיימת, משתמשים בסרגל הכלים הבא:

    סרגל הכלים צמוד לנוטבוק.

    התכונה תגובות בסרגל הכלים היא בגרסת טרום-השקה. כדי לשלוח משוב או לבקש תמיכה בנוגע לתכונה הזו, אפשר לשלוח אימייל לכתובת bqui-workspace-pod@google.com.

  7. אופציונלי: בסרגל הכלים, אפשר להשתמש בחלונית הפניה כדי לראות תצוגה מקדימה של פרטי הסכימה של טבלאות, תמונות מצב, תצוגות או תצוגות חומריות, או לפתוח אותם בכרטיסייה חדשה. בחלונית מופיעה גם רשימה של משאבים מהזמן האחרון ומשאבים שסומנו בכוכב.

יצירת Notebook מטבלה

כדי ליצור מחברת שמכילה שאילתת ברירת מחדל לטבלה ספציפית, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על מערך הנתונים.

  4. לוחצים על סקירה כללית > טבלאות ומוצאים את הטבלה שרוצים להריץ עליה שאילתה.

  5. לצד הטבלה, לוחצים על פעולות ואז על פתיחה ב-> Python notebook.

    המחברת החדשה תיפתח ותכיל תאים עם שאילתות לדוגמה על הטבלה שנבחרה.

יצירת מחברת כדי לבחון את קבוצת התוצאות של שאילתה

כדי ליצור מחברת לניתוח של קבוצת התוצאות של שאילתה, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית העריכה, מריצים שאילתה שמפיקה תוצאת שאילתה.

  3. בחלונית Query results, לוחצים על Open in > Notebook.

    מחברת חדשה תיפתח עם תאים שמכילים קוד להחזרת שאילתת ה-SQL ותוצאות השאילתה.

יצירת נוטבוק מנוטבוק קיים

כדי לפתוח גרסה כלשהי של נוטבוק קיים כנוטבוק חדש, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. בוחרים מחברת.

  5. לוחצים על Version history (היסטוריית גרסאות).

  6. לצד גרסת ה-Notebook, לוחצים על View actions (הצגת פעולות) ואז על Open as new Python notebook (פתיחה כ-Notebook חדש של Python).

    עותק של ה-notebook ייפתח כ-notebook חדש.

העלאת מחברות

אתם יכולים להעלות מחברת מקומית כדי להשתמש בה ב-BigQuery Studio. המחברת שהועלתה תופיע בדף BigQuery במסוף Google Cloud .

כדי להעלות מחברת:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ואז מבצעים אחת מהפעולות הבאות:

    • לצד Notebooks, לוחצים על View actions > Upload to Notebooks.
    • לצד Google Cloud שם הפרויקט, לוחצים על הצגת פעולות > העלאה לפרויקט > Notebook.
  4. בתיבת הדו-שיח Upload Notebook (העלאת מחברת), בשדה Notebook (מחברת), לוחצים על Browse (עיון) ובוחרים את המחברת שרוצים להעלות.

  5. אופציונלי: בשדה שם ה-Notebook, עורכים את שם ה-Notebook.

  6. בשדה אזור, בוחרים את האזור שבו רוצים להעלות את הנוטבוק.

  7. לוחצים על Upload.

אפשר לגשת ל-notebook דרך החלונית Explorer.

התחברות לסביבת זמן ריצה

בקטעים הבאים מוסבר איך לקשר מחברת לזמן ריצה של פלטפורמת סוכני Gemini Enterprise. זמן ריצה הוא משאב מחשוב שמריץ את הקוד במחברת. זמן הריצה צריך להיות באותו אזור כמו המחברת.

מידע נוסף על סביבות זמן ריצה זמין במאמר סביבות זמן ריצה ותבניות של סביבות זמן ריצה.

.

התחברות לסביבת זמן הריצה שמוגדרת כברירת מחדל

זמן הריצה שמוגדר כברירת מחדל הוא זמן ריצה מוגדר מראש שלא דורש הגדרה מינימלית.

כדי להתחבר לסביבת זמן הריצה שמוגדרת כברירת מחדל, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. כדי לפתוח מחברת, לוחצים על השם שלה.

  5. ב-notebook, לוחצים על Connect או מריצים תא כלשהו ב-notebook.

    אם אין לכם סביבת ריצה פעילה, יכול להיות שיחלפו כמה דקות עד שתתבצע התחברות לסביבת הריצה שמוגדרת כברירת מחדל.

התחברות לסביבת זמן ריצה שאינה ברירת המחדל

אם רוצים להשתמש בסביבת זמן ריצה שונה מזו שמוגדרת כברירת מחדל, קודם צריך ליצור את סביבת זמן הריצה הנוספת הזו ב-Agent Platform.

כדי להתחבר לסביבת ריצה שאינה ברירת המחדל, פועלים לפי השלבים הבאים:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. כדי לפתוח מחברת, לוחצים על השם שלה.

  5. במחברת, לוחצים על התפריט הנפתח לצד Connect ואז על Connect to a runtime.

  6. לוחצים על Connect to an existing runtime (חיבור לסביבת זמן ריצה קיימת).

  7. בקטע Runtimes, בוחרים את סביבת זמן הריצה שרוצים להשתמש בה. סביבת זמן הריצה צריכה להיות באותו מיקום כמו ה-Notebook.

  8. לוחצים על Connect.

התחברות לסביבת זמן ריצה חדשה

כדי להתחבר לסביבת זמן ריצה חדשה:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. כדי לפתוח מחברת, לוחצים על השם שלה.

  5. במחברת, לוחצים על התפריט הנפתח לצד Connect ואז על Connect to a runtime.

  6. לוחצים על יצירת זמן ריצה חדש.

  7. בקטע Runtime Template, בוחרים את Agent Platform runtime template שרוצים להשתמש בה.

  8. בשם זמן הריצה, מקלידים שם לזמן הריצה.

  9. לוחצים על Connect.

הסבר על תאים

מחברת מורכבת מתאים שאפשר לערוך. אלה הסוגים של התאים שנתמכים:

  • תא טקסט: אפשר להשתמש בתא טקסט כדי להוסיף הסברים ותמונות למחברת ב-Markdown.

  • תא קוד: משתמשים בתא קוד כדי להוסיף Python למחברת. אפשר להריץ כל תא קוד בנפרד. תא קוד יכול להפנות לכל משתנה שנוצר בתא אחר שכבר הפעלתם.

  • תא SQL: אפשר להשתמש בתא SQL כדי להריץ שאילתות GoogleSQL. הפלט של השאילתה נשמר אוטומטית כ-DataFrame עם אותו שם כמו הכותרת של התא. אפשר להריץ כמה הצהרות SQL בתא SQL אחד, אבל רק התוצאות של ההצהרה האחרונה נשמרות ב-DataFrame.

    אפשר להפנות למשתני Python בביטויים או להשתמש ב-BigQuery DataFrames כטבלאות בשאילתה על ידי הוספת שם המשתנה בסוגריים מסולסלים ({ }):

    # Refer to the Python variable my_threshold in a SQL expression.
    SELECT * FROM my_dataset.my_table WHERE x > {my_threshold};
    
    # Reference previous query results to iterate on your queries.
    SELECT * FROM {df};
    
  • תא להמחשה: אפשר להשתמש בתא להמחשה כדי ליצור אוטומטית המחשה של כל DataFrame במחברת. אתם יכולים לשנות את העמודות שמוצגות ולבחור מבין סוגים שונים של תרשימים וצבירות. אפשר גם לבחור צבעים מותאמים אישית, תוויות נתונים וכותרות.

הענקת גישה למחברות

כדי להעניק למשתמשים אחרים גישה לנוטבוק, צריך להוסיף אותם לתפקיד IAM מתאים.

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. מוצאים את ה-Notebook שרוצים לתת גישה אליו.

  5. לצד ה-Notebook, לוחצים על פתיחת פעולות ואז על שיתוף.

  6. בחלונית Share permissions (הרשאות שיתוף), לוחצים על Add user/group (הוספת משתמש או קבוצה).

  7. בשדה New principals, מזינים חשבון משתמש.

  8. ברשימה Role, בוחרים אחד מהתפקידים הבאים:

  9. אופציונלי: כדי לראות רשימה מלאה של תפקידים והגדרות שיתוף מתקדמות, לוחצים על שיתוף מתקדם.

  10. לוחצים על Save.

  11. כדי לחזור לדף המידע של המחברת, לוחצים על סגירה.

איך משתפים מחברות

כדי לשתף מחברת עם משתמשים אחרים, אתם יכולים ליצור קישור למחברת ולשתף אותו. כדי שמשתמשים אחרים יוכלו לראות את ה-Notebook ששיתפתם, אתם צריכים קודם להעניק להם גישה ל-Notebook.

כדי להריץ מחברת, למשתמשים צריכה להיות גישה לנתונים שהמחברת ניגשת אליהם. מידע נוסף מופיע במאמר בנושא הענקת גישה למערך נתונים.

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. מוצאים את המחברת שרוצים לשתף. אפשר להשתמש בתכונת החיפוש או במסננים כדי למצוא את המחברת.

  5. לוחצים על הצגת פעולות לצד המחברת, ואז לוחצים על שיתוף > העתקת הקישור.

  6. משתפים את הקישור עם משתמשים אחרים.

השבתת השמירה של פלט ה-Notebook

כדי למנוע שיתוף של פלט שמור של מחברת עם משתמשים אחרים שיש להם גישה לקובץ המחברת, צריך להשבית את השמירה של פלט המחברת.

כשמשביתים את שמירת הפלט של מחברת נבחרת, BigQuery מוחק את כל הפלט שנשמר בקובץ המחברת ולא שומר את הפלט של הרצות עתידיות.

עם זאת, משתמשים שיש להם גישה ל-Notebook עדיין יכולים לראות את הפלט שלו בדרכים הבאות:

  • מריצים את ה-notebook כדי לראות את הפלט הנוכחי שלו. הפלט הזה לא נשמר.
  • אפשר לראות גרסה לארכיון של הנוטבוק והפלט שלו בהיסטוריית הגרסאות.

כדי להשבית את השמירה של הפלט במחברת נבחרת:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על המחברת שרוצים להשבית בה את שמירת הפלט.

  5. כדי להרחיב את סרגל התפריטים, לוחצים על keyboard_arrow_down הצגה או הסתרה של הכותרת.

  6. לוחצים על עריכה > הגדרות מחברת.

  7. בחלון הגדרות notebook, בוחרים באפשרות השמטת פלט של תאי קוד בשמירת ה-notebook הזה.

  8. לוחצים על Save.

  9. לוחצים על טעינה מחדש.

פתרון התנגשויות

אם אתם ומשתמש אחר מבצעים שינויים סותרים במחברת, השירות מציג את השגיאה Automatic saving failed. This file was updated remotely or in another tab. ומספק קישור Show diff. כדי לפתור את העימות, צריך לבצע את השלבים הבאים:

  1. לוחצים על הקישור Show diff. תיבת הדו-שיח בדיקת השינויים שבוצעו מרחוק תיפתח.
  2. אופציונלי: כדי להשוות את קוד המקור של ה-Notebook, מסמנים את תיבת הסימון קוד מקור גולמי.
  3. אופציונלי: כדי להשוות בין הגרסאות בשורה במקום בחלוניות נפרדות, מסמנים את התיבה השוואה בשורה.
  4. בודקים את השינויים ומחליטים אילו מהם לשמור. אם צריך, משנים את הקלט.
  5. לוחצים על שמירת השינויים.

שינוי שם של מחברות

כדי לשנות את השם של מחברת:

  1. במסוף Google Cloud , עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. בחלונית הימנית, לוחצים על כלי הניתוחים:

    כפתור מודגש לחלונית הסייר.

  3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

  4. לוחצים על המחברת שרוצים לשנות לה את השם.

  5. לוחצים על keyboard_arrow_down הצגה או הסתרה של הכותרת כדי להרחיב את סרגל התפריטים.

  6. לוחצים על קובץ > שינוי שם.

  7. בתיבת הדו-שיח שינוי שם המחברת, מקלידים שם למחברת ולוחצים על שינוי שם.

פתרון בעיות

מידע נוסף זמין במאמר בנושא פתרון בעיות ב-Colab Enterprise.

המאמרים הבאים