ניהול תיקיות Notebook

במאמר הזה מוסבר איך לנהל קובצי notebook של Colab Enterprise ב-BigQuery, כולל איך להציג, להשוות, לשחזר ולמחוק קובצי notebook.

בנוסף, מוסבר איך לצפות במטא-נתונים של ה-notebook ולנהל אותם ב-Knowledge Catalog.

‫Notebooks הם נכסי קוד של BigQuery Studio שמופעלים על ידי Dataform.

לפני שמתחילים

1. יוצרים Notebook.
2. כדי לנהל מטא-נתונים של Notebook ב-Knowledge Catalog, ודאו ש-Dataplex API מופעל בפרויקט ב- Google Cloud .

ההרשאות הנדרשות

כדי לשתף קובצי Notebook, אתם צריכים את התפקידים הבאים בניהול זהויות והרשאות גישה (IAM):

• BigQuery Job User (roles/bigquery.jobUser) (שימוש במשימות BigQuery)
• BigQuery Read Session User (roles/bigquery.readSessionUser)
• בעלי הקוד (roles/dataform.codeOwner) ברמת המשאב.

כדי לשמור ולמחוק קובצי Notebook, צריך את תפקידי ה-IAM הבאים:

• BigQuery Job User (roles/bigquery.jobUser) (שימוש במשימות BigQuery)
• BigQuery Read Session User (roles/bigquery.readSessionUser)
• בעלי הקוד (roles/dataform.codeOwner) או עורך הקוד (roles/dataform.codeEditor)

כדי לעבוד עם גרסאות של Notebook, צריך את התפקידים הבאים ב-IAM:

• BigQuery Job User (roles/bigquery.jobUser) (שימוש במשימות BigQuery)
• BigQuery Read Session User (roles/bigquery.readSessionUser)

• אחד מהתפקידים הבאים:

  • בעלי הקוד (roles/dataform.codeOwner)
  • עורך קוד (roles/dataform.codeEditor)
  • Code Viewer (roles/dataform.codeViewer)

למידע נוסף על IAM ב-BigQuery, קראו את המאמר בקרת גישה באמצעות IAM.

כדי לנהל את המטא-נתונים של ה-Notebook ב-Knowledge Catalog, ודאו שיש לכם את התפקידים הנדרשים ב-Knowledge Catalog.

מתן גישה לתיקיות Notebook

כדי לתת למשתמשים אחרים גישה ל-notebook, צריך להוסיף אותם לתפקיד IAM מתאים.

חשוב: משתמשים שיש להם גישה ל-notebook יכולים לראות את כל הפלט שנוצר על ידי הקוד ב-notebook, גם אם הפלט הזה מכיל נתונים מטבלאות שאין להם גישה אליהן. כדי למנוע שיתוף של פלט שמור, השביתו את שמירת הפלט של ה-notebook.

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. מוצאים את התיקייה שרוצים לתת אליה גישה.

5. לוחצים על פתיחת הפעולות ליד ה-Notebook, ואז לוחצים על שיתוף.

6. בחלונית Share permissions, לוחצים על Add user/group.

7. בשדה New principals, מזינים חשבון משתמש.

8. ברשימה Role, בוחרים אחד מהתפקידים הבאים:

   • בעלי הקוד: יכולים לבצע כל פעולה ב-Notebook, כולל מחיקה או שיתוף שלו.
   • עורך קוד: יכול לערוך את ה-Notebook.
   • צפייה בקוד: יכולים לצפות ב-Notebook.
   הערה: כדי להריץ את ה-Notebook, לחשבון המשתמש צריך להיות גם את התפקידים Notebook Runtime User (roles/aiplatform.notebookRuntimeUser) ו-BigQuery User (roles/bigquery.user).

9. אופציונלי: כדי לראות רשימה מלאה של תפקידים והגדרות שיתוף מתקדמות, לוחצים על שיתוף מתקדם.

10. לוחצים על Save.

11. כדי לחזור לדף המידע של ה-Notebook, לוחצים על סגירה.

איך משתפים תיקיות Notebook

כדי לשתף תיקיית Notebook עם משתמשים אחרים, אתם יכולים ליצור ולשתף קישור לתיקיית ה-Notebook. כדי שמשתמשים אחרים יוכלו לראות את ה-Notebook שאתם משתפים, קודם צריך לתת להם גישה אליו.

כדי להריץ notebook, למשתמשים צריכה להיות גישה לנתונים שה-notebook ניגש אליהם. איך נותנים גישה למערך נתונים

חשוב: משתמשים שיש להם גישה ל-notebook יכולים לראות את כל הפלט שנוצר על ידי הקוד ב-notebook, גם אם הפלט הזה מכיל נתונים מטבלאות שאין להם גישה אליהן. כדי למנוע שיתוף של פלט שמור, השביתו את שמירת הפלט של ה-notebook.

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. מוצאים את התיקייה שרוצים לשתף. אתם יכולים להשתמש בתכונת החיפוש או במסננים כדי למצוא את ה-Notebook.

5. לוחצים על הצגת הפעולות ליד התיקייה, ואז לוחצים על שיתוף > העתקת הקישור.

6. משתפים את הקישור עם משתמשים אחרים.

השבתת השמירה של פלט ה-Notebook

כדי למנוע שיתוף של פלט ה-notebook השמור עם משתמשים אחרים שיש להם גישה לקובץ ה-notebook, אתם יכולים להשבית את השמירה של פלט ה-notebook.

כשמשביתים את שמירת הפלט ב-notebook מסוים, BigQuery מוחק את כל הפלט שנשמר בקובץ ה-notebook ולא שומר את הפלט של ההרצות הבאות.

עם זאת, משתמשים שיש להם גישה ל-Notebook עדיין יכולים לראות את הפלט שלו בדרכים הבאות:

• מריצים את ה-notebook כדי לראות את הפלט הנוכחי שלו. הפלט הזה לא נשמר.
• בהיסטוריית הגרסאות, אפשר לראות גרסה של ה-notebook שנשמרה בארכיון ואת הפלט שלה.

כדי להשבית את השמירה של הפלט ב-Notebook שנבחר:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על ה-notebook שרוצים להשבית בו את שמירת הפלט.

5. כדי להרחיב את סרגל התפריטים, לוחצים על keyboard_arrow_down הצגה או הסתרה של הכותרת.

6. לוחצים על עריכה > הגדרות ה-Notebook.

7. בחלון Notebook settings, בוחרים באפשרות Omit code cell output when saving this notebook.

8. לוחצים על Save.

9. לוחצים על טעינה מחדש.

פתרון התנגשויות

אם אתם ומשתמש אחר מבצעים שינויים מתנגשים ב-notebook, השירות מציג את השגיאה Automatic saving failed. This file was updated remotely or in another tab. ומספק קישור ל-Show diff. כדי לפתור את הבעיה, צריך לבצע את השלבים הבאים:

1. לוחצים על הקישור Show diff. תיפתח תיבת הדו-שיח Review remote changes.
2. אופציונלי: כדי להשוות את קוד המקור של ה-notebook, מסמנים את התיבה Raw source.
3. אופציונלי: כדי להשוות בין הגרסאות בשורה במקום בחלוניות נפרדות, מסמנים את התיבה Inline diff.
4. בודקים את השינויים ומחליטים אילו מהם לשמור. אם צריך, משנים את הקלט.
5. לוחצים על שמירת השינויים.

הצגת כל תיקיות ה-Notebook

כדי לראות את רשימת כל תיקיות ה-Notebook בפרויקט:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על View actions ליד Notebooks, ואז מבצעים אחת מהפעולות הבאות:

• כדי לפתוח את הרשימה בכרטיסייה הנוכחית, לוחצים על הצגת הכול.
• כדי לפתוח את הרשימה בכרטיסייה חדשה, לוחצים על הצגת הכול ב > כרטיסייה חדשה.
• כדי לפתוח את הרשימה בכרטיסייה מפוצלת, לוחצים על הצגת הכול ב > כרטיסייה מפוצלת.

הצגת המטא-נתונים של ה-Notebook

כדי להציג את המטא-נתונים של ה-Notebook:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם ה-notebook שרוצים לראות את המטא-נתונים שלו.

5. בפרטי הסיכום אפשר לראות מידע על ה-notebook, כמו האזור שבו הוא משתמש לנתונים והתאריך שבו הוא שונה לאחרונה.

עבודה עם גרסאות של Notebook

אתם יכולים ליצור תיקיית Notebook בתוך מאגר או מחוץ לו. ניהול הגרסאות של ה-Notebook מטופל באופן שונה בהתאם למיקום של ה-Notebook.

ניהול גרסאות של Notebook במאגרים

מאגרים הם מאגרי Git שנמצאים ב-BigQuery או אצל ספק צד שלישי. אפשר להשתמש בסביבות עבודה במאגרים כדי לבצע ניהול גרסאות ב-notebooks. מידע נוסף זמין במאמר שימוש בניהול גרסאות בקובץ.

ניהול גרסאות של Notebook מחוץ למאגרים

בקטעים הבאים מוסבר איך להציג, להשוות ולשחזר גרסאות של Notebook.

צפייה בגרסאות של ה-Notebook

כדי לראות את הגרסאות של ה-Notebook:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks. לוחצים על שם ה-Notebook שרוצים לראות את היסטוריית הגרסאות שלו.

4. כדי לראות רשימה של גרסאות ה-Notebook בסדר יורד לפי תאריך, לוחצים על היסטוריית גרסאות.

השוואה בין גרסאות של Notebook

כדי להשוות בין גרסאות של Notebook, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על השם של ה-Notebook שרוצים להשוות את פרטי הגרסאות שלו.

5. לוחצים על היסטוריית גרסאות.

6. לוחצים על View actions ליד גרסת ה-notebook ואז על Compare. נפתחת חלונית השוואה בין גרסת ה-Notebook שבחרתם לבין הגרסה הנוכחית.

7. אופציונלי: כדי להשוות בין הגרסאות בשורה במקום בחלוניות נפרדות, לוחצים על Compare ואז על Inline.

8. אופציונלי: כדי להשוות בין קוד המקור של הגרסאות, לוחצים על Compare ואז על Show raw source.

9. אופציונלי: כדי להסתיר את פלט הפקודה ב-Notebook, לוחצים על Compare ואז מבטלים את הבחירה באפשרות Show output.

שחזור גרסה של תיקיית Notebook

כשמשחזרים גרסה של Notebook מחלונית ההשוואה, אפשר להשוות בין הגרסה הנוכחית לגרסה הקודמת של ה-Notebook לפני שבוחרים לשחזר את הגרסה הקודמת. כשמשחזרים תיקיית Notebook, נוצרת גרסה חדשה של התיקייה במקום להחליף את הגרסה הנוכחית. היסטוריית הגרסאות לא נמחקת.

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על השם של ה-Notebook שרוצים לשחזר גרסה קודמת שלו.

5. לוחצים על היסטוריית גרסאות.

6. לוחצים על הצגת פעולות לצד הגרסה ואז על השוואה. חלונית ההשוואה נפתחת, ובה מוצגת השוואה בין גרסת ה-notebook שבחרתם לבין הגרסה העדכנית ביותר של ה-notebook.

7. אם רוצים לשחזר את הגרסה הקודמת של ה-Notebook אחרי ההשוואה, לוחצים על Restore.

8. לוחצים על אישור.

שינוי שם של תיקיית Notebook

כדי לשנות שם של תיקיית Notebook, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על תיקיית ה-Notebook שרוצים לשנות את השם שלה.

5. לוחצים על keyboard_arrow_down Toggle header visibility כדי להרחיב את סרגל התפריטים.

6. לוחצים על קובץ > שינוי שם.

7. בתיבת הדו-שיח Rename notebook, מקלידים שם ל-notebook ולוחצים על Rename.

הורדת Notebook

כדי להוריד תיקיית Notebook:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על השם של תיקיית ה-Notebook שרוצים להוריד. אתם יכולים להשתמש בתכונת החיפוש או במסננים כדי למצוא את ה-Notebook.

5. מרחיבים את סרגל התפריטים ועוברים לתפריט קובץ:

   

6. לוחצים על הורדה ובוחרים את סוג הקובץ שרוצים להוריד.

מחיקת תיקיות Notebook

כדי למחוק תיקיית Notebook, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Notebooks.

4. מוצאים את תיקיית ה-Notebook שרוצים למחוק.

5. לוחצים על הצגת פעולות ליד ה-Notebook ואז לוחצים על מחיקה.

6. כדי לאשר את המחיקה, מקלידים delete בתיבת הדו-שיח.

7. לוחצים על Delete.

ניהול מטא-נתונים ב-Knowledge Catalog

ב-Knowledge Catalog אפשר לאחסן ולנהל מטא-נתונים של Notebooks. כברירת מחדל, ה-Notebooks זמינים ב-Knowledge Catalog בלי צורך בהגדרות נוספות.

אתם יכולים להשתמש ב-Knowledge Catalog כדי לנהל מסמכי Notebook בכל המיקומים של BigQuery. ניהול של Notebooks ב-Knowledge Catalog כפוף למכסות ולמגבלות של Knowledge Catalog ולתמחור של Knowledge Catalog.

‫Knowledge Catalog מאחזר באופן אוטומטי את המטא-נתונים הבאים מ-notebooks:

• שם נכס הנתונים
• נכס הורה של נכס נתונים
• המיקום של נכס הנתונים
• סוג נכס הנתונים
• הפרויקט התואם ב- Google Cloud

‫Knowledge Catalog מתעד את ה-notebooks כרשומות עם ערכי הרשומות הבאים:

קבוצת רשומות מערכת

קבוצת הרשומות של המערכת של מחברות היא @dataform. כדי לראות את הפרטים של רשומות ה-Notebook ב-Knowledge Catalog, צריך להציג את קבוצת הרשומות של המערכת dataform. במאמר הצגת הפרטים של קבוצת רשומות שבמסמכי התיעוד של Knowledge Catalog מוסבר איך להציג רשימה של כל הרשומות בקבוצת רשומות.

סוג רשומה במערכת

סוג הרשומה במערכת של Notebooks הוא dataform-code-asset. כדי לראות פרטים של תיקיות Notebook, צריך להציג את סוג הרשומה dataform-code-asset במערכת, לסנן את התוצאות באמצעות מסנן מבוסס-היבט ולהגדיר את השדה type בהיבט dataform-code-asset לערך NOTEBOOK. אחר כך בוחרים פריט בתיקיית ה-Notebook שנבחרה. במאמר הצגת פרטים של סוג רשומה שבמסמכי התיעוד של Knowledge Catalog מוסבר איך להציג פרטים של סוג רשומה שנבחר. במאמר הצגת פרטים של רשומה שבמסמכי התיעוד של Knowledge Catalog מוסבר איך להציג פרטים של רשומה שנבחרה.

סוג היבט המערכת

סוג ההיבט של המערכת ב-Notebooks הוא dataform-code-asset. כדי להוסיף הקשר ל-notebooks ב-Knowledge Catalog, אפשר להוסיף הערות לרשומות של ה-notebooks באמצעות היבטים. צריך להציג את סוג ההיבט dataform-code-asset, לסנן את התוצאות באמצעות מסנן שמבוסס על היבטים ולהגדיר את השדה type בתוך ההיבט dataform-code-asset לערך NOTEBOOK. הוראות להוספת הערות לרשומות עם היבטים מופיעות במאמר ניהול היבטים והעשרת מטא-נתונים במסמכי התיעוד של Knowledge Catalog.

סוג

הסוג של קנבס נתונים הוא NOTEBOOK. הסוג הזה מאפשר לסנן תיקיות Notebook בסוג הרשומה dataform-code-asset במערכת ובסוג ההיבט dataform-code-asset באמצעות השאילתה aspect:dataplex-types.global.dataform-code-asset.type=NOTEBOOK במסנן מבוסס-היבט.

במאמר חיפוש נכסי נתונים ב-Knowledge Catalog שבמסמכי התיעוד של Knowledge Catalog מוסבר איך לחפש נכסים ב-Knowledge Catalog.

פתרון בעיות

מידע נוסף מופיע במאמר פתרון בעיות ב-Colab Enterprise.

המאמרים הבאים

• מידע נוסף על Notebooks של Colab Enterprise ב-BigQuery
• איך יוצרים תיקיות Notebook
• איך מתזמנים תיקיות Notebook