תזמון של קובצי notebook

במאמר הזה מתואר איך לתזמן קבצים מסוג Colab Enterprise notebook ב-BigQuery, ואיך לבדוק הפעלות מתוזמנות של קובצי notebook.

מחברות הן נכסי קוד שמבוססים על Dataform. עם זאת, מחברות לא מוצגות ב-Dataform.

אפשר לתזמן מחברת כך שתפעל אוטומטית בזמן ובתדירות שצוינו – למשל, כדי לאמן מודל ML, לקרוא לממשקי API חיצוניים או להריץ קוד של BigQuery DataFrames.

השינויים שאתם מבצעים ב-Notebook נשמרים אוטומטית, אבל הם זמינים רק לכם ולמשתמשים שיש להם גישה ל-Notebook. כדי לעדכן את לוח הזמנים עם גרסה חדשה של ה-Notebook, צריך לפרוס את ה-Notebook. כשפורסים מחברת, לוח הזמנים שלה מתעדכן עם הגרסה הנוכחית של המחברת. התזמון מריץ את הגרסה העדכנית ביותר של המחברת שנפרסה.

כל תזמון של מחברת מופעל באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות בהתאמה אישית שבוחרים כשמגדירים את התזמון.

‫Dataform כותב את הפלט של הפעלות מתוזמנות של מחברות לקטגוריה של Cloud Storage שנבחרה במהלך יצירת התזמון.

תזמונים של מחברות משתמשים בזמן ריצה סטנדרטי של E2. יש חיוב על זמני ריצה ב-Colab Enterprise. החיוב על עיבוד בזמן ריצה מתבצע על בסיס סוג המכונה E2. מידע על התמחור של סביבות זמן ריצה רגילות מסוג E2 זמין במאמר בנושא תמחור של Colab Enterprise.

לפני שמתחילים

לפני שמתחילים, צריך ליצור מחברת.

הפעלת תזמון של פנקסים

כדי לתזמן מחברות, צריך להקצות את התפקידים הבאים לחשבון השירות המותאם אישית שמתכננים להשתמש בו לתזמון מחברות:

משתמש בהרצת Notebook (roles/aiplatform.notebookExecutorUser)

פועלים לפי ההוראות במאמר הקצאת תפקיד יחיד בפרויקט כדי להקצות לחשבון השירות את התפקיד Notebook Executor User בפרויקט שנבחר.

אדמין באחסון (roles/storage.admin)

פועלים לפי ההוראות במאמר הוספת ישות מורשית למדיניות ברמת הקטגוריה כדי להוסיף את חשבון השירות כישות מורשית לקטגוריה של Cloud Storage שבה אתם מתכננים לאחסן את הפלט של הפעלות מתוזמנות של מחברות, ומעניקים לישות המורשית הזו את התפקיד 'אדמין אחסון'.

משתמש בחשבון שירות (roles/iam.serviceAccountUser)

פועלים לפי ההוראות במאמר הקצאת תפקיד יחיד בחשבון שירות כדי להוסיף את חשבון השירות כישות מורשית לעצמו. במילים אחרות, מוסיפים את חשבון השירות כחשבון משתמש לאותו חשבון שירות. לאחר מכן, מעניקים לחשבון המשתמש הזה את התפקיד 'משתמש בחשבון שירות'.

בנוסף, עליך להקצות את התפקידים הבאים לסוכן השירות שמוגדר כברירת מחדל ב-Dataform:

יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)

פועלים לפי ההוראות שבמאמר הענקת גישה ליצירת אסימונים לחשבון שירות מותאם אישית של Dataform כדי להוסיף את סוכן השירות שמוגדר כברירת מחדל ב-Dataform כחשבון משתמש לחשבון השירות, ולהעניק לחשבון המשתמש הזה את התפקיד 'יצירת אסימונים בחשבון שירות'.

משתמש בחשבון שירות (roles/iam.serviceAccountUser)

כדי לתת לסוכן השירות של Dataform שמוגדר כברירת מחדל את התפקיד Service Account User בחשבון השירות בהתאמה אישית, פועלים לפי ההוראות במאמר הענקת או ביטול של כמה תפקידי IAM באמצעות Google Cloud המסוף.

מידע נוסף על חשבונות שירות ב-Dataform זמין במאמר מידע על חשבונות שירות ב-Dataform.

התפקידים הנדרשים

כדי ליצור תזמונים של מחברות, צריך את התפקידים הבאים:

• אדמין ב-Dataform (roles/dataform.admin)
• BigQuery Read Session User (roles/bigquery.readSessionUser) או BigQuery Studio User (roles/bigquery.studioUser)
• משתמש Notebook Runtime (roles/aiplatform.notebookRuntimeUser)
• התפקיד 'משתמש בחשבון שירות' (roles/iam.serviceAccountUser) בחשבון השירות בהתאמה אישית

כדי להשתמש בתבניות של סביבת זמן ריצה של מחברות כשמתזמנים מחברות, צריך את התפקיד משתמש בסביבת זמן ריצה של מחברות (roles/aiplatform.notebookRuntimeUser).

כדי לערוך ולמחוק תזמונים של מחברות, צריך את התפקיד Dataform Editor (roles/dataform.editor).

כדי לראות את התזמונים של מחברות, צריך להקצות את התפקיד צפייה ב-Dataform (roles/dataform.viewer).

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף על IAM ב-BigQuery.

מידע נוסף על IAM ב-Dataform זמין במאמר בקרת גישה באמצעות IAM.

יצירת לוח זמנים

כדי ליצור לוח זמנים למחברת, פועלים לפי השלבים הבאים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שרוצים לתזמן. אפשר להשתמש בתכונת החיפוש או במסננים כדי למצוא את המחברת.

5. בסרגל הכלים של מחברת, לוחצים על תזמון.

   אפשר גם ללחוץ על תזמון ואז על יצירת לוח זמנים.

6. בחלונית Schedule Notebook, בשדה Schedule name, מזינים שם לתזמון.

7. בקטע אימות, מאשרים את המחברת באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account (הפעלה עם חשבון השירות שנבחר) ואז בוחרים חשבון שירות.

8. בקטע Notebook options (אפשרויות Notebook), בשדה Runtime template (תבנית זמן ריצה), בוחרים תבנית זמן ריצה של notebook של Colab או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של זמן ריצה של notebook של Colab זמינים במאמר בנושא יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של מחברת צריכה להיות באותו אזור כמו המחברת.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של מחברת, אתם עדיין יכולים להריץ ולתזמן מחברות עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

9. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage.

   לחשבון השירות שנבחר צריך להיות מוקצה תפקיד ה-IAM‏ Storage Admin (roles/storage.admin) בדלי שנבחר. מידע נוסף מופיע במאמר בנושא הפעלת תזמון של מחברות.

10. בקטע Schedule frequency:

    1. בתפריט Repeats (חזרה), בוחרים את התדירות של הפעלות מתוזמנות של מחברות.
    2. בשדה At time, מזינים את השעה להפעלות המתוזמנות של קובץ ה-notebook.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

11. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של ה-notebook נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של מחברת, פורסים את המחברת.

הגרסה האחרונה של המחברת שנפרסה תפעל במועד ובתדירות שתבחרו.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על יצירה ובוחרים באפשרות תזמון מחברת בתפריט.

3. בחלונית Schedule notebook, בשדה Notebook, בוחרים את ה-Notebook שרוצים לתזמן.

4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

5. בקטע אימות, מאשרים את המחברת באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

6. בקטע Notebook options (אפשרויות ל-Notebook), בשדה Runtime template (תבנית זמן ריצה), בוחרים תבנית זמן ריצה של notebook של Colab או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של זמן ריצה של notebook של Colab זמינים במאמר בנושא יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של מחברת צריכה להיות באותו אזור כמו המחברת.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של מחברת, אתם עדיין יכולים להריץ ולתזמן מחברות עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

7. בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage.

   לחשבון השירות שנבחר צריך להיות מוקצה תפקיד ה-IAM‏ Storage Admin (roles/storage.admin) בדלי שנבחר. מידע נוסף מופיע במאמר בנושא הפעלת תזמון של מחברות.

8. בקטע Schedule frequency:

   1. בתפריט Repeats (חזרה), בוחרים את התדירות של הפעלות מתוזמנות של מחברות.
   2. בשדה At time, מזינים את השעה להפעלות המתוזמנות של קובץ ה-notebook.
   3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

9. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של ה-notebook נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של מחברת, פורסים את המחברת.

הגרסה האחרונה של המחברת שנפרסה תפעל במועד ובתדירות שתבחרו.

איך נותנים הרשאה לחשבון Google

גרסת טרום-השקה

השימוש במוצר הזה או בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לבקש תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות אל [e-mail].

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק הרשאה באופן ידני לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה ימנע הפעלות עתידיות של צינורות עיבוד שבבעלות חשבון Google הזה בכל האזורים.

שינוי הבעלים של תזמון המחברת על ידי עדכון פרטי הכניסה דורש גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר תזמון.

פריסת מחברת

פריסת מחברת מעדכנת את לוח הזמנים שלה עם הגרסה הנוכחית של המחברת. התזמון מריץ את הגרסה העדכנית ביותר של המחברת שנפרסה.

אם יש לכם תזמון למחברת הזו, כשאתם עורכים את המחברת, BigQuery מציג לכם הנחיה לפרוס את השינויים כדי לעדכן את התזמון.

כדי לפרוס מחברת, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שנבחרה.

5. לוחצים על פריסה.

לוח הזמנים המתאים מתעדכן עם הגרסה הנוכחית של ה-notebook. הגרסה האחרונה של המחברת שנפרסה תפעל בזמן המתוזמן.

הפעלה ידנית של מחברת שנפרסה

כשמריצים ידנית מחברת שהופעלה בלוח זמנים נבחר, BigQuery מריץ את המחברת שהופעלה פעם אחת, בלי קשר ללוח הזמנים.

כדי להריץ מחברת שנפרסה באופן ידני:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של לוח הזמנים שנבחר למחברת.

3. בדף פרטי התזמון, לוחצים על הפעלה.

צפייה בכל לוחות הזמנים

כדי לראות את כל התזמונים של מחברות בפרויקט, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על התזמון של המחברת, לוחצים על Column display options (אפשרויות להצגת עמודות), בוחרים עמודות ולוחצים על OK (אישור).

הצגת פרטים על לוח הזמנים

אפשר לראות את הפרטים של לוח זמנים שנבחר בחלונית Explorer או בדף תזמון.

כדי לראות את פרטי לוח הזמנים של מחברת שנבחרה:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שנבחרה.

5. בסרגל הכלים של מחברת, לוחצים על תזמון.

   לחלופין, לוחצים על תזמון:

   

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של לוח הזמנים שנבחר למחברת.

צפייה בהרצות קודמות

אפשר לראות את ההרצות הקודמות של תזמון מחברת נבחרת בחלונית Explorer או בדף Scheduling.

כדי לראות את ההרצות הקודמות של לוח זמנים שנבחר של מחברת, מבצעים את השלבים הבאים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שנבחרה.

5. לוחצים על תזמון ואז על הצגת הפעלות קודמות.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של לוח הזמנים שנבחר למחברת.

3. בדף פרטי התזמון, בקטע הפעלות קודמות, בודקים את ההפעלות הקודמות.

4. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

השבתת לוח זמנים

כדי להשהות הפעלות מתוזמנות של מחברת נבחרת בלי למחוק את התזמון, אפשר להשבית את התזמון.

כדי להשבית תזמון של notebook נבחר, פועלים לפי השלבים הבאים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שנבחרה.

5. בסרגל הכלים של מחברת, לוחצים על תזמון.

   לחלופין, לוחצים על תזמון:

   

6. בטבלה עם פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מופעל.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על שם המחברת שנבחרה.

3. בדף פרטי התזמון, לוחצים על השבתה.

הפעלת לוח זמנים

כדי להפעיל מחדש תזמון של הפעלות של notebook שהושבת:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שנבחרה.

5. בסרגל הכלים של מחברת, לוחצים על תזמון.

   אפשר גם ללחוץ על תזמון.

6. בטבלה עם פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מושבת.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על שם המחברת שנבחרה.

3. בדף פרטי התזמון, לוחצים על הפעלה.

עריכת לוח זמנים

אפשר לערוך את לוח הזמנים בחלונית Explorer או בדף Scheduling.

כדי לערוך לוח זמנים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט ולוחצים על Notebooks.

4. לוחצים על שם המחברת שנבחרה.

5. לוחצים על תזמון ואז על עריכה.

6. בתיבת הדו-שיח פרטי התזמון, עורכים את התזמון ולוחצים על עדכון התזמון.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של לוח הזמנים שנבחר למחברת.

3. בדף פרטי התזמון, לוחצים על עריכה.

4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

5. בתיבת הדו-שיח Schedule notebook, עורכים את לוח הזמנים ולוחצים על Update schedule.

מחיקת לוח זמנים

כדי למחוק באופן סופי תזמון של notebook שנבחר, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. בצע אחת מהפעולות הבאות:

   • לוחצים על שם התזמון שנבחר, ואז בדף פרטי התזמון לוחצים על מחיקה.

   • בשורה שמכילה את התזמון שנבחר, לוחצים על הצגת פעולות בעמודה פעולות ואז על מחיקה.

3. בתיבת הדו-שיח שמופיעה, לוחצים על מחיקה.

המאמרים הבאים

• מידע נוסף על מחברות Colab Enterprise ב-BigQuery
• איך יוצרים מחברות