תזמון של צינורות עיבוד נתונים

במאמר הזה מוסבר איך לתזמן צינורות של BigQuery, כולל איך לתזמן צינורות ולבדוק הרצות מתוזמנות של צינורות.

הצינורות מופעלים על ידי Dataform. כל תזמון של צינור עיבוד נתונים מופעל באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות מותאם אישית שבוחרים כשמגדירים את התזמון.

השינויים שתבצעו בצינור יישמרו אוטומטית, אבל הם יהיו זמינים רק לכם ולמשתמשים שקיבלו את תפקיד האדמין ב-Dataform בפרויקט. כדי לעדכן את לוח הזמנים עם גרסה חדשה של צינור העברת הנתונים, צריך לפרוס את צינור העברת הנתונים. פריסה מעדכנת את לוח הזמנים כך שישתמש בגרסה הנוכחית של צינור הנתונים. התזמון תמיד מריץ את הגרסה העדכנית ביותר שנפרסה.

בלוחות זמנים של צינורות עיבוד נתונים שמכילים מחברות, נעשה שימוש במפרט ברירת מחדל של זמן ריצה. במהלך הפעלה מתוזמנת של צינור שמכיל מחברות, BigQuery כותב את הפלט של המחברת אל הקטגוריה של Cloud Storage שנבחרה במהלך יצירת התזמון.

לפני שמתחילים

לפני שמתחילים, צריך ליצור צינור.

הפעלת תזמון של צינור עיבוד הנתונים

כדי לתזמן צינורות עיבוד נתונים, צריך להקצות את התפקיד הבא לחשבון השירות המותאם אישית שמתכננים להשתמש בו לתזמון צינורות עיבוד נתונים:

משתמש בחשבון שירות (roles/iam.serviceAccountUser)

פועלים לפי ההוראות שבקטע הקצאת תפקיד יחיד לחשבון שירות כדי להוסיף את חשבון השירות כישות מורשית לעצמו. במילים אחרות, מוסיפים את חשבון השירות כחשבון משתמש לאותו חשבון שירות. לאחר מכן, מעניקים לחשבון המשתמש הזה את התפקיד 'משתמש בחשבון שירות'.

אם צינור עיבוד הנתונים מכיל שאילתות SQL, צריך להעניק את התפקידים הבאים לחשבון השירות שמתכננים להשתמש בו לתזמון של צינור עיבוד הנתונים:

BigQuery Job User (roles/bigquery.jobUser)

פועלים לפי ההוראות במאמר בנושא הענקת תפקיד יחיד בפרויקט כדי להעניק לחשבון השירות את התפקיד BigQuery Job User בפרויקטים שמהם צינורות הנתונים קוראים נתונים.

BigQuery Data Viewer (roles/bigquery.dataViewer)

פועלים לפי השלבים במאמר הענקת תפקיד יחיד בפרויקט כדי להעניק לחשבון השירות את התפקיד BigQuery Data Viewer בפרויקטים שמהם צינורות הנתונים קוראים נתונים.

עריכה של נתוני BigQuery (roles/bigquery.dataEditor)

פועלים לפי ההוראות במאמר הענקת תפקיד יחיד בפרויקט כדי להעניק לחשבון השירות שלכם את התפקיד BigQuery Data Editor בפרויקטים שצינורות הנתונים כותבים אליהם נתונים.

אם צינור הנתונים מכיל מחברות, צריך להקצות את התפקידים הבאים לחשבון השירות שבו מתכננים להשתמש לתזמון של צינור הנתונים:

משתמש בהרצת Notebook (roles/aiplatform.notebookExecutorUser)

פועלים לפי ההוראות שבקטע הקצאת תפקיד יחיד בפרויקט כדי להקצות את התפקיד Notebook Executor User לחשבון השירות בפרויקט שנבחר.

אדמין באחסון (roles/storage.admin)

פועלים לפי ההוראות במאמר הוספת ישות מורשית למדיניות ברמת הקטגוריה כדי להוסיף את חשבון השירות שלכם כישות מורשית לקטגוריית Cloud Storage שבה אתם מתכננים לאחסן את הפלט של מחברות שמופעלות בהרצות מתוזמנות של צינורות, ומעניקים לישות המורשית הזו את התפקיד 'אדמין אחסון'.

בנוסף, עליך להקצות את התפקידים הבאים לסוכן השירות שמוגדר כברירת מחדל ב-Dataform:

יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)

פועלים לפי ההוראות במאמר איך נותנים הרשאת יצירת אסימונים לחשבון שירות כדי להוסיף את סוכן השירות של Dataform כחשבון משתמש לחשבון השירות, ולתת לחשבון המשתמש הזה את התפקיד 'יצירת אסימונים בחשבון שירות'.

משתמש בחשבון שירות (roles/iam.serviceAccountUser)

כדי לתת לסוכן השירות של Dataform שמוגדר כברירת מחדל את התפקיד Service Account User בחשבון השירות בהתאמה אישית, פועלים לפי ההוראות במאמר הענקת או ביטול של כמה תפקידי IAM באמצעות Google Cloud המסוף.

מידע נוסף על חשבונות שירות ב-Dataform זמין במאמר מידע על חשבונות שירות ב-Dataform.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול צינורות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• מחיקת צינורות: אדמין Dataform (roles/dataform.Admin) בצינור
• יצירה, עריכה, הפעלה ומחיקה של תזמוני פייפליין:
  • Dataform Admin (roles/dataform.Admin) בפייפליין
  • משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית
• צפייה בצינורות עיבוד נתונים והרצה שלהם: Dataform Viewer (roles/dataform.Viewer) בפרויקט
• כדי לראות את לוחות הזמנים של צינורות: Dataform Editor (roles/dataform.Editor) on the project

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

מידע נוסף על IAM ב-Dataform זמין במאמר בקרת גישה באמצעות IAM.

כדי להשתמש בתבניות של זמן ריצה של notebook של Colab כשמתזמנים צינורות, צריך את תפקיד המשתמש Notebook Runtime (roles/aiplatform.notebookRuntimeUser).

יצירת תזמון לפייפליין

כדי ליצור לוח זמנים לצינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על תזמון.

5. בחלונית Schedule pipeline, בשדה Schedule name, מזינים שם לתזמון.

6. בקטע אימות, מאשרים את צינור הנתונים באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

7. אם צינור הנתונים מכיל מחברת, בקטע Notebook options, בשדה Runtime template, בוחרים תבנית זמן ריצה של notebook של Colab או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של סביבת זמן ריצה של מחברת Colab זמינים במאמר יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של מחברת צריכה להיות באותו אזור כמו צינור הנתונים.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של notebook של Colab, אתם עדיין יכולים להריץ ולתזמן צינורות נתונים עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

8. אם צינור הנתונים מכיל מחברת, בקטע Notebook options, בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage לאחסון הפלט של מחברות בצינור הנתונים.

   לחשבון השירות שבחרתם צריך להיות מוקצה תפקיד אדמין של Storage ב-IAM בדלי שבחרתם. מידע נוסף זמין במאמר בנושא הפעלת תזמון של צינורות.

9. בקטע Schedule frequency:

   1. בתפריט Repeats, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
   2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
   3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

10. מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כעבודות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם מבטלים את הסימון של האפשרות הזו, השאילתות מופעלות כמשימות של שאילתות אצווה, שהעדיפות שלהן נמוכה יותר.

11. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של צינור עיבוד הנתונים נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של צינור העיבוד, פורסים את צינור העיבוד.

הגרסה האחרונה של הפייפליין שנפרסה תפעל בזמן ובתדירות שנבחרו.

הערה: אם הפעלה מתוזמנת של צינור לא מסתיימת לפני תחילת ההפעלה המתוזמנת הבאה, ההפעלה המתוזמנת הבאה מדלגת ומסומנת בשגיאה.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על יצירה ובוחרים באפשרות תזמון צינור בתפריט.

3. בחלונית Schedule pipeline, בוחרים צינור להוספה לתזמון.

4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

5. בקטע אימות, מאשרים את צינור הנתונים באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

6. אם צינור הנתונים מכיל מחברת, בקטע Notebook options, בשדה Runtime template, בוחרים תבנית זמן ריצה של notebook של Colab או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של סביבת זמן ריצה של מחברת Colab זמינים במאמר יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של מחברת צריכה להיות באותו אזור כמו צינור הנתונים.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של notebook של Colab, אתם עדיין יכולים להריץ ולתזמן צינורות נתונים עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

7. אם צינור הנתונים מכיל מחברת, בשדה Cloud Storage bucket לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage לאחסון הפלט של המחברות בצינור הנתונים.

   לחשבון השירות שבחרתם צריך להיות מוקצה תפקיד אדמין של Storage ב-IAM בדלי שבחרתם. מידע נוסף זמין במאמר בנושא הפעלת תזמון של צינורות.

8. בקטע Schedule frequency:

   1. בתפריט חזרה, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
   2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
   3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

9. מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כעבודות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם מבטלים את הסימון של האפשרות הזו, השאילתות מופעלות כמשימות של שאילתות אצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

הערה: אם הפעלה מתוזמנת של צינור לא מסתיימת לפני תחילת ההפעלה המתוזמנת הבאה, ההפעלה המתוזמנת הבאה מדלגת על השלב הזה ומסומנת בשגיאה.

איך נותנים הרשאה לחשבון Google

גרסת טרום-השקה

השימוש במוצר הזה או בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לבקש תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות אל [e-mail].

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק הרשאה באופן ידני לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה ימנע הפעלות עתידיות של צינורות עיבוד שבבעלות חשבון Google הזה בכל האזורים.

שינוי הבעלים של תזמון צינור הנתונים על ידי עדכון פרטי הכניסה דורש גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר תזמון.

אם צינור הנתונים מכיל מחברת, צריך גם לתת באופן ידני הרשאה ל-Colab Enterprise לקבל את אסימון הגישה לחשבון Google שלכם ולגשת לנתוני המקור בשמכם. צריך לתת הרשאה רק פעם אחת. אפשר לבטל את ההרשאה הזו בדף של חשבון Google.

פריסת צינור עיבוד נתונים

כשפורסים צינור, לוח הזמנים שלו מתעדכן לגרסה הנוכחית של הצינור. התזמון מריץ את הגרסה האחרונה של הצינור שפרסתם.

כדי לפרוס צינור, מבצעים את השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על פריסה.

לוח הזמנים המתאים מתעדכן עם הגרסה הנוכחית של צינור הנתונים. הגרסה האחרונה של הצינור שפריסתה הושלמה תפעל בזמן המתוזמן.

השבתת לוח זמנים

כדי להשהות את ההרצות המתוזמנות של צינור נתונים נבחר בלי למחוק את התזמון, אפשר להשבית את התזמון.

כדי להשבית לוח זמנים עבור צינור שנבחר, פועלים לפי השלבים הבאים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על הצגת לוח הזמנים.

5. בטבלה פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מופעל.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, לוחצים על השבתה.

הפעלת לוח זמנים

כדי להפעיל מחדש תזמון של צינור השבתה:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על הצגת לוח הזמנים.

5. בטבלה פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מושבת.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, לוחצים על הפעלה.

הפעלה ידנית של צינור עיבוד נתונים שנפרס

כשמריצים ידנית צינור נתונים שנפרס בלוח זמנים נבחר, BigQuery מריץ את צינור הנתונים שנפרס פעם אחת, באופן עצמאי מלוח הזמנים.

כדי להפעיל ידנית צינור להעברת נתונים שפרסתם:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של תזמון הצינור שנבחר.

3. בדף פרטי התזמון, לוחצים על הפעלה.

הצגת כל לוחות הזמנים של צינורות העיבוד

כדי לראות את כל התזמונים של צינורות העברת הנתונים בפרויקט Google Cloud , פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על לוח הזמנים של הצינור, לוחצים על Column display options (אפשרויות להצגת עמודות), בוחרים עמודות ולוחצים על OK (אישור).

הצגת פרטים על תזמון צינורות

כדי לראות את הפרטים של לוח זמנים שנבחר לצינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על הצגת לוח הזמנים.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של תזמון הצינור שנבחר.

הצגת ריצות מתוזמנות קודמות

כדי לראות הפעלות קודמות של לוח זמנים שנבחר של צינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על Executions (הרצות).

5. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, בקטע הפעלות קודמות, בודקים את ההרצות הקודמות.

4. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

עריכת תזמון של פייפליין

כדי לערוך לוח זמנים של צינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer מרחיבים את הפרויקט, לוחצים על Pipelines ואז בוחרים צינור.

4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

5. בתיבת הדו-שיח תזמון צינור, עורכים את התזמון ולוחצים על עדכון התזמון.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, לוחצים על עריכה.

4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

5. בתיבת הדו-שיח תזמון צינור, עורכים את התזמון ולוחצים על עדכון התזמון.

מחיקה של לוח זמנים של צינור

כדי למחוק סופית לוח זמנים של צינור:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. בצע אחת מהפעולות הבאות:

   • לוחצים על השם של תזמון צינור הנתונים שנבחר, ואז בדף פרטי התזמון לוחצים על מחיקה.

   • בשורה שמכילה את לוח הזמנים של צינור הנתונים שנבחר, לוחצים על הצגת פעולות בעמודה פעולות ואז על מחיקה.

3. בתיבת הדו-שיח שמופיעה, לוחצים על מחיקה.

המאמרים הבאים

• מידע נוסף על צינורות ב-BigQuery
• איך יוצרים צינורות