תזמון של צינורות עיבוד נתונים

במאמר הזה מוסבר איך לתזמן צינורות של BigQuery, כולל איך לתזמן צינורות ולבדוק את ההרצות המתוזמנות של הצינורות.

צינורות העיבוד מבוססים על Dataform. כל תזמון של צינור עיבוד נתונים מופעל באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות מותאם אישית שבוחרים כשמגדירים את התזמון.

השינויים שתבצעו בצינור יישמרו אוטומטית, אבל הם יהיו זמינים רק לכם ולמשתמשים שקיבלו את תפקיד האדמין ב-Dataform בפרויקט. כדי לעדכן את לוח הזמנים עם גרסה חדשה של צינור העיבוד, צריך לפרוס את צינור העיבוד. הפריסה מעדכנת את לוח הזמנים כך שישתמש בגרסה הנוכחית של צינור עיבוד הנתונים. ההפעלות המתוזמנות תמיד מריצות את הגרסה העדכנית ביותר שנפרסה.

בלוחות זמנים של צינורות עיבוד נתונים שמכילים מחברות, נעשה שימוש במפרט ברירת מחדל של זמן ריצה. במהלך הפעלה מתוזמנת של צינור שמכיל מחברות, BigQuery כותב את הפלט של המחברת אל הקטגוריה של Cloud Storage שנבחרה במהלך יצירת התזמון.

לפני שמתחילים

לפני שמתחילים, צריך ליצור צינור.

הפעלת תזמון של צינורות עיבוד נתונים

כדי לתזמן צינורות עיבוד נתונים, צריך להקצות את התפקיד הבא לחשבון השירות המותאם אישית שמתכננים להשתמש בו לתזמון צינורות עיבוד נתונים:

משתמש בחשבון שירות (roles/iam.serviceAccountUser)

פועלים לפי השלבים במאמר הקצאת תפקיד יחיד לחשבון שירות כדי להוסיף את חשבון השירות כחשבון משתמש לעצמו. במילים אחרות, מוסיפים את חשבון השירות כחשבון משתמש לאותו חשבון שירות. לאחר מכן, מעניקים לחשבון המשתמש הזה את התפקיד 'משתמש בחשבון שירות'.

אם צינור עיבוד הנתונים מכיל שאילתות SQL, צריך להעניק את התפקידים הבאים לחשבון השירות שמתכננים להשתמש בו לתזמון של צינור עיבוד הנתונים:

BigQuery Job User (roles/bigquery.jobUser)

פועלים לפי ההוראות במאמר הענקת תפקיד יחיד בפרויקט כדי להעניק לחשבון השירות את התפקיד BigQuery Job User בפרויקטים שמהם צינורות הנתונים קוראים נתונים.

BigQuery Data Viewer ‏ (roles/bigquery.dataViewer)

פועלים לפי השלבים במאמר הענקת תפקיד יחיד בפרויקט כדי להעניק לחשבון השירות את התפקיד BigQuery Data Viewer בפרויקטים שמהם צינורות הנתונים קוראים נתונים.

עריכה של נתוני BigQuery (roles/bigquery.dataEditor)

פועלים לפי ההוראות שבמאמר הענקת תפקיד יחיד בפרויקט כדי להעניק לחשבון השירות שלכם את התפקיד BigQuery Data Editor (עריכת נתונים ב-BigQuery) בפרויקטים שצינורות הנתונים כותבים אליהם נתונים.

אם צינור הנתונים מכיל מחברות, צריך להקצות את התפקידים הבאים לחשבון השירות שמתכננים להשתמש בו לתזמון של צינור הנתונים:

משתמש בהרצת Notebook (roles/aiplatform.notebookExecutorUser)

פועלים לפי ההוראות שבקטע הקצאת תפקיד יחיד בפרויקט כדי להקצות לחשבון השירות את התפקיד Notebook Executor User בפרויקט שנבחר.

אדמין באחסון (roles/storage.admin)

פועלים לפי ההוראות במאמר הוספת גורם ראשי למדיניות ברמת הקטגוריה כדי להוסיף את חשבון השירות כגורם ראשי לקטגוריית Cloud Storage שבה אתם מתכננים לאחסן את הפלט של מחברות שמופעלות בהרצות מתוזמנות של צינורות, ומעניקים לגורם הראשי הזה את התפקיד 'אדמין אחסון'.

בנוסף, צריך להעניק את התפקידים הבאים לסוכן השירות שמוגדר כברירת מחדל ב-Dataform:

יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)

פועלים לפי ההוראות במאמר איך נותנים הרשאת יצירת אסימונים לחשבון שירות כדי להוסיף את סוכן השירות של Dataform כחשבון משתמש לחשבון השירות, ולתת לחשבון המשתמש הזה את התפקיד 'יצירת אסימונים בחשבון שירות'.

משתמש בחשבון שירות (roles/iam.serviceAccountUser)

פועלים לפי ההוראות במאמר הקצאה או ביטול של כמה תפקידי IAM באמצעות Google Cloud מסוף כדי להקצות את התפקיד Service Account User לסוכן השירות של Dataform שמוגדר כברירת מחדל בחשבון השירות בהתאמה אישית.

מידע נוסף על חשבונות שירות ב-Dataform זמין במאמר מידע על חשבונות שירות ב-Dataform.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול צינורות, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• מחיקת צינורות: Dataform Admin (roles/dataform.Admin) on the pipeline
• יצירה, עריכה, הפעלה ומחיקה של תזמוני פייפליין:
  • Dataform Admin (roles/dataform.Admin) on the pipeline
  • משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית
• צפייה בצינורות עיבוד נתונים והרצה שלהם: Dataform Viewer (roles/dataform.Viewer) בפרויקט
• כדי לראות את לוחות הזמנים של הפייפליין: Dataform Editor ‏ (roles/dataform.Editor) בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

מידע נוסף על IAM ב-Dataform זמין במאמר בקרת גישה באמצעות IAM.

כדי להשתמש בתבניות של זמן ריצה של נוטבוק של Colab כשמתזמנים פייפליינים, צריך את תפקיד המשתמש Notebook Runtime (roles/aiplatform.notebookRuntimeUser).

יצירת לוח זמנים לפייפליין

טיפ: אפשר גם להשתמש בדף Pipelines & Connections כדי לתזמן צינור עיבוד נתונים של Dataform באמצעות תהליך עבודה יעיל שספציפי ל-BigQuery. התכונה הזו נמצאת בגרסת טרום-השקה.

כדי ליצור לוח זמנים לצינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על תזמון.

5. בחלונית Schedule pipeline, בשדה Schedule name, מזינים שם לתזמון.

6. בקטע Authentication (אימות), מאשרים את הצינור באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

7. אם צינור הנתונים מכיל מחברת, בקטע Notebook options, בשדה Runtime template, בוחרים תבנית של זמן ריצה של מחברת Colaboratory או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של זמן ריצה בנוטבוק של Colab זמינים במאמר יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של נוטבוק צריכה להיות באותו אזור כמו הפייפליין.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של נוטבוק של Colab, אתם עדיין יכולים להריץ ולתזמן פייפליינים עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

8. אם צינור העיבוד מכיל מחברת, בקטע Notebook options, בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה ב-Cloud Storage לאחסון הפלט של המחברות בצינור העיבוד.

   לחשבון השירות שבחרתם צריך להיות מוקצה תפקיד אדמין של Storage ב-IAM בדלי שבחרתם. מידע נוסף זמין במאמר בנושא הפעלת תזמון של צינורות.

9. בקטע סוג ההגדרה, בוחרים באפשרות תזמון (חזרה על עצמה לפי זמן).

10. בקטע תדירות התזמון, מבצעים את הפעולות הבאות:

    1. בתפריט Repeats, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
    2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
    3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

11. מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כמשימה אינטראקקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית. אם מבטלים את הסימון של האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

12. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

כשיוצרים את לוח הזמנים, הגרסה הנוכחית של צינור עיבוד הנתונים נפרסת באופן אוטומטי. כדי לעדכן את לוח הזמנים עם גרסה חדשה של צינור העיבוד, פורסים את צינור העיבוד.

הגרסה האחרונה של הפייפליין שנפרסה תפעל בזמן ובתדירות שנבחרו.

הערה: אם הפעלה מתוזמנת של צינור לא מסתיימת לפני תחילת ההפעלה המתוזמנת הבאה, ההפעלה המתוזמנת הבאה מדלגת ומסומנת בשגיאה.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על יצירה ובוחרים באפשרות תזמון צינור בתפריט.

3. בחלונית Schedule pipeline, בוחרים צינור להוספה לתזמון.

4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

5. בקטע Authentication (אימות), מאשרים את הצינור באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

6. אם צינור העיבוד מכיל נוטבוק, בקטע Notebook options, בשדה Runtime template, בוחרים תבנית זמן ריצה של נוטבוק של Colab או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של זמן ריצה בנוטבוק של Colab זמינים במאמר יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של נוטבוק צריכה להיות באותו אזור כמו צינור העיבוד.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של נוטבוק של Colab, אתם עדיין יכולים להריץ ולתזמן צינורות עיבוד עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

7. אם צינור העיבוד מכיל מחברת, בשדה Cloud Storage bucket לוחצים על Browse ובוחרים או יוצרים קטגוריה של Cloud Storage לאחסון הפלט של המחברות בצינור העיבוד.

   לחשבון השירות שבחרתם צריך להיות מוקצה תפקיד אדמין של Storage ב-IAM בדלי שבחרתם. מידע נוסף זמין במאמר בנושא הפעלת תזמון של צינורות.

8. בקטע סוג ההגדרה, בוחרים באפשרות תזמון (חזרה על עצמה לפי זמן).

9. בקטע תדירות התזמון, מבצעים את הפעולות הבאות:

   1. בתפריט Repeats, בוחרים את התדירות של הפעלות צינורות מתוזמנות.
   2. בשדה At time, מזינים את השעה להפעלות מתוזמנות של צינור עיבוד הנתונים.
   3. בתפריט אזור זמן, בוחרים את אזור הזמן של לוח הזמנים.

10. מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כמשימה אינטראקקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית. אם מבטלים את הסימון של האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

11. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

הערה: אם הפעלה מתוזמנת של צינור לא מסתיימת לפני תחילת ההפעלה המתוזמנת הבאה, ההפעלה המתוזמנת הבאה מדלגת ומסומנת בשגיאה.

איך נותנים הרשאה לחשבון Google

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לבקש תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות אל [e-mail].

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

הערה: מדיניות של בקרת גישה מבוססת-הקשר (CAA) – כולל מדיניות מבוססת-IP, מבוססת-מיקום גיאוגרפי ומבוססת-תאימות מכשיר – לא נתמכת כשמבצעים או מתזמנים פייפליינים של BigQuery עם פרטי כניסה של משתמש לחשבון Google, כי בקשות הטוקנים מגיעות מהתשתית של Google. כללי מדיניות של CAA חוסמים את ההרשאות האלה, אלא אם יש פטור ממדיניות למזהה לקוח OAuth של Dataform.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה ימנע הפעלות עתידיות של צינורות עיבוד שבבעלות חשבון Google הזה בכל האזורים.

שינוי הבעלים של תזמון צינור הנתונים על ידי עדכון פרטי הכניסה דורש גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר תזמון.

אם צינור הנתונים מכיל מחברת, צריך גם לתת באופן ידני הרשאה ל-Colab Enterprise לקבל את אסימון הגישה לחשבון Google שלכם ולגשת לנתוני המקור בשמכם. צריך לתת הרשאה רק פעם אחת. אפשר לבטל את ההרשאה הזו בדף של חשבון Google.

תזמון מבוסס-טריגר

תצוגה מקדימה

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לקבל תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות לכתובת [e-mail].

אפשר להגדיר צינורות נתונים של BigQuery כך שיפעילו אוטומטית ביצועים על סמך עדכונים בטבלאות ספציפיות ב-BigQuery. אתם יכולים ליצור תזמונים מבוססי-טריגר כדי לבצע אוטומציה של הפעלות צינורות בתגובה לשינויים בנתוני BigQuery, במקום לפי תזמון קבוע.

כשהצינור מזהה שינויים בטבלה או בטבלאות שצוינו, הוא מפעיל ביצוע חדש של תהליך העבודה המשויך. אפשר להגדיר תנאים שמבוססים על עדכונים בטבלה אחת, בכל הטבלאות בקבוצה או בכל אחת מהטבלאות בקבוצה.

אפשר גם לשנות את ההגדרות האופציונליות של התזמונים שמבוססים על טריגרים כדי לשלוט במרווח המינימלי בין טריגרים של צינורות. לדוגמה, אפשר לשנות את הערך של משך הביצוע המינימלי כדי לוודא שהפעלת לוחות זמנים מבוססי-טריגר לא תהיה תכופה יותר מהמתוכנן. אפשר גם לשנות את הערך של Max Wait Duration כדי לוודא שהתזמון שמבוסס על טריגר יופעל פעם אחת במהלך משך הזמן הזה, גם אם לא זוהו עדכונים בטבלה.

מגבלות

לוחות זמנים שמבוססים על טריגרים כפופים למגבלות הבאות:

• לוחות זמנים שמבוססים על טריגרים לא מתבצעים באופן מיידי. כשמגדירים לוח זמנים שמבוסס על טריגר, צינור הנתונים בודק את הסטטוס של הטבלה ב-BigQuery בערך כל 3 דקות. התקופה הזו נקראת מרווח הדגימה, והיא עלולה לגרום לעיכוב בין שינוי בטבלה לבין הפעלת הטריגר.
• כל טבלה שנמצאת במעקב מובילה לקריאות ל-API אל BigQuery במהלך כל מרווח דגימה. מעקב אחרי מספר גדול מאוד של טבלאות עלול לתרום לניצול המכסה של BigQuery API.

יצירת טריגר

כדי ליצור טריגר:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על Trigger (טריגר).

5. בשדה Trigger, מזינים שם לטריגר.

6. בקטע Authentication (אימות), מאשרים את הצינור באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הפעלה עם פרטי הכניסה של המשתמש).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

7. אם צינור הנתונים מכיל מחברת, בקטע Notebook options, בשדה Runtime template, בוחרים תבנית של זמן ריצה של מחברת Colaboratory או את מפרטי זמן הריצה שמוגדרים כברירת מחדל. פרטים על יצירת תבנית של זמן ריצה בנוטבוק של Colab זמינים במאמר יצירת תבנית של זמן ריצה.

   הערה: תבנית של זמן ריצה של נוטבוק צריכה להיות באותו אזור כמו הפייפליין.
   הערה: אם אין לכם את התפקיד הנדרש לשימוש בתבניות של זמן ריצה של נוטבוק של Colab, אתם עדיין יכולים להריץ ולתזמן פייפליינים עם מפרטי זמן הריצה שמוגדרים כברירת מחדל.

8. אם צינור העיבוד מכיל מחברת, בקטע Notebook options, בשדה Cloud Storage bucket, לוחצים על Browse ובוחרים או יוצרים קטגוריה ב-Cloud Storage לאחסון הפלט של המחברות בצינור העיבוד.

   לחשבון השירות שבחרתם צריך להיות מוקצה תפקיד אדמין של Storage ב-IAM בדלי שבחרתם. מידע נוסף זמין במאמר בנושא הפעלת תזמון של צינורות.

9. בקטע Configuration Type (סוג ההגדרה), בוחרים באפשרות Trigger (event-based execution) (טריגר (הפעלה מבוססת-אירועים)).

10. בשדה חיפוש טבלאות, מוסיפים טבלה או טבלאות למעקב אחרי הטריגר.

11. בקטע Trigger Condition (תנאי להפעלת הטריגר), בוחרים באחת מהאפשרויות הבאות:

    • המתנה לעדכון של כל הטבלאות: הפעלת תהליך העבודה רק אם כל הטבלאות שמופיעות ברשימה עודכנו מאז הבדיקה האחרונה.
    • הפעלה אם יש עדכונים בכל טבלה: הפעלת תהליך העבודה הזה אם יש עדכונים בכל אחת מהטבלאות שמופיעות ברשימה מאז הבדיקה האחרונה.

12. (אופציונלי) בשדה Max Wait Duration (משך ההמתנה המקסימלי), מזינים משך זמן כדי לאלץ את ההפעלה של טריגר אם לא מזוהים עדכונים בטבלה במהלך משך הזמן הזה. אפשר להזין ערכים בין שנייה אחת ל-7 ימים. אם לא מציינים ערך, תהליך העבודה יפעל רק אם הטבלה שבמעקב תעודכן, ומשך הביצוע המינימלי יתקיים.

13. (אופציונלי) במשך הביצוע המינימלי, בוחרים משך זמן כדי למנוע הפעלה של טריגרים בתדירות גבוהה יותר ממשך הזמן המינימלי הזה. הערכים הנתמכים הם בין 3 דקות ל-24 שעות. אם לא מציינים ערך, ברירת המחדל היא 3 דקות.

14. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות ביצוע עם פרטי הכניסה של המשתמש שלי כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

פתרון בעיות בלוחות זמנים שמבוססים על טריגרים

בקטע הזה מתוארות בעיות נפוצות שקשורות ללוחות זמנים שמבוססים על טריגרים, ומוסבר איך לפתור אותן.

בעיה: הטריגר לא מופעל

פתרון: מנסים לבצע אחת מהפעולות הבאות:

• מוודאים שלפרטי הכניסה של המשתמש או לחשבון השירות יש את כל ההרשאות הנדרשות.
• מוודאים שהטבלה שצוינה ב-BigQuery משתנה.
• בודקים שהטריגר לא מושפע ממרווח הזמן בין בדיקות.
• בודקים אם משך הביצוע המינימלי, או הערך של משך הביצוע המינימלי מונע הפעלות תכופות יותר. אפשר להקטין את הערך הזה כדי להגדיל את התדירות של הפעלת הטריגר.
• בודקים אם אפשרות התנאי של הטריגר (ALL או ANY) משפיעה על הפעלת הטריגר.
• בודקים את יומני הביקורת כדי לראות אם יש שגיאות כש-Dataform מנסה לקרוא ל-BigQuery API כדי לבדוק את הסטטוס של הטבלה שבמעקב.

בעיה: הטריגר מופעל לעיתים קרובות מדי

פתרון: משנים את משך הביצוע המינימלי או את הערך של משך הביצוע המינימלי. אפשר להגדיל את הערך הזה כדי להקטין את התדירות שבה מופעל הטריגר.

פריסת צינור עיבוד נתונים

כשפורסים צינור, לוח הזמנים שלו מתעדכן לגרסה הנוכחית של הצינור. התזמון מריץ את הגרסה האחרונה של צינור הנתונים שנפרסה.

כדי לפרוס צינור, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על פריסה.

לוח הזמנים המתאים מתעדכן עם הגרסה הנוכחית של צינור הנתונים. הגרסה האחרונה של צינור הנתונים שנפרסה תפעל בזמן המתוזמן.

השבתת לוח זמנים

כדי להשהות את ההרצות המתוזמנות של צינור נתונים נבחר בלי למחוק את התזמון, אפשר להשבית את התזמון.

כדי להשבית לוח זמנים עבור צינור שנבחר:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על הצגת לוח הזמנים.

5. בטבלה פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מופעל.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, לוחצים על השבתה.

הפעלת לוח זמנים

כדי להפעיל מחדש הפעלות מתוזמנות של צינור השמעה שהושבת:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על הצגת לוח הזמנים.

5. בטבלה פרטי התזמון, בשורה מצב התזמון, לוחצים על המתג התזמון מושבת.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, לוחצים על הפעלה.

הפעלה ידנית של צינור עיבוד נתונים שנפרס

כשמריצים ידנית צינור נתונים שנפרס בלוח זמנים נבחר, BigQuery מריץ את צינור הנתונים שנפרס פעם אחת, באופן עצמאי מלוח הזמנים.

כדי להפעיל ידנית צינור להעברת נתונים שפרסתם:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של תזמון הצינור שנבחר.

3. בדף פרטי התזמון, לוחצים על הפעלה.

הצגת כל לוחות הזמנים של צינורות העיבוד

כדי לראות את כל התזמונים של צינורות העיבוד בפרויקט Google Cloud , פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. אופציונלי: כדי להציג עמודות נוספות עם פרטים על לוח הזמנים של צינור הנתונים, לוחצים על Column display options (אפשרויות להצגת עמודות), בוחרים עמודות ולוחצים על OK (אישור).

הצגת פרטים על תזמון צינורות

כדי לראות את הפרטים של לוח זמנים שנבחר לצינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על הצגת לוח הזמנים.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של תזמון הצינור שנבחר.

הצגת ריצות מתוזמנות קודמות

כדי לראות הפעלות קודמות של לוח זמנים שנבחר של צינור:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על Executions (הרצות).

5. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, בקטע הפעלות קודמות, בודקים את ההפעלות הקודמות.

4. אופציונלי: כדי לרענן את רשימת ההרצות הקודמות, לוחצים על רענון.

עריכת לוח זמנים של פייפליין

כדי לערוך לוח זמנים של צינור, פועלים לפי השלבים הבאים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Pipelines ובוחרים צינור.

4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

5. בתיבת הדו-שיח תזמון צינור, עורכים את התזמון ולוחצים על עדכון התזמון.

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של צינור הנתונים שנבחר.

3. בדף פרטי התזמון, לוחצים על עריכה.

4. לוחצים על הצגת לוח הזמנים ואז על עריכה.

5. בתיבת הדו-שיח תזמון צינור, עורכים את התזמון ולוחצים על עדכון התזמון.

מחיקת לוח זמנים של צינור

כדי למחוק סופית לוח זמנים של צינור:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. בצע אחת מהפעולות הבאות:

   • לוחצים על השם של תזמון צינור הנתונים שנבחר, ואז בדף פרטי התזמון לוחצים על מחיקה.

   • בשורה שמכילה את לוח הזמנים של צינור הנתונים שנבחר, לוחצים על הצגת פעולות בעמודה פעולות ואז על מחיקה.

3. בתיבת הדו-שיח שמופיעה, לוחצים על מחיקה.

המאמרים הבאים

• מידע נוסף על צינורות ב-BigQuery
• איך יוצרים צינורות