תזמון של תהליכים להכנת נתונים

במאמר הזה מוסבר איך לתזמן צינורות להכנת נתונים ואיך להפעיל אותם באופן ידני.

הכנת הנתונים מבוססת על Dataform. כל תזמון של הכנת נתונים מופעל באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות בהתאמה אישית שבוחרים כשמגדירים את התזמון או את הרצת הבדיקה.

השינויים שאתם מבצעים בשלבים של הכנת הנתונים לא נשמרים אוטומטית. צריך לשמור את השינויים ולפרוס אותם כדי שהם יבוצעו לפי לוח זמנים. התזמון תמיד מפעיל את הגרסה האחרונה של הכנת הנתונים שהופעלה, ולא כולל שינויים שלא הופעלו שאתם עשויים לפתח.

לפני שמתחילים

לפני שמתחילים, צריך ליצור הכנת נתונים.

התפקידים הנדרשים

כדי לתת הרשאה להכנת נתונים באמצעות חשבון שירות כשמריצים את הכנת הנתונים באופן ידני בפיתוח או כשמתזמנים את הכנת הנתונים, צריך להקצות תפקידים לחשבון השירות שבו מתכננים להשתמש להרצת תהליכי הכנת הנתונים. מידע נוסף מופיע במאמר בנושא מתן גישה לחשבון השירות של Dataform.

לפני שמגדירים הכנות של נתונים באמצעות חשבון שירות בהתאמה אישית, צריך לבצע את הפעולות הבאות:

• צריך לבקש מהאדמין להקצות לכם את התפקיד 'משתמש בחשבון שירות' (roles/iam.serviceAccountUser) בחשבון השירות בהתאמה אישית.
• מקצים את התפקיד 'משתמש בחשבון השירות' (roles/iam.serviceAccountUser) ואת התפקיד 'יצירת אסימונים בחשבון שירות' (roles/iam.serviceAccountTokenCreator) לסוכן השירות שמוגדר כברירת מחדל ב-Dataform בחשבון השירות המותאם אישית.

כדי לשפר את האבטחה של קביעת פגישות, אפשר לקרוא על הטמעה של הרשאות משופרות לקביעת פגישות.

פיתוח תהליך להכנת הנתונים

במהלך פיתוח של הכנת נתונים, אתם יכולים להריץ את השלבים באופן ידני ולבדוק את הפלט לפני שאתם פורסים את השינויים בסביבת הייצור. אתם יכולים לבדוק את הגרסה הנוכחית שאתם מפתחים על הנתונים שלכם, בזמן ש-BigQuery ממשיך להריץ את הגרסה האחרונה שהופעלה, בהתאם ללוח זמנים. לפני שמריצים את ההעברה, צריך להגדיר את היעד ולתקן את כל שגיאות האימות.

הפעלה ידנית של תהליך להכנת הנתונים בסביבת פיתוח

כדי לבדוק את השלבים של הכנת הנתונים ולאמת את התוצאות בטבלת היעד, מריצים את הכנת הנתונים באופן ידני מעורך הכנת הנתונים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Data preparations.

4. לוחצים על השם של הכנת הנתונים שרוצים להפעיל.

5. בסרגל הכלים של עורך הכנת הנתונים, לוחצים על סמל האפשרויות הנוספות > הגדרת חוויית ההפעלה עכשיו.

6. בקטע אימות, מאשרים את הכנת הנתונים באמצעות פרטי הכניסה של המשתמש בחשבון Google או באמצעות חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי). זו האפשרות שמוגדרת כברירת המחדל.
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות. אם לחשבון השירות נדרשות הרשאות נוספות, מקצים לו את התפקידים הנדרשים על ידי לחיצה על הקצאת הכל.

7. לוחצים על Save.

8. מתקנים את שגיאות האימות שמופיעות.

9. בסרגל הכלים של הכלי לעריכת הכנת נתונים, לוחצים על הפעלה.

10. בתיבת הדו-שיח Run now (הפעלה עכשיו), לוחצים על Confirm (אישור) כדי לאשר שהפעלה ידנית כזו כותבת נתונים לטבלת יעד, שאולי משמשת גם להפעלות מתוזמנות.

    אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

    לאחר מכן, ההרצה מבצעת את השלבים ומעלה את הפלט ליעד.

11. אופציונלי: אחרי שההרצה מסתיימת, אפשר לראות את הפרטים על ההרצה בחלונית Executions (הרצות).

פריסת תהליך להכנת הנתונים

כדי לתזמן הרצות של גרסה של הכנת הנתונים, צריך קודם לפרוס אותה. לוחות הזמנים מריצים את הגרסה האחרונה שהופעלה.

כדי לפרוס הכנת נתונים, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Data preparations.

4. לוחצים על השם של הכנת הנתונים שנבחרה.

   ייפתח הכלי לעריכת הכנת הנתונים.

5. בסרגל הכלים של הכלי להכנת נתונים, לוחצים על פריסה.

יצירת לוח זמנים

כדי ליצור תזמון להפעלת השלבים של הכנת הנתונים שפרסתם ולטעינת הנתונים המוכנים לטבלה ביעד, צריך קודם לתזמן הפעלה של הכנת הנתונים. כדי לתזמן את ההרצה, צריך להגדיר את היעד ולתקן את כל שגיאות האימות.

כדי ליצור לוח זמנים להכנת נתונים:

החלונית Explorer

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Data preparations.

4. לוחצים על השם של הכנת הנתונים שרוצים לתזמן.

5. בסרגל הכלים של הכלי לעריכת הכנת נתונים, לוחצים על תזמון.

6. מזינים שם ללוח הזמנים.

7. בקטע אימות, מאשרים את הכנת הנתונים באמצעות פרטי הכניסה של המשתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

8. מתזמנים תדירות.

9. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

הדף תזמון

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על יצירה ובוחרים באפשרות תזמון הכנת נתונים מהתפריט.

3. בחלונית תזמון הכנת נתונים, בשדה הכנת נתונים, בוחרים את הכנת הנתונים שרוצים לתזמן.

4. בשדה שם לוח הזמנים, מזינים שם ללוח הזמנים.

5. בקטע אימות, מאשרים את הכנת הנתונים באמצעות פרטי הכניסה של המשתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with my user credentials (הרצה עם פרטי הכניסה של המשתמש שלי).
   • כדי להשתמש בחשבון שירות, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות.

6. בקטע Schedule frequency:

   1. בתפריט חזרה, בוחרים את התדירות של הרצות הכנת הנתונים.
   2. בשדה At time (בשעה), מזינים את השעה שבה יופעלו התהליכים המתוזמנים של הכנת הנתונים.
   3. בתפריט אזור זמן, בוחרים את אזור הזמן של התזמון.

7. לוחצים על יצירת לוח זמנים. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

איך נותנים הרשאה לחשבון Google

גרסת טרום-השקה

השימוש במוצר הזה או בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. אתם יכולים לקרוא מידע נוסף בקטע תיאור שלבי ההשקה.

הערה: כדי לבקש תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות אל [e-mail].

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק הרשאה באופן ידני לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה ימנע הפעלות עתידיות של צינורות עיבוד שבבעלות חשבון Google הזה בכל האזורים.

כדי לשנות את הבעלים של לוח הזמנים להכנת הנתונים על ידי עדכון פרטי הכניסה, צריך גם אישור ידני אם הבעלים החדש של חשבון Google מעולם לא יצר לוח זמנים.

הפעלה ידנית של תהליך מתוזמן להכנת נתונים

כשמריצים ידנית הכנת נתונים בלוח זמנים נבחר, BigQuery מבצע את הכנת הנתונים פעם אחת, ללא קשר ללוח הזמנים.

כדי להפעיל ידנית הכנת נתונים מתוזמנת, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של לוח הזמנים שנבחר להכנת הנתונים.

3. בדף פרטי התזמון, לוחצים על הפעלה.

תצוגת לוחות זמנים

אפשר לראות את לוחות הזמנים של הכנת הנתונים בכלי לעריכת הכנת נתונים או בדף תזמון.

עורך להכנת נתונים

כדי לראות את לוח הזמנים של הכנת הנתונים, פועלים לפי השלבים הבאים:

1. בסרגל הכלים של העורך להכנת נתונים, לוחצים על תזמון הצגת התזמון.
2. אופציונלי: כדי לראות את היסטוריית התזמון, לוחצים על הצגת ההרצות הקודמות.

הדף תזמון

כדי לראות את כל התזמונים של הכנת הנתונים בפרויקט:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. אופציונלי: כדי לראות את היסטוריית ההרצה ואת הפרטים של תזמון נבחר, לוחצים על שם התזמון. היסטוריית ההרצות הידניות לא מוצגת.

עריכת לוח זמנים

אפשר לערוך תזמון דרך הכלי לעריכת הכנת נתונים או דרך הדף תזמון.

עורך להכנת נתונים

כדי לערוך לוח זמנים:

1. בסרגל הכלים של העורך להכנת נתונים, לוחצים על תזמון הצגת התזמון.
2. בתיבת הדו-שיח תזמון הכנת הנתונים, לוחצים על עריכה ומעדכנים את התזמון.
3. לוחצים על עדכון לוח הזמנים.

הדף תזמון

כדי לערוך לוח זמנים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. לוחצים על השם של לוח הזמנים שנבחר להכנת הנתונים.

3. בדף פרטי התזמון, לוחצים על עריכה.

4. לוחצים על הצגת לוח הזמנים.

5. בתיבת הדו-שיח תזמון הכנת הנתונים, לוחצים על עריכה ומעדכנים את התזמון.

6. לוחצים על עדכון לוח הזמנים.

מחיקת לוח זמנים

כדי למחוק באופן סופי תזמון של הכנת נתונים שנבחרה, פועלים לפי השלבים הבאים:

1. נכנסים לדף Scheduling במסוף Google Cloud .

   מעבר ל'תזמון'

2. בשורה שמכילה את התזמון, לוחצים על more_vert פעולות > מחיקה.

המאמרים הבאים

• איך יוצרים הכנות נתונים
• מידע נוסף על ניהול הכנת נתונים