הפעלת ריצות באופן ידני

במאמר הזה נסביר איך להפעיל באופן ידני את כל תהליך העבודה או רק אלמנטים נבחרים בתהליך העבודה.

אפשר להפעיל ריצה של הרכיבים הבאים בתהליך העבודה:

• כל הפעולות בתהליך העבודה
• הפעולות שנבחרו
• פעולות עם תגים נבחרים

לפני שמתחילים

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר לדף Dataform

2. בוחרים מאגר או יוצרים מאגר.

3. בוחרים או יוצרים סביבת עבודה לפיתוח.

4. פיתוח תהליך העבודה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להפעלת ריצה באופן ידני, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• ‫Dataform Editor (roles/dataform.editor) במאגר Dataform
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הפעלה ידנית של כל הפעולות בתהליך העבודה

כדי להפעיל ידנית את כל הפעולות בתהליך העבודה, פועלים לפי השלבים הבאים:

1. עוברים לסביבת עבודה לפיתוח.
2. לוחצים על התחלת ההרצה.
3. לוחצים על פעולות > פעולות גורפות.

4. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with user credentials (הרצה עם פרטי כניסה של משתמש).

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט. ההרשאה הזו זמינה בתפקיד View Service Accounts (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, אתם יכולים לבחור את חשבון השירות על ידי לחיצה על Enter manually והזנת המזהה של חשבון השירות.

5. בוחרים באפשרות כל הפעולות.

6. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי לבנות אותן מחדש מאפס.

7. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כמשימה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות שאילתה אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם מבטלים את הסימון של האפשרות הזו, השאילתות מורצות כמשימות שאילתה באצווה, שהעדיפות שלהן נמוכה יותר.

8. לוחצים על התחלת ההרצה. אם בחרתם בשיטת האימות Execute with user credentials (ביצוע עם פרטי כניסה של משתמש), אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

הפעלה ידנית של פעולות נבחרות

כדי להפעיל באופן ידני הרצה של פעולות נבחרות, פועלים לפי השלבים הבאים:

1. עוברים לסביבת הפיתוח.

2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על פעולות ובוחרים את הפעולה שרוצים להפעיל.
   • לוחצים על פעולות > פעולות גורפות.

3. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with user credentials (הרצה עם פרטי כניסה של משתמש).

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט. ההרשאה הזו זמינה בתפקיד View Service Accounts (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, אתם יכולים לבחור את חשבון השירות על ידי לחיצה על Enter manually והזנת המזהה של חשבון השירות.

4. מוודאים שהאפשרות בחירת פעולות נבחרה.

5. בתפריט Select actions to execute, בוחרים את הפעולות שרוצים להפעיל.

6. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת התלויות שלהן, בוחרים באפשרות Include dependencies (הכללת תלויות).

7. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת הפעולות שתלויות בהן, בוחרים באפשרות כולל פעולות שתלויות בהן.

8. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא.

9. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כמשימה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות שאילתה אינטראקטיביות, שמיועדות להתחיל לפעול כמה שיותר מהר. אם מבטלים את הסימון של האפשרות הזו, השאילתות מורצות כמשימות שאילתה באצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על התחלת ההרצה. אם בחרתם באפשרות Execute with my user credentials (ביצוע עם פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

הפעלת פעולות באופן ידני עם תגים נבחרים

כדי להפעיל ידנית הרצה של פעולות עם תגים נבחרים, פועלים לפי השלבים הבאים:

1. עוברים לסביבת הפיתוח.

2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על Tags (תגים) ובוחרים את התג שרוצים להפעיל.
   • לוחצים על תגים > תגים מרובים.

3. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google (תצוגה מקדימה), בוחרים באפשרות Execute with user credentials (הרצה עם פרטי כניסה של משתמש).

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט. ההרשאה הזו זמינה בתפקיד View Service Accounts (הצגת חשבונות שירות) (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, תוכלו לבחור את חשבון השירות על ידי לחיצה על Enter manually (הזנה ידנית) והזנת המזהה של חשבון השירות.

4. מוודאים שהאפשרות בחירת תגים מסומנת.

5. בתפריט Select tags to execute (בחירת תגים להפעלה), בוחרים את התגים שרוצים להפעיל.

6. אופציונלי: כדי להריץ את הפעולות עם התגים שנבחרו והתלויות שלהם, בוחרים באפשרות Include dependencies (כולל תלויות).

7. אופציונלי: כדי להריץ את הפעולות עם התגים שנבחרו והפעולות שתלויות בהם, בוחרים באפשרות Include dependents (כולל תלויות).

8. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי לבנות אותן מחדש מאפס.

9. אופציונלי: מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית. אם מבטלים את הסימון של האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על התחלת ההרצה. אם בחרתם באפשרות Execute with my user credentials (ביצוע עם פרטי הכניסה של המשתמש) כשיטת האימות, אתם צריכים לתת הרשאה לחשבון Google (תצוגה מקדימה).

איך נותנים הרשאה לחשבון Google

תצוגה מקדימה

השימוש במוצר או בתכונה כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, בחלק "תנאים כלליים לשירות" של התנאים הספציפיים לשירות. השימוש בתכונות ובמוצרים בגרסת טרום-GA הוא "כפי שהם" (As is), ויכול להיות שהתמיכה בהם תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

הערה: כדי לבקש תמיכה או לשלוח משוב על התכונה הזו, אפשר לפנות אל [e-mail].

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth.

הערה: מדיניות של בקרת גישה מבוססת-הקשר (CAA) – כולל מדיניות מבוססת-IP, מבוססת-מיקום גיאוגרפי ומבוססת-תאימות מכשיר – לא נתמכת כשמבצעים או מתזמנים פייפליינים של BigQuery עם פרטי כניסה של משתמשים לחשבון Google, כי בקשות האסימונים מגיעות ממקור Google. מדיניות CAA חוסמת את הביצועים האלה אלא אם מזהה לקוח OAuth של Dataform פטור מהמדיניות.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה ימנע הפעלות עתידיות של צינורות עיבוד שבבעלות חשבון Google הזה בכל האזורים.

המאמרים הבאים

• מידע נוסף על הפעלת טבלאות מצטברות ב-Dataform ועל הגדרת טבלה מצטברת זמין במאמר הגדרת טבלה מצטברת.
• במאמר מעקב אחרי יומני ביצוע מוסבר איך לצפות ביומני ביצוע.
• במאמר תזמון הרצות באמצעות Workflows ו-Cloud Scheduler מוסבר איך לתזמן הרצות באמצעות Workflows ו-Cloud Scheduler.
• במאמר תזמון הרצות באמצעות Managed Service for Apache Airflow מוסבר איך לתזמן הרצות באמצעות Managed Service for Apache Airflow.