הפעלת ריצות באופן ידני

במאמר הזה מוסבר איך להפעיל באופן ידני את כל תהליך העבודה או רק אלמנטים נבחרים בתהליך העבודה.

אפשר להפעיל ריצה של הרכיבים הבאים בתהליך העבודה:

• כל הפעולות בתהליך העבודה
• הפעולות שנבחרו
• פעולות עם תגים נבחרים

לפני שמתחילים

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר לדף Dataform

2. בוחרים מאגר או יוצרים מאגר.

3. בוחרים או יוצרים סביבת עבודה לפיתוח.

4. פיתוח תהליך העבודה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להפעלת ריצה באופן ידני, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• ‫Dataform Editor (roles/dataform.editor) במאגר Dataform
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

הפעלה ידנית של כל הפעולות בתהליך העבודה

כדי להפעיל ידנית את כל הפעולות בתהליך העבודה, פועלים לפי השלבים הבאים:

1. עוברים לסביבת עבודה לפיתוח.
2. לוחצים על התחלת ההפעלה.
3. לוחצים על פעולות > פעולות גורפות.

4. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials (הפעלה עם פרטי כניסה של משתמש).

     אופציונלי: בקטע Extended access options (אפשרויות גישה מורחבת), בוחרים את היקפי ההרשאות הנוספים שנדרשים לתהליך העבודה:

     • Knowledge Catalog: מאפשרת Google Cloud עדכוני מטא-נתונים של Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקבצים ב-Google Drive לקריאה בלבד.
     • ‫Bigtable: מאפשר גישה לקריאה בלבד לנתונים של Google Bigtable.

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט. ההרשאה הזו זמינה בתפקיד View Service Accounts (הצגת חשבונות שירות) (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, תוכלו לבחור את חשבון השירות על ידי לחיצה על Enter manually (הזנה ידנית) והזנת המזהה של חשבון השירות.

5. בוחרים באפשרות כל הפעולות.

6. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי לבנות אותן מחדש מאפס.

7. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כמשימה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית. אם לא מסמנים את האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

8. לוחצים על התחלת ההפעלה. אם בחרתם בשיטת האימות Execute with user credentials (ביצוע באמצעות פרטי כניסה של משתמש), אתם צריכים לתת הרשאה לחשבון Google.

הפעלה ידנית של פעולות נבחרות

כדי להפעיל באופן ידני הרצה של פעולות נבחרות:

1. עוברים לסביבת העבודה לפיתוח.

2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על פעולות ובוחרים את הפעולה שרוצים להפעיל.
   • לוחצים על פעולות > פעולות גורפות.

3. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials (הפעלה עם פרטי כניסה של משתמש).

     אופציונלי: בקטע Extended access options (אפשרויות גישה מורחבת), בוחרים את השירותים הנוספים שנדרשים בתהליך העבודה:

     • Knowledge Catalog: מאפשרת Google Cloud עדכוני מטא-נתונים של Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקבצים ב-Google Drive לקריאה בלבד.
     • ‫Bigtable: מאפשר גישה לקריאה בלבד לנתונים של Google Bigtable.

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט. ההרשאה הזו זמינה בתפקיד View Service Accounts (הצגת חשבונות שירות) (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, תוכלו לבחור את חשבון השירות על ידי לחיצה על Enter manually (הזנה ידנית) והזנת המזהה של חשבון השירות.

4. מוודאים שהאפשרות בחירת פעולות מסומנת.

5. בתפריט בחירת פעולות לביצוע, בוחרים את הפעולות שרוצים להפעיל.

6. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת התלויות שלהן, בוחרים באפשרות Include dependencies (הכללת תלויות).

7. אופציונלי: כדי להריץ את הפעולות שנבחרו ואת הפעולות שתלויות בהן, בוחרים באפשרות כולל פעולות שתלויות בהן.

8. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא.

9. אופציונלי: מגדירים את העדיפות של משימת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כמשימה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית. אם לא מסמנים את האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש שלי) כשיטת האימות, תצטרכו לתת הרשאה לחשבון Google.

הפעלת פעולות באופן ידני עם תגים נבחרים

כדי להפעיל באופן ידני ריצה של פעולות עם תגים נבחרים:

1. עוברים לסביבת העבודה לפיתוח.

2. לוחצים על התחלת ההפעלה ואז מבצעים אחת מהפעולות הבאות:

   • לוחצים על תגים ובוחרים את התג שרוצים להפעיל.
   • לוחצים על תגים > תגים מרובים.

3. בקטע אימות, מאשרים את ההפעלה באמצעות פרטי הכניסה של משתמש בחשבון Google או חשבון שירות.

   • כדי להשתמש בפרטי הכניסה של המשתמש בחשבון Google, בוחרים באפשרות Execute with user credentials (הפעלה עם פרטי כניסה של משתמש).

     אופציונלי: בקטע Extended access options (אפשרויות גישה מורחבת), בוחרים את השירותים הנוספים שנדרשים בתהליך העבודה:

     • Knowledge Catalog: מאפשרת Google Cloud עדכוני מטא-נתונים של Knowledge Catalog.
     • ‫Google Drive: מאפשר גישה לקבצים ב-Google Drive לקריאה בלבד.
     • ‫Bigtable: מאפשר גישה לקריאה בלבד לנתונים של Google Bigtable.

   • כדי להשתמש בחשבון שירות בהתאמה אישית, בוחרים באפשרות Execute with selected service account ואז בוחרים חשבון שירות בהתאמה אישית.

     הערה: כדי לראות את חשבונות השירות בתפריט, צריכה להיות לכם ההרשאה iam.serviceAccounts.list ברמת הפרויקט. ההרשאה הזו זמינה בתפקיד View Service Accounts (הצגת חשבונות שירות) (roles/iam.serviceAccountViewer). אם אין לכם את ההרשאה הזו, תוכלו לבחור את חשבון השירות על ידי לחיצה על Enter manually (הזנה ידנית) והזנת המזהה של חשבון השירות.

4. מוודאים שהאפשרות בחירת תגים מסומנת.

5. בתפריט Select tags to execute (בחירת תגים להפעלה), בוחרים את התגים שרוצים להפעיל.

6. אופציונלי: כדי להריץ את הפעולות עם התגים שנבחרו והתלות שלהם, בוחרים באפשרות Include dependencies (כולל תלויות).

7. אופציונלי: כדי להפעיל את הפעולות עם התגים שנבחרו ועם הפעולות שתלויות בהם, בוחרים באפשרות Include dependents (כולל תלויות).

8. אופציונלי: כדי לבנות מחדש את כל הטבלאות מאפס, בוחרים באפשרות הפעלה עם רענון מלא. בלי האפשרות הזו, Dataform מעדכן טבלאות מצטברות בלי לבנות אותן מחדש מאפס.

9. אופציונלי: מגדירים את העדיפות של עבודת השאילתה ב-BigQuery באמצעות האפשרות Execute as interactive job with high priority (default) (הפעלה כעבודה אינטראקטיבית עם עדיפות גבוהה (ברירת מחדל)). כברירת מחדל, BigQuery מריץ שאילתות כמשימות של שאילתות אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית. אם לא מסמנים את האפשרות הזו, השאילתות מופעלות כעבודות של שאילתות באצווה, שהעדיפות שלהן נמוכה יותר.

10. לוחצים על התחלת ההפעלה. אם בחרתם באפשרות Execute with my user credentials (ביצוע באמצעות פרטי הכניסה של המשתמש שלי) כשיטת האימות, תצטרכו לתת הרשאה לחשבון Google.

אישור חשבון Google

כדי לאמת את המשאב באמצעות פרטי הכניסה של המשתמש בחשבון Google, צריך להעניק באופן ידני הרשאה לצינורות של BigQuery לקבל את טוקן הגישה לחשבון Google ולגשת לנתוני המקור בשמכם. אתם יכולים לתת אישור ידני באמצעות ממשק תיבת הדו-שיח של OAuth. אם בוחרים באחת מאפשרויות הגישה המורחבת, צריך להעניק גישה לשירותים האלה – למשל, Google Drive או Knowledge Catalog.

הערה: כללי מדיניות לבקרת גישה מבוססת-הקשר (CAA) – כולל כללי מדיניות מבוססי-IP, מבוססי-מיקום גיאוגרפי וכללי מדיניות בנושא תאימות מכשירים – לא נתמכים כשמבצעים או מתזמנים צינורות של BigQuery עם פרטי כניסה של משתמשים לחשבון Google, כי בקשות הטוקנים מגיעות מתשתית Google. כללי מדיניות של CAA חוסמים את ההרשאות האלה, אלא אם יש פטור ממדיניות למזהה לקוח OAuth של Dataform.

צריך לתת הרשאה לצינורות של BigQuery רק פעם אחת.

כדי לבטל את ההרשאה שנתתם:

1. עוברים אל הדף של החשבון ב-Google.
2. לוחצים על BigQuery Pipelines.
3. לוחצים על הסרת הגישה.

אזהרה: ביטול הרשאות הגישה ימנע הפעלות עתידיות של צינורות עיבוד שבבעלות חשבון Google הזה בכל האזורים.

המאמרים הבאים

• מידע על האופן שבו Dataform מפעיל טבלאות מצטברות ועל אופן ההגדרה של טבלה מצטברת זמין במאמר הגדרת טבלה מצטברת.
• במאמר מעקב אחרי יומני ביצוע מוסבר איך לצפות ביומני ביצוע.
• במאמר תזמון הפעלות באמצעות Workflows ו-Cloud Scheduler מוסבר איך לתזמן הפעלות באמצעות Workflows ו-Cloud Scheduler.
• במאמר תזמון הרצות באמצעות Managed Service for Apache Airflow מוסבר איך לתזמן הרצות באמצעות Managed Service for Apache Airflow.