תזמון הפעלות של ייצור

תזמון הפעלות של ייצור

במדריך למתחילים הזה מוסבר איך לתזמן הרצות של פרויקטים ב-Dataform:

• יצירת מאגר Dataform.
• הקצאת התפקידים הנדרשים.

• יוצרים הגדרת הפצה והגדרת תהליך עבודה.

  יוצרים production הגדרת גרסה ומגדירים את התדירות של יצירת production תוצאות קומפילציה. לאחר מכן, יוצרים productionהגדרת תהליך עבודה, בוחרים את productionהגדרת הגרסה ומגדירים תזמון להרצת productionתוצאות הקומפילציה.

• איך רואים תוצאות קודמות של קומפילציה

• צפייה בהרצות קודמות

• ניקוי הנכסים שנוצרו.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the BigQuery and Dataform APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

בנוסף, בוחרים או יוצרים חשבון שירות בהתאמה אישית כדי להריץ תהליכי עבודה ב-BigQuery.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע כל המשימות במדריך למתחילים הזה, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• אדמין של Dataform (roles/dataform.admin) במאגר
• משתמש בחשבון שירות (roles/iam.serviceAccountUser) בחשבון השירות המותאם אישית
• אדמין IAM של פרויקט (roles/resourcemanager.projectIamAdmin) בפרויקט

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מתן התפקידים הנדרשים

כדי להריץ תהליכי עבודה ב-BigQuery, אפשר להשתמש בחשבון שירות מותאם אישית או בחשבון Google שלכם (גרסת Preview). עם זאת, פרטי כניסה מותאמים אישית לחשבון שירות הם אפשרות ברירת המחדל להפעלות מתוזמנות. לא מומלץ להשתמש בפרטי כניסה של חשבון משתמש בחשבון Google להפעלות מתוזמנות.

לחשבון השירות בהתאמה אישית צריכים להיות התפקידים הנדרשים הבאים:

• עריכה של נתוני BigQuery (roles/bigquery.dataEditor) בפרויקטים או במערכי נתונים ספציפיים של BigQuery ש-Dataform צריכה גישת קריאה וכתיבה אליהם. בדרך כלל זה כולל את הפרויקט שמארח את מאגר Dataform.
• BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקטים או במערכי נתונים ספציפיים ב-BigQuery ש-Dataform צריכה גישה לקריאה בלבד אליהם.
• BigQuery Job User (roles/bigquery.jobUser) בפרויקט שמארח את מאגר Dataform.

כדי לאפשר ל-Dataform להשתמש בחשבון השירות בהתאמה אישית, לסוכן השירות שמוגדר כברירת מחדל ב-Dataform צריכים להיות התפקידים הבאים במשאב של חשבון השירות בהתאמה אישית:

• יצירת אסימונים בחשבון שירות (roles/iam.serviceAccountTokenCreator)
• משתמש בחשבון שירות (roles/iam.serviceAccountUser)

כדי להקצות את התפקידים האלה:

1. נכנסים לדף IAM במסוף Google Cloud .

   כניסה לדף IAM

2. לוחצים על הענקת גישה.

3. בשדה New principals, מזינים את המזהה של חשבון השירות המותאם אישית.

4. בתפריט Select a role (בחירת תפקיד), בוחרים את התפקידים הבאים אחד אחרי השני. כדי להוסיף עוד תפקידים, לוחצים על Add another role (הוספת תפקיד נוסף):

   • עריכה של נתוני BigQuery
   • BigQuery Data Viewer (צפייה בנתוני BigQuery)
   • BigQuery Job User

5. לוחצים על Save.

6. נכנסים לדף Service accounts במסוף Google Cloud .

   כניסה לדף Service accounts

7. בוחרים את חשבון השירות המותאם אישית.

8. עוברים אל Principals with access ולוחצים על Grant access.

9. בשדה New principals, מזינים את מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform.

   מזהה סוכן השירות שמוגדר כברירת מחדל ב-Dataform הוא בפורמט הבא:

   [e-mail]
   

   מחליפים את PROJECT_NUMBER במזהה המספרי שלGoogle Cloud הפרויקט. אפשר לראות את Google Cloud מזהה הפרויקט בלוח הבקרה של המסוף.Google Cloud מידע נוסף זמין במאמר איך מוצאים את השם, המספר והמזהה של הפרויקט.

10. ברשימה Select a role, מוסיפים את התפקידים הבאים:

    • משתמש בחשבון שירות
    • יצירת אסימונים בחשבון שירות

11. לוחצים על Save.

מידע נוסף על הקצאת תפקידים זמין במאמר הקצאת הגישה הנדרשת ל-Dataform.

יצירת מאגר Dataform

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לוחצים על Create repository (יצירת מאגר).

3. בדף Create repository, מבצעים את הפעולות הבאות:

   1. בשדה Repository ID (מזהה המאגר), מזינים quickstart-production.

   2. ברשימה Region בוחרים באזור europe-west4.

   3. ברשימה Service account, בוחרים חשבון שירות בהתאמה אישית עבור המאגר.

   4. בקטע actAs permission checks (בדיקות הרשאות actAs), אוכפים את בדיקות ההרשאות על פעולות משתמש במאגר.

   5. לוחצים על יצירה.

4. לוחצים על מעבר למאגרי מידע.

יצירת הגדרת גרסה והגדרת תהליך עבודה

כדי ליצור תוצאות של קומפילציה של הייצור של מאגר quickstart-production ולתזמן הרצה של טבלאות production, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לחץ על quickstart-production.

3. לוחצים על הפצות ותזמון ואז על יצירת גרסה לסביבת ייצור.

4. בחלונית Create release configuration, קובעים את ההגדרות הבאות:

   1. בשדה Release ID (מזהה פריט תוכן), מזינים את הערך production.
   2. בשדה Git commitish, משאירים את ערך ברירת המחדל main.
   3. בקטע תדירות התזמון, בתפריט חזרה, בוחרים באפשרות מותאם אישית.
   4. בשדה Custom schedule (לוח זמנים מותאם אישית), מזינים 0 16 * * *.

   5. בתפריט Timezone, בוחרים אזור זמן UTC+1, לדוגמה, Central European Standard Time (CET).

      בכל יום בשעה 16:00 לפי UTC+1, ‏ Dataform מהדר את מאגר quickstart-production ומחיל את הגדרות ההידור שהוגדרו בהגדרות הגרסה הזו כדי ליצור production תוצאות הידור.

5. לוחצים על יצירה.

   הגדרת ההפצה production יוצרת תוצאת קומפילציה של מאגר quickstart-production שלם בכל יום בשעה 16:00 לפי שעון UTC+1.

6. מוודאים שאתם בכרטיסייה הפצות ותזמון. עוברים לקטע הגדרות של תהליכי עבודה ולוחצים על יצירה.

7. בחלונית Create workflow configuration (יצירת הגדרות של תהליך עבודה), קובעים את ההגדרות הבאות:

   1. בשדה Configuration ID (מזהה ההגדרה), מזינים את הערך production.
   2. בתפריט Release configuration (הגדרות הפצה), בוחרים באפשרות production.
   3. בקטע תדירות התזמון, בתפריט חזרה, בוחרים באפשרות מותאם אישית.
   4. בשדה Custom schedule (לוח זמנים מותאם אישית), מזינים 0 17 * * *.

   5. בתפריט Timezone, בוחרים אזור זמן UTC+1, לדוגמה, Central European Standard Time (CET).

      בכל יום בשעה 17:00 UTC+1, ‏ Dataform מפעיל את productionתוצאת ההידור האחרונה של מאגר quickstart-production.

      חשוב: כדי לוודא ש-Dataform יפעיל את תוצאת הקומפילציה העדכנית ביותר בהגדרת הגרסה המתאימה, צריך להקפיד על הפסקה של שעה לפחות בין זמן יצירת תוצאת הקומפילציה לבין זמן ההפעלה המתוזמן.

   6. לוחצים על כל הפעולות.

      ‫Dataform מריץ את כל הפעולות של תהליך העבודה בproduction תוצאת ההידור.

8. לוחצים על יצירה.

   הגדרת תהליך העבודה production מריצה את התוצאה המלאה של הקומפילציה האחרונה שנוצרה על ידי הגדרת גרסת הייצור, כל יום בשעה 17:00 UTC+1.

צפייה בתוצאות קודמות של אוספים של production

כדי לראות תוצאות קודמות של הידור production שנקבעו מראש:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. בוחרים את מאגר quickstart-production.

3. לוחצים על הפצות ותזמון.

4. בקטע הגדרות השקה, לוחצים על production.

הצגת הפעלות קודמות של זרימת עבודה production

כדי לראות הפעלות קודמות של production זרימת עבודה, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. בוחרים את מאגר quickstart-production.

3. לוחצים על Workflow Execution Logs (יומני ביצוע של תהליכי עבודה).

4. בוחרים בהרצת תהליך עבודה כדי לראות מידע מפורט יותר, כולל הסטטוס של כל פעולה וכל היומנים.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

מחיקת מערך הנתונים שנוצר ב-BigQuery

כדי להימנע מחיובים על נכסי BigQuery, צריך לבצע את השלבים הבאים כדי למחוק את מערך הנתונים שנקרא dataform_production:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer מרחיבים את הפרויקט ובוחרים באפשרות dataform_production.

3. לוחצים על התפריט פעולות ואז על מחיקה.

4. בתיבת הדו-שיח Delete dataset (מחיקת מערך נתונים), מזינים delete ולוחצים על Delete (מחיקה).

מחיקת ההגדרה של מהדורת Dataform

אין עלויות שקשורות ליצירת הגדרות של גרסאות Dataform. עם זאת, אם רוצים למחוק את הגדרת הפצת productionהתוכן, פועלים לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לחץ על quickstart-production.

3. לוחצים על Releases & scheduling (פרסום ותזמון) ועוברים לקטע Release configurations (הגדרות פרסום).

4. לצד הגדרת הגרסה production, לוחצים על תפריט האפשרויות הנוספות ואז על מחיקה.

5. בתיבת הדו-שיח מחיקת הגדרת הפצה, לוחצים על מחיקה.

מחיקת ההגדרה של תהליך העבודה ב-Dataform

כדי להימנע מחיובים על נכסי BigQuery, צריך לבצע את השלבים הבאים כדי למחוק את הגדרת זרימת העבודה של Dataform production:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. לחץ על quickstart-production.

3. לוחצים על Releases & scheduling (פרסום ותזמון) ועוברים לקטע Workflow configurations (הגדרות תהליך העבודה).

4. לצד הגדרת תהליך העבודה production, לוחצים על תפריט האפשרויות הנוספות ואז על מחיקה.

5. בתיבת הדו-שיח מחיקת הגדרת הפצה, לוחצים על מחיקה.

מחיקת מאגר Dataform

אין עלויות שקשורות ליצירת מאגרי Dataform. עם זאת, אם רוצים למחוק מאגר ואת כל התוכן שלו, צריך לפעול לפי השלבים הבאים:

1. נכנסים לדף Dataform במסוף Google Cloud .

   מעבר אל Dataform

2. ליד quickstart-production, לוחצים על תפריט האפשרויות הנוספות ואז בוחרים באפשרות מחיקה.

3. בחלון מחיקת מאגר, מזינים את שם המאגר כדי לאשר את המחיקה.

4. כדי לאשר, לוחצים על מחיקה.

המאמרים הבאים

• מידע נוסף על חשבונות שירות זמין במאמר מידע על חשבונות שירות בהתאמה אישית וסוכני שירות של Dataform.
• מידע נוסף על מחזור החיים של הקוד ב-Dataform זמין במאמר מבוא למחזור החיים של הקוד ב-Dataform.
• מידע נוסף על שיטות מומלצות לניהול מחזור החיים של תהליכי עבודה ב-Dataform זמין במאמר בנושא שיטות מומלצות לניהול מחזור החיים של תהליכי עבודה.
• מידע נוסף על הגדרות של גרסאות זמין במאמר יצירת הגדרות של גרסאות.
• מידע נוסף על הגדרות של תהליכי עבודה ב-Dataform זמין במאמר תזמון הרצות באמצעות הגדרות של תהליכי עבודה.