תזמון של תהליך עבודה של Dataform SQL באמצעות Cloud Scheduler

‫Dataform הוא שירות שמאפשר למנתחי נתונים לפתח, לבדוק, לשלוט בגרסאות ולתזמן תהליכי עבודה מורכבים של SQL לצורך טרנספורמציה של נתונים ב-BigQuery.

אפשר לתזמן הפעלה של תהליך עבודה ב-Dataform SQL על ידי יצירת משימה ב-Cloud Scheduler שמפעילה את Workflows.

הפלטפורמה Workflows מריצה את תהליך העבודה שלכם ב-Dataform בתהליך של שני שלבים. קודם כול, המערכת שולפת את קוד מאגר Dataform מספק Git ומקמפלת אותו לתוצאת קומפילציה. לאחר מכן, המערכת משתמשת בתוצאת הקומפילציה כדי ליצור תהליך עבודה ב-Dataform. מידע נוסף זמין במאמר בנושא תזמון הרצות באמצעות Workflows ו-Cloud Scheduler.

המאמרים הבאים