בקטע הזה מתוארות Google Cloud אפשרויות לשימוש בתזמון של תהליכי עבודה.
Dataproc Workflow Templates
תבניות של תהליכי עבודה ב-Dataproc מספקות מנגנון גמיש וקל לשימוש לניהול ולהרצה של תהליכי עבודה. תבנית של תהליך עבודה היא הגדרה של תהליך עבודה שאפשר לעשות בה שימוש חוזר. הוא מגדיר גרף של משימות עם מידע על המקומות שבהם המשימות האלה יפעלו.
Cloud Scheduler
Cloud Scheduler הוא מתזמן משימות cron מנוהל באופן מלא ברמת הארגון. הוא מאפשר לתזמן כמעט כל משימה, כולל משימות באצווה, משימות Big Data ופעולות בתשתית הענן. הוא מאפשר תזמון פשוט לפי שעה, למשל מדי יום או מדי שעה, בלי שתצטרכו לכתוב קוד.
היתרונות:
מאפשר ליצור אובייקטים של תבניות בתהליך העבודה על סמך ביטויי cron מוכרים, לפי זמן
אין צורך לכתוב קוד
מדריך: תהליך עבודה באמצעות Cloud Scheduler
Cloud Functions
פונקציות Cloud Run הן פתרון מחשוב קל משקל שמאפשר ליצור פונקציות עצמאיות למטרה יחידה שמגיבות לאירועים ב-Cloud, בלי צורך לנהל שרת או סביבת זמן ריצה. אתם יכולים להשתמש בפונקציות Cloud Run כדי להפעיל Workflows בתגובה לאירועים ב-Pub/Sub או לשינויים בקבצים ב-Cloud Storage. אתם יכולים להשתמש בפונקציות Cloud Run עם Cloud Scheduler כדי ליצור תהליכי עבודה שדורשים חישוב של פרמטרים מבוססי-זמן.
היתרונות:
האפשרות הזו מאפשרת ליצור מופע של זרימת עבודה בתגובה לאירועי נתונים, כמו קבצים חדשים ב-Cloud Storage או אירועים ב-Pub/Sub.
נדרש מינימום של קידוד באמצעות ספריות הלקוח של Dataproc Go, Node.js או Python
יצירה דינמית של תהליכי עבודה ופרמטרים של תהליכי עבודה
מדריך: תהליך עבודה באמצעות פונקציות Cloud Run
Cloud Composer
Cloud Composer הוא שירות מנוהל של Apache Airflow שמאפשר ליצור, לתזמן, לנטר ולנהל תהליכי עבודה.
היתרונות:
תמיכה בתזמון לפי שעה ולפי אירוע
שיחות פשוטות יותר אל Dataproc באמצעות אופרטורים
יצירה דינמית של תהליכי עבודה ופרמטרים של תהליכי עבודה
יצירת זרימות נתונים שמשתרעות על כמה Google Cloud מוצרים
מדריך: תהליך עבודה באמצעות Cloud Composer