בקטע הזה מתוארות Google Cloud אפשרויות לשימוש בתזמון של תהליכי עבודה.
Dataproc Workflow Templates
Managed Service for Apache Spark Workflow templates מספק מנגנון גמיש וקל לשימוש לניהול ולהרצה של תהליכי עבודה. תבנית של תהליך עבודה היא הגדרה של תהליך עבודה שאפשר להשתמש בה שוב. הוא מגדיר גרף של משימות עם מידע על המקום שבו המשימות האלה יפעלו.
Cloud Scheduler
Cloud Scheduler הוא מתזמן משימות cron המנוהל באופן מלא ברמת הארגון. הוא מאפשר לתזמן כמעט כל משימה, כולל משימות באצווה, משימות Big Data ופעולות בתשתית הענן. הוא מאפשר תזמון פשוט לפי שעה, למשל מדי יום או מדי שעה, בלי שתצטרכו לכתוב קוד.
היתרונות:
מאפשר ליצור אובייקטים של תבניות בתהליך העבודה על בסיס זמן, באמצעות ביטויי cron מוכרים
אין צורך לכתוב קוד
מדריך: תהליך עבודה באמצעות Cloud Scheduler
Cloud Functions
פונקציות Cloud Run הן פתרון מחשוב קל משקל שמאפשר ליצור פונקציות עצמאיות למטרה יחידה שמגיבות לאירועים בענן, בלי צורך לנהל שרת או סביבת זמן ריצה. אתם יכולים להשתמש בפונקציות של Cloud Run כדי להפעיל Workflows בתגובה לאירועים ב-Pub/Sub או לשינויים בקבצים ב-Cloud Storage. אפשר להשתמש בפונקציות של Cloud Run עם Cloud Scheduler כדי ליצור תהליכי עבודה שדורשים חישוב של פרמטרים מבוססי-זמן.
היתרונות:
האפשרות הזו מאפשרת ליצור מופע של זרימת עבודה בתגובה לאירועי נתונים, כמו קבצים חדשים ב-Cloud Storage או אירועים ב-Pub/Sub.
נדרש קידוד מינימלי באמצעות Managed Service for Apache Spark Go, Node.js או Python ספריות לקוח
יצירה דינמית של תהליכי עבודה ופרמטרים של תהליכי עבודה
מדריך: תהליך עבודה באמצעות פונקציות Cloud Run
Cloud Composer
Managed Airflow הוא שירות מנוהל של Apache Airflow שבעזרתו אפשר ליצור, לתזמן, לנטר ולנהל תהליכי עבודה.
היתרונות:
תמיכה בתזמון לפי זמן ואירוע
קריאות פשוטות יותר ל-Managed Service for Apache Spark באמצעות אופרטורים
יצירה דינמית של תהליכי עבודה ופרמטרים של תהליכי עבודה
יצירת זרימות נתונים שמשתרעות על כמה Google Cloud מוצרים
הדרכה: תהליך עבודה באמצעות Managed Service for Apache Airflow