כדי לוודא שמשאבי המכונות הווירטואליות יהיו זמינים כשמשימות Dataflow יזדקקו להם, אפשר להשתמש בהזמנות של Compute Engine. שמירת מקום מספקת רמת ודאות גבוהה לגבי קבלת קיבולת למשאבים של תחום מוגדר ב-Compute Engine.
כדי להשתמש בשמירת מקום ב-Compute Engine שנצרכת באופן אוטומטי עם Dataflow, פועלים לפי השלבים הבאים:
יוצרים מקום שמור ב-Compute Engine. יכול להיות שזה מקום שמור לפרויקט יחיד או מקום שמור משותף. מידע נוסף זמין במסמכים הבאים:
ההזמנה יכולה לכלול מאיצי GPU או TPU.
כדי שההזמנה תנוצל, ההגדרה של worker ב-Dataflow צריכה להיות זהה להגדרה של ההזמנה (למשל, סוג המכונה והגדרות המאיץ). יכול להיות שתצטרכו להגדיר את סוג המכונה של העובד בשביל העבודה. מידע נוסף זמין במאמר הגדרת מכונות וירטואליות של עובדים.
שולחים את משימת Dataflow.
אפשר לעקוב אחרי השימוש הנוכחי בהזמנה על ידי Dataflow בדף Reservations במסוף Google Cloud .
כדי למנוע מעומסי עבודה עם עדיפות נמוכה באותו פרויקט להתחרות על הזמנות עם Dataflow, מגדירים את ההעדפה להזמנה לערך none כשיוצרים מכונות וירטואליות לעומסי העבודה האלה. מידע נוסף מופיע במאמר בנושא שימוש במופעים שמורים.
מגבלות
כל המגבלות של הזמנות ב-Compute Engine חלות כשעובדי Dataflow צורכים הזמנות. איך עובדות ההזמנות
Dataflow מסתמך על סדר הצריכה שמוגדר כברירת מחדל ב-Compute Engine. כתוצאה מכך, חלות ההגבלות הבאות:
- עומסי עבודה אחרים באותו פרויקט או ארגון שלא מציינים את הדגל
--reservationעשויים להתחרות עם עומסי עבודה של Dataflow על הזמנות ספציפיות לפרויקט או על הזמנות משותפות.
- עומסי עבודה אחרים באותו פרויקט או ארגון שלא מציינים את הדגל
משימות ב-Dataflow Prime לא צורכות מקומות שמורים ב-Compute Engine.
הזמנות ומאיצים
Dataflow תומך בהזמנות שמיועדות במיוחד לפייפליינים שמשתמשים במאיצים (GPU או TPU). הפונקציונליות הזו זמינה בדרך כלל עם רשימת היתרים. כדי לקבל הוראות לשימוש במאיצי Dataflow עם הזמנות ספציפיות, אפשר לפנות לצוות ניהול החשבון.
תמחור
ב-Dataflow, כשמשימת Dataflow פועלת, אתם מחויבים על מכונות וירטואליות מתוך הזמנות שנצרכות באופן אוטומטי. כש-Dataflow לא משתמש במכונות הווירטואליות, אתם מחויבים על ידי Compute Engine.
מודל התמחור של Compute Engine
אם השימוש שלכם ב-Dataflow כולל מכונות וירטואליות מהזמנות שמוגדרות לשימוש ספציפיעם מעבדי GPU או TPU, משאבי המחשוב מהמכונות הווירטואליות האלה יחויבו בהתאם לתמחור של Compute Engine. אם ההזמנות שלכם מיועדות למשאבים ספציפיים ומצורפות להתחייבות לשימוש במשאבים ב-Compute Engine, אתם מקבלים גם הנחות תמורת התחייבות לשימוש במשאבים (CUD) על השימוש שלכם. בנוסף, אתם מחויבים בפרמיית ניהול על משאבי מחשוב שנצרכים ב-Dataflow. פרטים נוספים על התמחור מופיעים במאמר תמחור של Dataflow.
מודל התמחור של Dataflow
לגבי כל סוג אחר של הזמנות ב-Compute Engine שבהן אתם משתמשים עם Dataflow, השימוש שלכם מחויב באמצעות מודל התמחור של Dataflow. השימוש ב-Dataflow מההזמנות האלה לא עומד בדרישות לקבלת הנחות תמורת התחייבות לשימוש במשאבים, גם אם ההזמנות האלה מצורפות להתחייבות לשימוש במשאבים. ההמלצה הזו רלוונטית להזמנות הבאות ב-Compute Engine:
- הזמנות מטורגטות באופן ספציפי שלא כוללות מעבדי GPU או TPU
- כל ההזמנות שנצרכות באופן אוטומטי
המאמרים הבאים
מידע נוסף על הזמנות ב-Compute Engine זמין במאמר בנושא איך מבקשים מקום שמור למשאבים של תחום מוגדר ב-Compute Engine.