שימוש בהזמנות של Compute Engine עם Dataflow

כדי לוודא שמשאבי המכונות הווירטואליות יהיו זמינים כשמשימות Dataflow יזדקקו להם, אפשר להשתמש בהזמנות של Compute Engine. שמירת מקום מספקת רמת ודאות גבוהה לגבי קבלת קיבולת למשאבים של תחום מוגדר ב-Compute Engine.

כדי להשתמש בשמירת מקום ב-Compute Engine עם Dataflow:

  1. יוצרים הזמנה של Compute Engine. יכול להיות שזה מקום שמור לפרויקט יחיד או מקום שמור משותף. מידע נוסף זמין במסמכים הבאים:

    ההזמנה יכולה לכלול מאיצי GPU או TPU.

  2. כששולחים את עבודת Dataflow, מעבירים אחת מאפשרויות השירות הבאות, בהתאם לגרסת Beam SDK שבה משתמשים:

    • גרסה של Beam‏ ‎ <‏ 2.29: --experiments=skip_gce_quota_verification
    • גרסה Beam ‏ >= 2.29: --dataflow_service_options=automatically_use_created_reservation

כדי למנוע מעומסי עבודה עם עדיפות נמוכה באותו פרויקט להתחרות על הזמנות עם Dataflow, צריך להגדיר את ההעדפה להזמנה לערך none כשיוצרים מכונות וירטואליות לעומסי העבודה האלה. מידע נוסף מופיע במאמר בנושא שימוש במופעים שמורים.

כדי להשתמש בהזמנה, עובדי Dataflow צריכים להתאים להגדרת ההזמנה. יכול להיות שתצטרכו להגדיר את סוג המכונה של ה-worker עבור העבודה. מידע נוסף זמין במאמר בנושא עובדים.

מגבלות

  • כל המגבלות של הזמנות ב-Compute Engine חלות כשעובדי Dataflow צורכים הזמנות. איך עובדות ההזמנות

  • ‫Dataflow מסתמך על סדר הצריכה שמוגדר כברירת מחדל ב-Compute Engine. כתוצאה מכך, חלות ההגבלות הבאות:

    • עומסי עבודה אחרים באותו פרויקט או באותו ארגון שלא מצוין בהם הדגל --reservation עשויים להתחרות עם עומסי עבודה של Dataflow על הזמנות ספציפיות לפרויקט או על הזמנות משותפות.

  • משימות Dataflow Prime לא צורכות מקומות שמורים ב-Compute Engine.

הזמנות ומאיצים

‫Dataflow תומך בהזמנות שמיועדות במיוחד לצינורות שמשתמשים במאיצים (GPU או TPU). הפונקציונליות הזו זמינה בדרך כלל עם רשימת היתרים. כדי לקבל הוראות לשימוש במאיצי Dataflow עם הזמנות ספציפיות, אפשר לפנות לצוות ניהול החשבון.

תמחור

מערכת Dataflow מחייבת אתכם על מכונות וירטואליות מתוך הזמנות שנצרכות באופן אוטומטי בזמן שהמשימה של Dataflow פועלת. כש-Dataflow לא משתמש במכונות הווירטואליות, אתם מחויבים על ידי Compute Engine.

מודל התמחור של Compute Engine

אם השימוש שלכם ב-Dataflow כולל מכונות וירטואליות מהזמנות שמוגדרות לשימוש ספציפי עם מעבדי GPU או TPU, משאבי המחשוב מהמכונות הווירטואליות האלה יחויבו בהתאם לתמחור של Compute Engine. אם ההזמנות שמיועדות למשאבים ספציפיים משויכות להתחייבות לשימוש במשאבים ב-Compute Engine, תקבלו גם הנחות תמורת התחייבות לשימוש במשאבים (CUD) על השימוש שלכם. בנוסף, אתם מחויבים בפרמיית ניהול על משאבי מחשוב שנצרכים ב-Dataflow. פרטים נוספים על התמחור מופיעים במאמר תמחור של Dataflow.

מודל התמחור של Dataflow

לגבי כל סוג אחר של הזמנות ב-Compute Engine שבהן אתם משתמשים עם Dataflow, השימוש שלכם מחויב באמצעות מודל התמחור של Dataflow. השימוש ב-Dataflow מההזמנות האלה לא עומד בדרישות לקבלת הנחות תמורת התחייבות לשימוש במשאבים, גם אם ההזמנות האלה משויכות להתחייבות לשימוש במשאבים. ההגדרה הזו חלה על ההזמנות הבאות ב-Compute Engine:

  • הזמנות ממוקדות במיוחד שלא כוללות מעבדי GPU או TPU
  • כל ההזמנות שנצרכות באופן אוטומטי

המאמרים הבאים

מידע נוסף על הזמנות ב-Compute Engine זמין במאמר בנושא איך מבקשים מקום שמור למשאבים של תחום מוגדר ב-Compute Engine.