שימוש במכונות וירטואליות של Arm ב-Dataflow

בדף הזה מוסבר איך להשתמש במכונות וירטואליות של Arm כעובדים במשימות של Dataflow באצווה ובסטרימינג.

אתם יכולים להשתמש בסדרת המכונות Tau T2A ובסדרת המכונות C4A של מעבדי Arm כדי להריץ משימות Dataflow. ארכיטקטורת Arm מותאמת ליעילות בצריכת החשמל, ולכן שימוש במכונות הווירטואליות האלה מאפשר לקבל מחיר טוב יותר ביחס לביצועים עבור חלק מעומסי העבודה. מידע נוסף על מכונות וירטואליות של Arm זמין במאמר מכונות וירטואליות של Arm ב-Compute.

דרישות

  • ערכות ה-SDK הבאות של Apache Beam תומכות במכונות וירטואליות של Arm:
    • ‫Apache Beam Java SDK בגרסה 2.50.0 ואילך
    • ‫Apache Beam Python SDK מגרסה 2.50.0 ואילך
    • ‫Apache Beam Go SDK בגרסה 2.50.0 ואילך
  • בוחרים אזור שבו מכונות Tau T2A או C4A זמינות. מידע נוסף זמין במאמר אזורים ותחומים זמינים.
  • משתמשים ב-Runner v2 כדי להריץ את העבודה.
  • עבודות סטרימינג צריכות להשתמש ב-Streaming Engine.

מגבלות

הפעלת עבודה באמצעות מכונות וירטואליות של Arm

כדי להשתמש במכונות וירטואליות של Arm, צריך להגדיר את האפשרות הבאה בצינור.

Java

מגדירים את האפשרות workerMachineType pipeline ומציינים סוג מכונה של ARM.

מידע נוסף על הגדרת אפשרויות של צינורות זרימת נתונים זמין במאמר הגדרת אפשרויות של צינורות Dataflow.

Python

מגדירים את האפשרות machine_type pipeline ומציינים סוג מכונה של ARM.

מידע נוסף על הגדרת אפשרויות של צינורות זרימת נתונים זמין במאמר הגדרת אפשרויות של צינורות Dataflow.

Go

מגדירים את האפשרות worker_machine_type pipeline ומציינים סוג מכונה של ARM.

מידע נוסף על הגדרת אפשרויות של צינורות זרימת נתונים זמין במאמר הגדרת אפשרויות של צינורות Dataflow.

שימוש בתמונות קונטיינר מרובות ארכיטקטורות

אם משתמשים בקונטיינר מותאם אישית ב-Dataflow, הקונטיינר צריך להתאים לארכיטקטורה של מכונות ה-VM של העובדים. אם אתם מתכננים להשתמש בקונטיינר בהתאמה אישית במכונות וירטואליות של ARM, מומלץ ליצור אימג' מרובה ארכיטקטורות. מידע נוסף זמין במאמר פיתוח תמונת קונטיינר מרובת ארכיטקטורות.

תמחור

אתם מחויבים על משאבי מחשוב של Dataflow. התמחור של Dataflow לא תלוי בסוג המכונה. מידע נוסף זמין במאמר בנושא תמחור של Dataflow.

המאמרים הבאים