Managed Service for Apache Spark secondary workers

בנוסף לשימוש במכונות וירטואליות רגילות של Compute Engine כעובדים (workers) של Managed Service for Apache Spark (שנקראים עובדים ראשיים), אשכולות של Managed Service for Apache Spark יכולים להשתמש בעובדים מסוג secondary.

המאפיינים הבאים חלים על כל העובדים המשניים באשכול Managed Service for Apache Spark:

• עיבוד בלבד – עובדים משניים לא מאחסנים נתונים. הן פועלות רק כצמתים לעיבוד. לכן, אתם יכולים להשתמש בעובדים משניים כדי להרחיב את המחשוב בלי להרחיב את האחסון.

• רק עובדים משניים – אפשר ליצור אשכול עם אפס עובדים רק עם עובדים משניים. עם זאת, אם יוצרים אשכול רגיל ומציינים רק עובדים משניים (לא מציינים את מספר העובדים הראשיים), Managed Service for Apache Spark מוסיף לאשכול שני עובדים ראשיים.

• סוג המכונה – כברירת מחדל, עובדים משניים משתמשים בסוג המכונה של העובדים הראשיים באשכול. לדוגמה, אם יוצרים אשכול עם עובדים ראשיים שמשתמשים בסוגי מכונות n1-standard-4, כברירת מחדל, כל העובדים המשניים שנוספים לאשכול ישתמשו גם במכונות n1-standard-4.

  במקום להשתמש בסוג ברירת המחדל של מכונת העובד הראשי עבור עובדים משניים, אפשר לציין רשימה אחת או יותר של סוגי מכונות עבור עובדים משניים. מידע נוסף זמין במאמר בנושא מכונות וירטואליות גמישות של Managed Service for Apache Spark.

• גודל הדיסק המתמיד – כברירת מחדל, נוצרים עובדים משניים עם גודל קטן יותר של 1,000GB או גודל דיסק האתחול של העובד הראשי. השטח הזה בדיסק משמש לשמירת נתונים במטמון מקומי, והוא לא זמין דרך HDFS. אפשר לבטל את ברירת המחדל של גודל הדיסק באמצעות הפקודה gcloud dataproc clusters create --secondary-worker-boot-disk-size בזמן יצירת האשכול. אפשר לציין את הדגל הזה גם אם לא יהיו workers משניים באשכול כשהוא ייווצר.

• יצירה אסינכרונית – כשמוסיפים עובדים משניים על ידי יצירה או הגדלה של אשכול, יכול להיות שהעובדים המשניים לא יוקצו עד לסיום פעולת היצירה או העדכון. הסיבה לכך היא ש-Managed Service for Apache Spark מנהל עובדים משניים באמצעות Managed Instance Groups ‏ (MIGs), שיוצרים מכונות וירטואליות באופן אסינכרוני ברגע שאפשר להקצות אותן (ראו בדיקת הסטטוס של מופעים מנוהלים).

עובדים משניים שניתן להפסיק את הפעולה שלהם ועובדים משניים שלא ניתן להפסיק את הפעולה שלהם

יש שלושה סוגים של עובדים משניים: מכונות וירטואליות מסוג Spot,‏ מכונות וירטואליות רגילות מסוג preemptible ומכונות וירטואליות מסוג non-preemptible. סוג ה-worker המשני שמוגדר כברירת מחדל ב-Managed Service for Apache Spark הוא VM זמני רגיל. אפשר לציין שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק.

מונח מפתח: מכונה וירטואלית (VM) מסוג Spot היא הסוג העדכני ביותר של מכונה וירטואלית (VM) שניתנת להפסקת פעולה ב-Compute Engine. היא חולקת את מודל התמחור בעלות נמוכה יותר של מכונות Preemptible VM, אבל בניגוד למכונות Preemptible VM עם משך חיים מקסימלי של 24 שעות, למכונות Spot VM אין משך חיים מקסימלי. גם מכונות וירטואליות זמניות וגם מכונות וירטואליות רגילות שניתנות להפסקת פעולה נלקחות בחזרה ומוסרות מאשכול Managed Service for Apache Spark אם הן נדרשות Google Cloud למשימות אחרות.

לדוגמה: אם בוחרים שלושה עובדים משניים כשיוצרים אשכול, אפשר לציין שלוש מכונות וירטואליות זמניות מסוג Spot, שלוש מכונות וירטואליות זמניות מסוג preemptible, שלוש מכונות וירטואליות לא זמניות מסוג preemptible או שילוב של עובדים זמניים מסוג Spot ועובדים לא זמניים מסוג preemptible.

עובדים זמניים שניתנים להפסקה

הערה: כשמשתמשים במונח preemptible בקטעים הבאים כדי להתייחס למכונה וירטואלית, לעובד או לצומת, הכוונה היא גם לסוגים הרגילים של מכונות preemptible VM וגם לסוגים של מכונות spot preemptible VM, אלא אם מצוין במפורש שהכוונה היא רק לסוג הרגיל של מכונות preemptible VM.

• למרות שהסרה פוטנציאלית של עובדים עם אפשרות קדימה יכולה להשפיע על יציבות העבודה, יכול להיות שתחליטו להשתמש במופעים עם אפשרות קדימה כדי להפחית את עלויות החישוב לשעה של עיבוד נתונים לא קריטי או כדי ליצור אשכולות גדולים מאוד בעלות כוללת נמוכה יותר (אפשר להשתמש במחשבון התמחור של Google Cloud כדי להעריך את העלויות).

• כדי לקבל את התוצאות הטובות ביותר, מספר העובדים שניתן להפסיק את הפעולה שלהם באשכול צריך להיות פחות מ-50% מהמספר הכולל של כל העובדים (העובדים הראשיים ועובדים משניים) באשכול.

• כשמשתמשים ב-workers שניתנים להפסקה, סביר להניח שבמשימות יהיו יותר כשלים זמניים של worker יחיד בהשוואה למשימות שמופעלות ב-workers שלא ניתן להפסיק. כדי להגדיל את הסבילות של משימות לכשלים ברמה נמוכה, אפשר להגדיר ערכים של מאפייני אשכול שדומים לערכי ברירת המחדל של המאפיינים שמשמשים עם אשכולות של שינוי גודל אוטומטי. כך אפשר להגדיל את המספר המקסימלי של ניסיונות חוזרים של משימות ולמנוע כשלים במשימות.

  כדאי לדעת: אם אתם משתמשים במכונות וירטואליות שניתנות להפסקת פעולה עם Spark, כדאי להשתמש במצב גמישות משופר.

• שיקול לחיסכון בעלויות: השימוש במכונות Preemptible VM לא תמיד מוביל לחיסכון בעלויות, כי ייתכן שהפסקות יגרמו לביצוע ממושך יותר של עבודות, וכתוצאה מכך לעלויות גבוהות יותר של העבודות. אמנם שימוש במצב גמישות משופר (EFM) עם מכונות וירטואליות שניתנות להפסקת פעולה יכול לעזור לצמצם את ההשפעה של התוצאה הזו, אבל החיסכון הכולל בעלויות של מכונות וירטואליות שניתנות להפסקת פעולה משתנה בהתאם לתרחיש השימוש. באופן כללי, משימות לזמן קצר מתאימות יותר לשימוש ב-VM זמני, כי הסיכוי להפסקות זמניות במהלך הרצת המשימה יהיה נמוך יותר. כדי להעריך את העלויות ולהגיע לפתרון הטוב ביותר, כדאי לנסות אפשרויות שונות לעבודות, כמו מכונות וירטואליות לא ניתנות להפסקת פעולה ומכונות וירטואליות ניתנות להפסקת פעולה עם EFM.

עובדים שלא ניתן להפריע להם

• אתם יכולים ליצור אשכול עם עובדים משניים שלא ניתן להפסיק את פעולתם כדי להרחיב את יכולת החישוב בלי לפגוע ביציבות של העבודה. כדי לעשות זאת, מציינים את הערך non-preemptible כסוג העובד המשני. אפשר לשלב בין עובדים משניים שאי אפשר להפריע להם לבין עובדים משניים מסוג Spot.

בחירת עובדים משניים

אפשר לציין את המספר והסוג של העובדים המשניים כשיוצרים אשכול באמצעות Google Cloud מסוף,‏ ה-CLI של gcloud או Dataproc API.

• אפשר לשלב בין מכונות Spot לבין מכונות משניות שלא ניתן לקטוע את הפעולה שלהן.
• אחרי שיוצרים את האשכול, אפשר לעדכן אותו כדי לשנות את מספר העובדים המשניים באשכול, אבל לא את הסוג שלהם.
• עדכוני תוויות מועברים לכל העובדים המשניים שניתנים להפסקת פעולה תוך 24 שעות. עדכוני תוויות לא מועברים לעובדים משניים קיימים שלא ניתן להפסיק את פעולתם. עדכוני תוויות מועברים לכל העובדים שנוספו לאשכול אחרי עדכון התווית. לדוגמה, אם מגדילים את קנה המידה של האשכול, לכל העובדים הראשיים והמשניים החדשים יהיו התוויות החדשות.

הערה: אם אתם מתכננים להוסיף עובדים משניים לאשכול בשלב מאוחר יותר, אתם יכולים לציין 0 עובדים משניים כשאתם יוצרים את האשכול, ואז לעדכן את האשכול בשלב מאוחר יותר כדי לציין מספר חיובי. כשיוצרים את האשכול, צריך לציין את secondary-worker-type.

המסוף

אפשר לציין את מספר העובדים המשניים כשיוצרים אשכול Managed Service for Apache Spark ממסוף Google Cloud . אחרי שיוצרים אשכול, אפשר להוסיף ולהסיר עובדים משניים על ידי עריכת הגדרות האשכול מGoogle Cloud המסוף.

יצירת אשכול עם עובדים משניים

1. פותחים את הדף Create cluster.
2. לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
3. עורכים את העובדים המשניים.
4. בחלונית שנפתחת, מציינים את המספר, הסוג והגדרות אחרות של העובדים המשניים.

עדכון אשכול עם מכונות משניות

כדי לעדכן את מספר העובדים המשניים באשכול, לוחצים על שם האשכול בדף Clusters (אשכולות) במסוף Google Cloud . בדף פרטי האשכול. לוחצים על הכרטיסייה הגדרות, ואז לוחצים על עריכה ומעדכנים את המספר בשדה Secondary worker nodes (צמתי עובד משניים).

הסרה של כל המופעים המשניים מאשכול

כדי להסיר את כל העובדים המשניים מאשכול, מעדכנים את הגדרות האשכול כמו שמוסבר קודם, ומזינים 0 בשדה Secondary worker nodes (צמתים של עובדים משניים).

פקודה ב-CLI של gcloud

משתמשים בפקודה gcloud dataproc clusters create כדי להוסיף עובדים משניים לאשכול כשיוצרים את האשכול. אחרי שיוצרים אשכול, אפשר להוסיף או להסיר ממנו עובדים משניים באמצעות הפקודה gcloud dataproc clusters update (אפשר לעדכן את מספר העובדים המשניים, אבל לא את הסוג שלהם).

יצירת אשכול עם עובדים משניים

כדי ליצור אשכול עם עובדים משניים, משתמשים בפקודה gcloud dataproc clusters create עם הארגומנט --num-secondary-workers. עובדים משניים הם מכונות וירטואליות זמניות רגילות כברירת מחדל. כשיוצרים אשכול, אפשר לציין עובדים משניים שאי אפשר להפסיק או עובדים משניים מסוג Spot על ידי הגדרת הדגל --secondary-worker-type לערך non-preemptible או spot. בדוגמאות הבאות מוצגות דרכים ליצירת אשכול עם כל אחד מסוגי העובדים המשניים: preemptible (ברירת מחדל), spot (preemptible) ו-non-preemptible. אפשר להשתמש בדגלים נוספים כדי לשלב בין מכונות Spot לבין מכונות משניות שלא ניתן להפסיק.

דוגמה 1

הפקודה הבאה יוצרת את cluster1 עם שני עובדים משניים רגילים שניתנים להפסקת פעולה (סוג ברירת המחדל).

gcloud dataproc clusters create cluster1 \
    --num-secondary-workers=2 \
    --region=us-central1

דוגמה 2

הפקודה הבאה משתמשת בדגל secondary-worker-type כדי ליצור את cluster2 עם שני עובדים משניים מסוג spot (ניתנים להפסקת פעולה).

gcloud dataproc clusters create cluster2 \
    --num-secondary-workers=2 \
    --secondary-worker-type=spot \
    --region=us-central1

דוגמה 3

הפקודה הבאה משתמשת בדגל secondary-worker-type כדי ליצור את cluster3 עם שני secondary workers שלא ניתנים להפקעה.

gcloud dataproc clusters create cluster3 \
    --num-secondary-workers=2 \
    --secondary-worker-type=non-preemptible \
    --region=us-central1

שינוי הגודל של דיסק האתחול של העובד המשני. כברירת מחדל, כל העובדים המשניים נוצרים עם הגודל הקטן מבין 1,000GB או גודל דיסק האתחול של העובד הראשי. השטח הזה בדיסק משמש לשמירת נתונים במטמון באופן מקומי, והוא לא זמין דרך HDFS. אפשר לשנות את גודל הדיסק שמוגדר כברירת מחדל באמצעות הפקודה gcloud dataproc clusters create --secondary-worker-boot-disk-size בזמן יצירת האשכול. אפשר לציין את הדגל הזה גם אם לא קיימים worker משניים באשכול בזמן היצירה.

מאפשרים למסוף Google Cloud ליצור את בקשת יצירת האשכול. בתחתית הדף Create cluster, לוחצים על Equivalent command line או על Equivalent REST כדי שהמסוף Google Cloud ייצור פקודת ה-CLI של gcloud או בקשת API ל-REST ששקולות לפעולה הזו.

עדכון אשכול עם עובדים משניים

כדי לעדכן אשכול ולהוסיף או להסיר עובדים משניים, משתמשים בפקודה gcloud dataproc clusters update עם הדגל --num-secondary-workers.

דוגמה

הפקודה הבאה מעדכנת את example-cluster כך שישתמש בארבעה עובדים משניים (מהסוג שמוגדר כברירת מחדל או מהסוג שצוין כשיוצרים את האשכול).

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=4 \
    --region=us-central1

הסרת כל העובדים המשניים מאשכול

כדי להסיר את כל העובדים המשניים מאשכול, משתמשים בפקודה gcloud dataproc clusters update עם הערך 0 של --num-secondary-workers.

דוגמה

הפקודה הבאה מסירה את כל העובדים המשניים מ-example-cluster.

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=0 \
    --region=us-central1

‫API בארכיטקטורת REST

יצירת אשכול עם עובדים משניים

משתמשים ב-API‏ clusters.create של Managed Service for Apache Spark כדי להוסיף עובדים משניים לאשכול כשיוצרים את האשכול. בדוגמאות הבאות מוסבר איך ליצור אשכול עם כל סוג משני של מכונת עבודה: preemptible (ברירת מחדל), spot (ניתנת להפסקת פעולה) ו-non-preemptible. אפשר להשתמש בשדות נוספים כדי לשלב בין מכונות Spot לבין מכונות עובד משניות שלא ניתן להפסיק את פעולתן.

דוגמה 1

בקשת ה-POST הבאה יוצרת את cluster1 עם שני עובדים של מכונות וירטואליות (VM) רגילות שניתנות להפסקת פעולה (סוג ברירת המחדל).

POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster1",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  }
}

דוגמה 2

בקשת ה-POST הבאה יוצרת את cluster2 עם שתי מכונות וירטואליות (VM) מסוג spot (ניתנות להפסקת פעולה) של עובדים.

POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster2",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "SPOT"
    }
  }
}

דוגמה 3

בקשת ה-POST הבאה יוצרת את cluster3 עם שני עובדים משניים שלא ניתנים להפסקה.

POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster3",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "NON_PREEMPTIBLE"
    }
  }
}

עדכון אשכול עם עובדים משניים

משתמשים ב-API‏ clusters.patch של Managed Service for Apache Spark כדי להוסיף ולהסיר עובדים משניים.

דוגמה

בקשת ה-PATCH הבאה מעדכנת אשכול כך שיהיו בו ארבעה עובדים משניים (מהסוג שמוגדר כברירת מחדל או מהסוג שצוין כשיוצרים את האשכול).

PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 4
    }
  }
}

מאפשרים למסוף Google Cloud ליצור את בקשת יצירת האשכול. בתחתית הדף Create cluster, לוחצים על Equivalent command line או על Equivalent REST כדי שהמסוף Google Cloud ייצור פקודת ה-CLI של gcloud או בקשת API ל-REST ששקולות לפעולה הזו.

פתרון בעיות שקשורות לעובדים משניים

• בעיות בהרשאות של חשבון שירות: עובדים משניים נוצרים באמצעות קבוצת מופעי מכונה מנוהלים. אם יש בעיה בהרשאות, ביומני Managed Service for Apache Spark לא יופיע דיווח על הכישלון ביצירת עובדים משניים, אבל העובדים שנכשלו יופיעו בכרטיסייה VM Instances בדף Cluster details במסוףGoogle Cloud ללא סימן וי ירוק. כדי לראות את הרישום, פותחים את הדף Clusters (אשכולות) של Managed Service for Apache Spark, ואז לוחצים על שם האשכול כדי לפתוח את הדף Cluster details (פרטי האשכול) של האשכול.

• בעיות בהרשאות של קבוצת מופעי מכונה מנוהלים: כדי לבדוק אם יש בעיה בהרשאות של קבוצת מופעי מכונה מנוהלים:

  1. מוצאים את השם של קבוצת מופעי מכונה מנוהלים (instanceGroupManagerName).

     מסוףGoogle Cloud

     1. פותחים את הדף Clusters ולוחצים על שם האשכול כדי לפתוח את הדף Cluster details של האשכול.
     2. לוחצים על Equivalent REST (מקבילה ל-REST) בתחתית הדף, ואז מעיינים בערך config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.

     ‫CLI של gcloud

     מריצים את הפקודה gcloud dataproc clusters describe עם הדגל --format כדי להציג את instanceGroupManagerName.

     gcloud dataproc clusters describe CLUSTER_NAME \
         --region=REGION \
         --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
     

     ‫API בארכיטקטורת REST

     שולחים בקשה clusters.get להחזרת הערך של config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.

  2. צפייה ביומנים ב-Logs Explorer.

  • בוחרים את סוג המשאב Google Compute Engine Instance Group ומסננים לפי שם קבוצת מופעי מכונה מנוהלים.

  • לחלופין, אפשר להחיל מסנן רישום ביומן עבור `resource.type="gce_instance_group" and resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.

שילוב של מכונות Spot עם עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

כשיוצרים אשכול Managed Service for Apache Spark, אפשר לציין שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן לקטוע.

הגדרות של עובדים משניים לשימוש בעובדים משניים מסוג Spot לצד עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

כדי לקבל רמה מינימלית של קיבולת של עובדים משניים עם אפשרות להגדיל את הקיבולת כשמכונות וירטואליות מסוג Spot זמינות, צריך להשתמש בהגדרות הבאות של עובדים משניים כשיוצרים אשכול של Managed Service for Apache Spark:

• מספר העובדים המשניים: המספר הכולל של העובדים המשניים שצריך להקצות להם הרשאות.

• סוג עובד משני: spot הוא סוג העובד המשני כשמשלבים עובדים משניים מסוג Spot עם עובדים משניים שלא ניתן להפסיק.

• ‫standardCapacityBase: מספר העובדים המשניים (הרגילים) שניתן להקצות, שלא ניתן להפסיק את פעולתם. עובדים משניים שאי אפשר לקטוע את הפעולה שלהם מוקצים לפני סוגים אחרים של עובדים משניים.

• ‫standardCapacityPercentAboveBase: אחרי שמספר העובדים המשניים standardCapacityBase מגיע למקסימום, המערכת ממלאת את שאר העובדים המשניים שנדרשים כדי להגיע למספר הכולל של העובדים המשניים המבוקש, באמצעות שילוב של מכונות וירטואליות שאי אפשר להפסיק את הפעולה שלהן ומכונות וירטואליות מסוג Spot, באופן הבא:

  • ‫standardCapacityPercentAboveBase: אחוז העובדים המשניים שנותרו למילוי במכונות וירטואליות (VM) שלא ניתן להפסיק לפני הזמן.
  • המספר הנותר שנדרש כדי להגיע למספר הכולל של העובדים המשניים המבוקשים יתמלא במכונות וירטואליות מסוג Spot.

לדוגמה:

• מספר העובדים המשניים: 15
• standardCapacityBase: 5
• standardCapacityPercentAboveBase 30%

תוצאה:

• לא ניתנת להפסקת פעולה: 8 = 5 (standardCapacityBase) + 3 (30% מ-10 שנותרו)
• מקום: 7 (70% מ-10 המקומות שנותרו)
• סה"כ = 15

יצירת אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק

אתם יכולים להשתמש ב-CLI של gcloud או ב-Dataproc API כדי לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים לא ניתנים להפקעה כשאתם יוצרים אשכול.

gcloud

מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק.

gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --secondary-worker-type=spot \
    --num-secondary-workers=NUMBER_SECONDARY_WORKERS \
    --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \
    --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \
    OTHER_FLAGS_AS_NEEDED

הערות:

• ‫CLUSTER_NAME: השם של האשכול החדש.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info בלוח הבקרה של מסוף Google Cloud .
• ‫REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
• ‫--secondary-worker-type: כשמשלבים בין עובדים משניים מסוג ספוט לבין עובדים משניים לא ניתנים להפקעה, צריך לציין את סוג העובד המשני כ-spot.
• ‫STANDARD_CAPACITY_BASE ו-STANDARD_CAPACITY_PERCENT_ABOVE_BASE: אפשר לעיין במאמר הגדרות של עובדים משניים כדי לשלב עובדים משניים זמניים עם עובדים משניים שלא ניתן להפסיק את פעולתם.
• ‫OTHER_FLAGS_AS_NEEDED: ראו gcloud dataproc clusters create.

API

כדי לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים לא ניתנים להפקעה, צריך להגדיר את שדות ה-API של Managed Service for Apache Spark‏ preemptibility,‏ standardCapacityBase ו-standardCapacityPercentAboveBase כחלק מבקשת cluster.create, כמו שמוצג בדוגמת ה-JSON הבאה:

{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 15,
      **"preemptibility": "spot"**,
      "instanceFlexibilityPolicy": {
        "provisioningModelMix": {
          **"standardCapacityBase": STANDARD_CAPACITY_BASE**
          **"standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE**
        }
      }
    }
  }
}

הערות:

• ‫CLUSTER_NAME: השם של האשכול החדש.
• ‫preemptibility: כשמשלבים בין עובדים משניים מסוג Spot לבין עובדים משניים שלא ניתן להפסיק, צריך לציין spot.
• ‫STANDARD_CAPACITY_BASE ו-STANDARD_CAPACITY_PERCENT_ABOVE_BASE: אפשר לעיין במאמר הגדרות של עובדים משניים כדי לשלב עובדים משניים זמניים עם עובדים משניים לא ניתנים להפקעה.

שילוב של מיקסים של עובדים משניים עם מכונות VM גמישות

כשיוצרים אשכול, אפשר לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים שלא ניתן להפסיק את פעולתם ולציין צורות גמישות של מכונות וירטואליות לעובדים משניים.

דוגמה ל-CLI של gcloud:

gcloud dataproc clusters create cluster-name \
    --project=project-id \
    --region=us-central1 \
    --secondary-worker-type=spot \
    --num-secondary-workers=15 \
    --secondary-worker-standard-capacity-base=5 \
    --secondary-worker-standard-capacity-percent-above-base=30 \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"
    ...other flags as needed

מאפייני ערבוב של עובדים משניים

בקטע הזה מתוארים חלק מההתנהגויות והמאפיינים שקשורים לשילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה.

העדפה של עובד משני

‫Managed Service for Apache Spark לא נותן עדיפות למכונות וירטואליות מסוג Spot או למכונות וירטואליות שלא ניתן להפסיק את הפעולה שלהן כשמתזמנים אפליקציות בעובדים משניים.

קביעת קנה מידה של מופעי worker משניים

כשמבצעים שינוי גודל של עובדים משניים באמצעות שינוי גודל אוטומטי או שינוי גודל ידני, Managed Service for Apache Spark שומר על היחס המבוקש בין מכונות Spot למכונות רגילות כשמוסיפים עובדים משניים.

עדכון ההגדרות של שילוב עובדים משניים

אתם מציינים את השילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפקעה כשאתם יוצרים אשכול Managed Service for Apache Spark. אי אפשר לשנות את הגדרות השילוב של העובדים המשניים אחרי שיוצרים את האשכול.

זיהוי של דחיקת מופעי worker משניים

• שירות Managed Service for Apache Spark לא שולט בתזמון של הפסקת השימוש במכונות וירטואליות מסוג Spot (ראו הפסקת השימוש במכונות וירטואליות מסוג Spot).
• כשמתרחשת דחיקה של מכונות וירטואליות מסוג Spot, קבוצת העובדים המשנית יכולה לפעול עם קיבולת מופחתת באופן זמני עד ש-Compute Engine יקצה מחדש את המכונות הווירטואליות שנדחקו.
• ‫Managed Service for Apache Spark לא יוסיף קיבולת לקבוצת עובדים משנית מעבר להגדרות הראשוניות של הקבוצה.