עובדים משניים ב-Dataproc

בנוסף לשימוש במכונות וירטואליות רגילות של Compute Engine כ-workers של Dataproc (שנקראים workers ראשיים), אפשר להשתמש ב-workers מסוג secondary באשכולות Dataproc.

המאפיינים הבאים חלים על כל העובדים המשניים באשכול Dataproc:

עיבוד בלבד – עובדים משניים לא מאחסנים נתונים. הן פועלות רק כצמתים לעיבוד. לכן, אתם יכולים להשתמש בעובדים משניים כדי להרחיב את המחשוב בלי להרחיב את האחסון.
אין אשכולות שכוללים רק עובדים משניים – באשכול חייבים להיות עובדים ראשיים. אם יוצרים אשכול ולא מציינים את מספר העובדים הראשיים, Dataproc מוסיף לאשכול שני עובדים ראשיים.
Machine type (סוג המכונה) – כברירת מחדל, מכונות worker משניות משתמשות בסוג המכונה של מכונות ה-worker הראשיות באשכול. לדוגמה, אם יוצרים אשכול עם עובדים ראשיים שמשתמשים בסוגי מכונות n1-standard-4, כברירת מחדל, גם כל העובדים המשניים שנוספים לאשכול ישתמשו במכונות n1-standard-4.

במקום להשתמש בסוג ברירת המחדל של מכונת העובד הראשית עבור עובדים משניים, אפשר לציין רשימה אחת או יותר של סוגי מכונות לעובדים משניים, לפי דירוג. מידע נוסף זמין במאמר בנושא מכונות וירטואליות גמישות ב-Dataproc.
גודל דיסק האחסון המתמיד – כברירת מחדל, נוצרים עובדים משניים עם הגודל הקטן מבין 1,000GB או גודל דיסק האתחול של העובד הראשי. השטח הזה בדיסק משמש לשמירת נתונים במטמון מקומי, והוא לא זמין דרך HDFS. אפשר לשנות את גודל הדיסק שמוגדר כברירת מחדל באמצעות הפקודה gcloud dataproc clusters create --secondary-worker-boot-disk-size בזמן יצירת האשכול. אפשר לציין את הדגל הזה גם אם לא יהיו לענן עובדים משניים כשהוא ייווצר.
יצירה אסינכרונית – כשמוסיפים עובדים משניים על ידי יצירה או הגדלה של אשכול, יכול להיות שהעובדים המשניים לא יוקצו עד לסיום פעולת היצירה או העדכון. הסיבה לכך היא ש-Dataproc מנהל עובדים משניים באמצעות קבוצות של מופעים מנוהלים (MIG), שיוצרות מכונות וירטואליות באופן אסינכרוני ברגע שאפשר להקצות אותן (ראו בדיקת הסטטוס של מופעים מנוהלים).

עובדים משניים שניתן להפסיק את הפעולה שלהם ועובדים משניים שלא ניתן להפסיק את הפעולה שלהם

יש שלושה סוגים של עובדים משניים: מכונות וירטואליות במחיר מוזל, מכונות וירטואליות רגילות שניתן להפסיק ומכונות וירטואליות שלא ניתן להפסיק. סוג העובד המשני שמוגדר כברירת מחדל ב-Dataproc הוא VM זמני רגיל. אפשר לציין שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן לקטוע.

לדוגמה: אם בוחרים שלושה עובדים משניים כשיוצרים אשכול, אפשר לציין שלוש מכונות וירטואליות זמניות מסוג Spot, שלוש מכונות וירטואליות זמניות מסוג preemptible, שלוש מכונות וירטואליות לא זמניות מסוג preemptible או שילוב של עובדים זמניים מסוג Spot ועובדים לא זמניים מסוג preemptible.

עובדים זמניים שניתנים להפסקה

למרות שההסרה הפוטנציאלית של עובדים שניתנים להפסקת פעולה יכולה להשפיע על יציבות העבודה, יכול להיות שתחליטו להשתמש במופעים שניתנים להפסקת פעולה כדי להפחית את עלויות החישוב לשעה לעיבוד נתונים לא קריטי, או כדי ליצור אשכולות גדולים מאוד בעלות כוללת נמוכה יותר (אפשר להשתמש במחשבון התמחור של Google Cloud כדי להעריך את העלויות).
כדי לקבל את התוצאות הטובות ביותר, מספר העובדים שניתן להפסיק את פעולתם באשכול צריך להיות פחות מ-50% מהמספר הכולל של כל העובדים (העובדים הראשיים ועובדי המשנה) באשכול.
כשמשתמשים ב-workers שניתנים להפסקת פעולה, סביר להניח שבמשימות יהיו יותר כשלים זמניים של worker יחיד בהשוואה למשימות שמופעלות ב-workers שלא ניתן להפסיק את הפעולה שלהם. כדי להגדיל את הסבילות של משימות לכשלים ברמה נמוכה, אפשר להגדיר ערכים של מאפייני אשכולות שדומים לערכי ברירת המחדל של המאפיינים שמשמשים עם אשכולות של התאמה אוטומטית לעומס, כדי להגדיל את המספר המקסימלי של ניסיונות חוזרים של משימות ולמנוע כשלים במשימות.

טיפ: אם אתם משתמשים במכונות וירטואליות שניתנות להפסקת פעולה עם Spark, כדאי להשתמש במצב גמישות משופר.
שיקול לחיסכון בעלויות: השימוש במכונות Preemptible VM לא תמיד מוביל לחיסכון בעלויות, כי ייתכן שהפסקות יגרמו לביצוע ממושך יותר של עבודות, וכתוצאה מכך לעלויות גבוהות יותר של העבודות. אפשר להשתמש במצב גמישות משופר (EFM) עם מכונות וירטואליות שניתנות להפסקת פעולה כדי לצמצם את הסיכון הזה, אבל החיסכון הכולל בעלויות של מכונות וירטואליות שניתנות להפסקת פעולה משתנה בהתאם לתרחיש השימוש. באופן כללי, משימות קצרות יותר מתאימות יותר לשימוש ב-VM זמני, כי הסיכוי להפסקות זמניות במהלך הרצת המשימה יהיה נמוך יותר. כדי להעריך את העלויות ולהגיע לפתרון הטוב ביותר, כדאי לנסות אפשרויות שונות לעבודות, כמו מכונות וירטואליות לא ניתנות להפסקת פעולה ומכונות וירטואליות ניתנות להפסקת פעולה עם EFM.

עובדים שלא ניתן להפסיק את הפעולה שלהם

אתם יכולים ליצור אשכול עם עובדים משניים שלא ניתן לקטוע כדי להרחיב את יכולת החישוב בלי לפגוע ביציבות העבודה. כדי לעשות זאת, מציינים את הערך non-preemptible כסוג העובד המשני. אפשר לשלב עובדים משניים שאי אפשר להפסיק עם עובדים משניים זמניים.

בחירת עובדים משניים

אפשר לציין את המספר והסוג של העובדים המשניים כשיוצרים אשכול באמצעות Google Cloud המסוף,‏ ה-CLI של gcloud או Dataproc API.

אפשר לשלב בין מכונות Spot לבין מכונות משניות שלא ניתן להפסיק.
אחרי שיוצרים את האשכול, אפשר לעדכן אותו כדי לשנות את מספר העובדים המשניים באשכול, אבל לא את הסוג שלהם.
עדכוני תוויות מועברים לכל העובדים המשניים שניתן להפסיק את פעולתם תוך 24 שעות. עדכוני תוויות לא מועברים לעובדים משניים קיימים שלא ניתן להפסיק את פעולתם. עדכוני תוויות מועברים לכל העובדים שנוספו לאשכול אחרי עדכון התווית. לדוגמה, אם מגדילים את קנה המידה של האשכול, לכל העובדים הראשיים והמשניים החדשים יהיו התוויות החדשות.

המסוף

אפשר לציין את מספר העובדים המשניים כשיוצרים אשכול Dataproc ממסוף Google Cloud . אחרי שיוצרים אשכול, אפשר להוסיף ולהסיר עובדים משניים על ידי עריכת הגדרות האשכול מGoogle Cloud המסוף.

יצירת אשכול עם עובדים משניים

אפשר להגדיר את המספר והסוג של העובדים המשניים שיוחלו על אשכול חדש בקטע Secondary worker nodes (צמתי עובדים משניים) בחלונית Configure nodes (הגדרת צמתים) בדף Create a cluster (יצירת אשכול) במסוף Google Cloud Dataproc. מציינים את המספר והסוג של העובדים המשניים בשדות Secondary worker nodes (צמתי עובדים משניים) ו-Preemptibility (אפשרות קדימה), בהתאמה.

עדכון אשכול עם מכונות משניות

כדי לעדכן את מספר העובדים המשניים באשכול, לוחצים על שם האשכול בדף Clusters (אשכולות) במסוף Google Cloud . בדף פרטי האשכול. לוחצים על הכרטיסייה **הגדרות**, ואז לוחצים על עריכה ומעדכנים את המספר בשדה Secondary worker nodes (צמתי עובד משניים).

הסרה של כל המופעים המשניים מאשכול

כדי להסיר את כל העובדים המשניים מאשכול, מעדכנים את הגדרות האשכול כמו שמוסבר קודם, ומזינים 0 בשדה Secondary worker nodes (צמתי עובדים משניים).

פקודה של Google Cloud CLI

משתמשים בפקודה gcloud dataproc clusters create כדי להוסיף עובדים משניים לאשכול כשיוצרים את האשכול. אחרי שיוצרים אשכול, אפשר להוסיף או להסיר ממנו עובדים משניים באמצעות הפקודה gcloud dataproc clusters update (אפשר לעדכן את מספר העובדים המשניים, אבל לא את הסוג שלהם).

יצירת אשכול עם עובדים משניים

כדי ליצור אשכול עם עובדים משניים, משתמשים בפקודה gcloud dataproc clusters create עם הארגומנט --num-secondary-workers. ‫Secondary workers הם מכונות וירטואליות זמניות רגילות כברירת מחדל. כשיוצרים אשכול, אפשר לציין עובדים משניים שאי אפשר להפסיק או עובדים משניים מסוג Spot על ידי הגדרת הדגל --secondary-worker-type לערך non-preemptible או spot. בדוגמאות הבאות מוצגות דרכים ליצירת אשכול עם כל אחד מסוגי העובדים המשניים: preemptible (ברירת מחדל), spot (preemptible) ו-non-preemptible. אפשר להשתמש בדגלים נוספים כדי לשלב בין מכונות Spot לבין מכונות עובד משניות שלא ניתן להפסיק את הפעולה שלהן.

דוגמה 1

הפקודה הבאה יוצרת את cluster1 עם שני עובדים משניים רגילים שניתנים להפסקת פעולה (סוג ברירת המחדל).

gcloud dataproc clusters create cluster1 \
    --num-secondary-workers=2 \
    --region=us-central1

דוגמה 2

הפקודה הבאה משתמשת בדגל secondary-worker-type כדי ליצור את cluster2 עם שני עובדים משניים מסוג spot (ניתנים להפסקת פעולה).

gcloud dataproc clusters create cluster2 \
    --num-secondary-workers=2 \
    --secondary-worker-type=spot \
    --region=us-central1

דוגמה 3

הפקודה הבאה משתמשת בדגל secondary-worker-type כדי ליצור את cluster3 עם שני עובדים משניים שלא ניתן להפסיק את הפעולה שלהם.

‫

gcloud dataproc clusters create cluster3 \
    --num-secondary-workers=2 \
    --secondary-worker-type=non-preemptible \
    --region=us-central1

שינוי הגודל של דיסק האתחול של העובד המשני. כברירת מחדל, כל העובדים המשניים נוצרים עם הגודל הקטן יותר מבין 1,000GB או גודל דיסק האתחול של העובד הראשי. השטח הזה בכונן משמש לשמירת נתונים במטמון באופן מקומי, והוא לא זמין דרך HDFS. אפשר לשנות את גודל הדיסק שמוגדר כברירת מחדל באמצעות הפקודה gcloud dataproc clusters create --secondary-worker-boot-disk-size בזמן יצירת האשכול. אפשר לציין את הדגל הזה גם אם לא קיימים עובדים משניים באשכול בזמן היצירה. מאפשרים למסוף Google Cloud ליצור את הבקשה ליצירת האשכול. אפשר ללחוץ על הקישורים Equivalent REST or command line (מקבילה ל-REST או לשורת הפקודה) בתחתית החלונית הימנית של הדף Create a cluster (יצירת אשכול) ב-Dataproc כדי שמסוף Google Cloud ייצור בקשת API REST מקבילה או פקודה בכלי gcloud.

עדכון אשכול עם עובדים משניים

כדי לעדכן אשכול ולהוסיף או להסיר עובדים משניים, משתמשים בפקודה gcloud dataproc clusters update עם הדגל --num-secondary-workers.

דוגמה

הפקודה הבאה מעדכנת את example-cluster כך שישתמש בארבעה עובדים משניים (מהסוג שמוגדר כברירת מחדל או מהסוג שצוין כשנוצר האשכול).

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=4 \
    --region=us-central1

הסרה של כל העובדים המשניים מאשכול

כדי להסיר את כל העובדים המשניים מאשכול, משתמשים בפקודה gcloud dataproc clusters update עם הערך 0 של --num-secondary-workers.

דוגמה

הפקודה הבאה מסירה את כל העובדים המשניים מ-example-cluster.

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=0 \
    --region=us-central1

API ל-REST

יצירת אשכול עם עובדים משניים

משתמשים ב-API‏ clusters.create של Dataproc כדי להוסיף לעובדים משניים לאשכול בזמן יצירת האשכול. בדוגמאות הבאות מוסבר איך ליצור אשכול עם כל אחד מסוגי העובדים המשניים: preemptible (ברירת מחדל), spot (ניתן להפסקת פעולה) ו-non-preemptible. אפשר להשתמש בשדות נוספים כדי לשלב בין מכונות Spot לבין מכונות משניות שאי אפשר להפסיק את הפעולה שלהן.

דוגמה 1

בקשת ה-POST הבאה יוצרת את cluster1 עם שני עובדי מכונות וירטואליות (VM) רגילים שניתנים להפסקת פעולה (סוג ברירת המחדל).


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster1",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  }
}

דוגמה 2

בקשת ה-POST הבאה יוצרת את cluster2 עם שתי מכונות וירטואליות מסוג spot (ניתנות להפסקת פעולה) של עובדים.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster2",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "SPOT"
    }
  }
}

דוגמה 3

בקשת ה-POST הבאה יוצרת את cluster3 עם שני עובדים משניים לא ניתנים להפסקת פעולה.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster3",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "NON_PREEMPTIBLE"
    }
  }
}

עדכון אשכול עם עובדים משניים

משתמשים ב-API‏ clusters.patch של Dataproc כדי להוסיף ולהסיר עובדים משניים.

דוגמה

בקשת ה-PATCH הבאה מעדכנת אשכול כך שיהיו בו ארבעה עובדים משניים (מהסוג שמוגדר כברירת מחדל או מהסוג שצוין כשיוצרים את האשכול).


PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 4
    }
  }
}

מאפשרים למסוף Google Cloud ליצור את בקשת יצירת האשכול. אפשר ללחוץ על הקישורים Equivalent REST or command line (מקבילה ל-REST או לשורת הפקודה) בתחתית החלונית הימנית של הדף Create a cluster (יצירת אשכול) ב-Dataproc כדי שהמסוף Google Cloud ייצור בקשת API REST מקבילה או פקודת ה-CLI של gcloud.

פתרון בעיות שקשורות לעובדים משניים

בעיות בהרשאות של חשבון שירות: עובדים משניים נוצרים באמצעות קבוצת מופעי מכונה מנוהלים. אם יש בעיית הרשאות, ביומני Dataproc לא יופיע דיווח על הכשל ביצירת עובדים משניים, אבל העובדים שנכשלו יופיעו בכרטיסייה VM Instances בדף Cluster details במסוףGoogle Cloud ללא סימן וי ירוק. כדי לראות את הרישום, פותחים את הדף Clusters (אשכולות) ב-Dataproc, ואז לוחצים על שם האשכול כדי לפתוח את הדף Cluster details (פרטי האשכול) של האשכול.
בעיות בהרשאות של קבוצת מופעי מכונה מנוהלים: כדי לבדוק אם יש בעיה בהרשאות של קבוצת מופעי מכונה מנוהלים:
1. מוצאים את השם של קבוצת מופעי מכונה מנוהלים (instanceGroupManagerName).
  המסוף
  1. פותחים את הדף Clusters (אשכולות) של Dataproc, ואז לוחצים על שם האשכול כדי לפתוח את הדף Cluster details (פרטי האשכול) של האשכול.
  2. לוחצים על Equivalent REST (מקבילה ל-REST) בתחתית הדף, ואז מעיינים בערך config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
  Google Cloud CLI
  מריצים את הפקודה gcloud dataproc clusters describe עם הדגל --format כדי להציג את instanceGroupManagerName.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION \ --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
  API ל-REST
  שולחים בקשה clusters.get להחזרת הערך של config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
2. צפייה ביומנים ב-Logs Explorer.
- בוחרים את סוג המשאב Google Compute Engine Instance Group ומסננים לפי שם קבוצת מופעי מכונה מנוהלים.
- אפשר גם להחיל מסנן רישום ביומן עבור `resource.type="gce_instance_group" and resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.

שילוב של מכונות Spot עם מכונות משניות שלא ניתן להפסיק

כשיוצרים אשכול Dataproc, אפשר לציין שילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפקעה.

הגדרות של עובדים משניים לשימוש בעובדים משניים מסוג Spot לצד עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

כדי לקבל רמה מינימלית של קיבולת של עובדים משניים עם אפשרות להגדיל את הקיבולת כשמכונות וירטואליות מסוג Spot זמינות, משתמשים בהגדרות הבאות של עובדים משניים כשיוצרים אשכול Dataproc:

מספר העובדים המשניים: המספר הכולל של עובדים משניים להקצאה.
secondary worker type: spot is the secondary worker type when mixing spot with non-preemptible secondary workers.
‫standardCapacityBase: מספר העובדים המשניים (הרגילים) שניתן להקצות, שלא ניתן להפסיק את פעולתם. עובדים משניים שאי אפשר לקטוע את הפעולה שלהם מוקצים לפני סוגים אחרים של עובדים משניים.
‫standardCapacityPercentAboveBase: אחרי שמספר העובדים המשניים standardCapacityBase מגיע למקסימום, המערכת ממלאת את שאר העובדים המשניים שנדרשים כדי להגיע למספר הכולל של העובדים המשניים המבוקשים, באמצעות שילוב של מכונות וירטואליות שאינן ניתנות להפסקת פעולה ו-VM במודל Spot, באופן הבא:
- ‫standardCapacityPercentAboveBase: אחוז העובדים המשניים שנותרו למילוי במכונות וירטואליות שלא ניתן להפסיק לפני הזמן.
- המספר הנותר שנדרש כדי להגיע למספר הכולל של העובדים המשניים המבוקשים יאוכלס על ידי VM במודל Spot.

לדוגמה:

מספר העובדים המשניים: 15
‫standardCapacityBase: 5
standardCapacityPercentAboveBase 30%

תוצאה:

לא ניתנת להפקעה: 8 = 5 (standardCapacityBase) + 3 (30% מ-10 הנותרים)
מקום חנייה: 7 (70% מתוך 10 המקומות שנותרו)
סה"כ = 15

יצירת אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה

אתם יכולים להשתמש ב-CLI של gcloud או ב-Dataproc API כדי לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים לא ניתנים להפקעה כשאתם יוצרים אשכול.

gcloud

מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק.

gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --secondary-worker-type=spot \
    --num-secondary-workers=NUMBER_SECONDARY_WORKERS \
    --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \
    --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \
    OTHER_FLAGS_AS_NEEDED

הערות:

‫CLUSTER_NAME: השם של האשכול החדש.
‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info בלוח הבקרה של מסוף Google Cloud .
‫REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
‫--secondary-worker-type: כשמשלבים בין עובדים משניים מסוג ספוט לבין עובדים משניים לא ניתנים להפקעה, צריך לציין את סוג העובד המשני כ-spot.
‫STANDARD_CAPACITY_BASE ו-STANDARD_CAPACITY_PERCENT_ABOVE_BASE: אפשר לעיין במאמר הגדרות של עובדים משניים כדי לשלב עובדים משניים זמניים עם עובדים משניים לא ניתנים להפקעה.
‫OTHER_FLAGS_AS_NEEDED: ראו gcloud dataproc clusters create.

API

כדי לשלב בין עובדים משניים שניתנים להפסקת פעולה לבין עובדים משניים שלא ניתנים להפסקת פעולה, צריך להגדיר את שדות ה-API של Dataproc‏ preemptibility,‏ standardCapacityBase ו-standardCapacityPercentAboveBase כחלק מבקשת cluster.create, כמו בדוגמה הבאה של JSON:

{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 15,
      "preemptibility": "spot",
      "instanceFlexibilityPolicy": {
        "provisioningModelMix": {
          "standardCapacityBase": STANDARD_CAPACITY_BASE
          "standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE
        }
      }
    }
  }
}

הערות:

‫CLUSTER_NAME: השם של האשכול החדש.
‫preemptibility: כשמשלבים בין עובדים משניים זמניים לבין עובדים משניים שלא ניתן להפסיק את פעולתם, צריך לציין את spot.
‫STANDARD_CAPACITY_BASE ו-STANDARD_CAPACITY_PERCENT_ABOVE_BASE: אפשר לעיין במאמר הגדרות של עובדים משניים כדי לשלב עובדים משניים זמניים עם עובדים משניים לא ניתנים להפקעה.

שילוב של מיקסים של עובדים משניים עם מכונות VM גמישות

כשיוצרים אשכול, אפשר לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים שלא ניתן להפסיק את פעולתם ולציין צורות גמישות של מכונות וירטואליות לעובדים משניים.

דוגמה ל-CLI של gcloud:

gcloud dataproc clusters create cluster-name \
    --project=project-id \
    --region=us-central1 \
    --secondary-worker-type=spot \
    --num-secondary-workers=15 \
    --secondary-worker-standard-capacity-base=5 \
    --secondary-worker-standard-capacity-percent-above-base=30 \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"
    ...other flags as needed

מאפייני ערבוב של עובדים משניים

בקטע הזה מתוארים חלק מההתנהגויות והמאפיינים שקשורים לשילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפקעה.

העדפה של עובד משני

‫Dataproc לא נותן עדיפות למכונות וירטואליות מסוג Spot או למכונות וירטואליות שלא ניתן להפסיק את פעולתן כשמתזמנים אפליקציות במכונות worker משניות.

שינוי גודל של עובדים משניים

כשמבצעים שינוי גודל של עובדים משניים באמצעות התאמה אוטומטית לעומס (automatic scaling) או שינוי גודל ידני, Dataproc שומר על היחס המבוקש בין מכונות Spot למכונות זמניות כשמוסיפים עובדים משניים.

עדכון ההגדרות של שילוב עובדים משניים

אתם מציינים את השילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה כשיוצרים אשכול Dataproc. אי אפשר לשנות את הגדרות השילוב של העובדים המשניים אחרי שיוצרים את האשכול.

זיהוי של הפסקה זמנית של עובד משני ב-Spot

‫Dataproc לא שולט בתזמון של הפסקה זמנית של VM במודל Spot (ראו הפסקה זמנית של VM במודל Spot).
כשמתרחש ניתוק של מכונות מסוג Spot, קבוצת העובדים המשנית יכולה לפעול עם קיבולת מופחתת באופן זמני עד ש-Compute Engine יקצה מחדש את המכונות הווירטואליות שניתקו.
מערכת Dataproc לא תוסיף קיבולת לקבוצת עובדים משנית מעבר להגדרות הראשוניות של הקבוצה.

עובדים משניים ב-Dataproc קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

עובדים משניים שניתן להפסיק את הפעולה שלהם ועובדים משניים שלא ניתן להפסיק את הפעולה שלהם

עובדים זמניים שניתנים להפסקה

עובדים שלא ניתן להפסיק את הפעולה שלהם

בחירת עובדים משניים

המסוף

יצירת אשכול עם עובדים משניים

עדכון אשכול עם מכונות משניות

הסרה של כל המופעים המשניים מאשכול

פקודה של Google Cloud CLI

יצירת אשכול עם עובדים משניים

עדכון אשכול עם עובדים משניים

הסרה של כל העובדים המשניים מאשכול

API ל-REST

יצירת אשכול עם עובדים משניים

עדכון אשכול עם עובדים משניים

פתרון בעיות שקשורות לעובדים משניים

המסוף

Google Cloud CLI

API ל-REST

שילוב של מכונות Spot עם מכונות משניות שלא ניתן להפסיק

הגדרות של עובדים משניים לשימוש בעובדים משניים מסוג Spot לצד עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

יצירת אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה

gcloud

API

שילוב של מיקסים של עובדים משניים עם מכונות VM גמישות

מאפייני ערבוב של עובדים משניים

העדפה של עובד משני

שינוי גודל של עובדים משניים

עדכון ההגדרות של שילוב עובדים משניים

זיהוי של הפסקה זמנית של עובד משני ב-Spot

עובדים משניים ב-Dataproc