"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

Managed Service for Apache Spark secondary workers

בנוסף לשימוש במכונות וירטואליות רגילות של Compute Engine כעובדים (workers) של Managed Service for Apache Spark (שנקראים עובדים ראשיים), אשכולות של Managed Service for Apache Spark יכולים להשתמש בעובדים מסוג secondary.

המאפיינים הבאים חלים על כל העובדים המשניים באשכול Managed Service for Apache Spark:

עיבוד בלבד – עובדים משניים לא מאחסנים נתונים. הן פועלות רק כצמתים לעיבוד. לכן, אתם יכולים להשתמש בעובדים משניים כדי להרחיב את המחשוב בלי להרחיב את האחסון.
רק עובדים משניים – אפשר ליצור אשכול עם אפס עובדים רק עם עובדים משניים. עם זאת, אם יוצרים אשכול רגיל ומציינים רק עובדים משניים (לא מציינים את מספר העובדים הראשיים), Managed Service for Apache Spark מוסיף לאשכול שני עובדים ראשיים.
סוג המכונה – כברירת מחדל, עובדים משניים משתמשים בסוג המכונה של העובדים הראשיים באשכול. לדוגמה, אם יוצרים אשכול עם עובדים ראשיים שמשתמשים בסוגי מכונות n1-standard-4, כברירת מחדל, גם כל העובדים המשניים שנוספים לאשכול ישתמשו במכונות n1-standard-4.

במקום להשתמש בסוג ברירת המחדל של primary worker עבור עובדים משניים, אפשר לציין רשימה אחת או יותר של סוגי מכונות מדורגים עבור עובדים משניים. מידע נוסף זמין במאמר בנושא מכונות וירטואליות גמישות של Managed Service for Apache Spark.
גודל הדיסק המתמיד – כברירת מחדל, נוצרים עובדים משניים עם גודל קטן יותר של 1,000GB או גודל דיסק האתחול של ה-primary worker. השטח הזה בדיסק משמש לשמירת נתונים במטמון מקומי, והוא לא זמין דרך HDFS. אפשר לשנות את גודל הדיסק שמוגדר כברירת מחדל באמצעות הפקודה gcloud dataproc clusters create --secondary-worker-boot-disk-size בזמן יצירת האשכול. אפשר לציין את הדגל הזה גם אם לא יהיו workers משניים באשכול כשהוא ייווצר.
יצירה אסינכרונית – כשמוסיפים עובדים משניים על ידי יצירה או הגדלה של אשכול, יכול להיות שהעובדים המשניים לא יוקצו עד לסיום פעולת היצירה או העדכון. הסיבה לכך היא ש-Managed Service for Apache Spark מנהל עובדים משניים באמצעות Managed Instance Groups ‏ (MIGs), שיוצרים מכונות וירטואליות באופן אסינכרוני ברגע שאפשר להקצות אותן (ראו בדיקת הסטטוס של מופעים מנוהלים).

עובדים משניים שניתן להפסיק את הפעולה שלהם ועובדים משניים שלא ניתן להפסיק את הפעולה שלהם

יש שלושה סוגים של עובדים משניים: מכונות וירטואליות מסוג Spot,‏ מכונות וירטואליות רגילות מסוג Preemptible ומכונות וירטואליות מסוג Non-preemptible. סוג ה-worker המשני שמוגדר כברירת מחדל ב-Managed Service for Apache Spark הוא VM זמני רגיל. אפשר לציין שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק.

לדוגמה: אם בוחרים שלושה עובדים משניים כשיוצרים אשכול, אפשר לציין שלוש מכונות וירטואליות מסוג Spot, שלוש מכונות וירטואליות מסוג preemptible, שלוש מכונות וירטואליות מסוג non-preemptible או שילוב של עובדים מסוג Spot ועובדים מסוג non-preemptible.

עובדים זמניים שניתנים להפסקה

למרות שהסרה פוטנציאלית של עובדים עם אפשרות קדימה יכולה להשפיע על יציבות העבודה, יכול להיות שתחליטו להשתמש במופעים עם אפשרות קדימה כדי להפחית את עלויות החישוב לשעה לעיבוד נתונים לא קריטי או כדי ליצור אשכולות גדולים מאוד בעלות כוללת נמוכה יותר (אפשר להשתמש במחשבון התמחור של Google Cloud כדי להעריך את העלויות).
כדי לקבל את התוצאות הטובות ביותר, מספר העובדים שניתן להפסיק את הפעולה שלהם באשכול צריך להיות פחות מ-50% מהמספר הכולל של כל העובדים (העובדים הראשיים ועובדים משניים) באשכול.
כשמשתמשים ב-workers שניתנים להפקעה, סביר להניח שבמשימות יהיו יותר כשלים זמניים של משימות ב-worker יחיד, בהשוואה למשימות שמופעלות ב-workers שלא ניתן להפקעה. כדי להגדיל את הסבילות של משימות לכשלים ברמה נמוכה, אפשר להגדיר ערכים של מאפייני אשכול שדומים לערכי ברירת המחדל של המאפיינים שמשמשים עם אשכולות של שינוי גודל אוטומטי, כדי להגדיל את המספר המקסימלי של ניסיונות חוזרים של משימות ולמנוע כשלים במשימות.

כדאי לדעת: אם אתם משתמשים במכונות וירטואליות שניתנות להפסקת פעולה עם Spark, כדאי להשתמש במצב גמישות משופר.
שיקול לחיסכון בעלויות: השימוש במכונות וירטואליות שניתנות להפסקת פעולה לא תמיד מוביל לחיסכון בעלויות, כי הפסקות פעולה עלולות לגרום לביצוע ממושך יותר של עבודות, וכתוצאה מכך לעלויות גבוהות יותר של העבודות. אמנם שימוש במצב גמישות משופר (EFM) עם מכונות וירטואליות שניתנות להפסקת פעולה יכול לעזור לצמצם את ההשפעה של התוצאה הזו, אבל החיסכון הכולל בעלויות של מכונות וירטואליות שניתנות להפסקת פעולה משתנה בהתאם לתרחיש השימוש. באופן כללי, משימות לזמן קצר מתאימות יותר לשימוש ב-VM זמני, כי הסיכוי להפסקות זמניות במהלך הרצת המשימה יהיה נמוך יותר. כדי להעריך את העלויות ולהגיע לפתרון הטוב ביותר, כדאי לנסות אפשרויות שונות לעבודות, כמו מכונות וירטואליות לא ניתנות להפסקת פעולה ומכונות וירטואליות ניתנות להפסקת פעולה עם EFM.

עובדים שלא ניתן להפסיק את הפעולה שלהם

אתם יכולים ליצור אשכול עם עובדים משניים שלא ניתן להפסיק כדי להרחיב את המחשוב בלי לפגוע ביציבות העבודה. כדי לעשות זאת, מציינים את הערך non-preemptible כסוג העובד המשני. אפשר לשלב בין עובדים משניים שאי אפשר להפריע להם לבין עובדים משניים מסוג Spot.

בחירת עובדים משניים

אפשר לציין את המספר והסוג של העובדים המשניים כשיוצרים אשכול באמצעות Google Cloud מסוף,‏ ה-CLI של gcloud או Dataproc API.

אפשר לשלב בין מכונות Spot לבין מכונות משניות שלא ניתן לקטוע את הפעולה שלהן.
אחרי שיוצרים את האשכול, אפשר לעדכן אותו כדי לשנות את מספר העובדים המשניים באשכול, אבל לא את הסוג שלהם.
עדכוני תוויות מועברים לכל העובדים המשניים שניתנים להפסקה תוך 24 שעות. עדכוני תוויות לא מועברים לעובדים משניים קיימים שלא ניתן להפסיק. עדכוני תוויות מועברים לכל העובדים שנוספו לאשכול אחרי עדכון התווית. לדוגמה, אם מגדילים את קנה המידה של האשכול, לכל העובדים הראשיים והמשניים החדשים יהיו התוויות החדשות.

המסוף

אפשר לציין את מספר העובדים המשניים כשיוצרים אשכול Managed Service for Apache Spark ממסוף Google Cloud . אחרי שיוצרים אשכול, אפשר להוסיף ולהסיר עובדים משניים על ידי עריכת הגדרות האשכול מGoogle Cloud המסוף.

יצירת אשכול עם עובדים משניים

פותחים את הדף Create cluster.
לוחצים על הגדרה נוספת כדי להרחיב את הקטע.
עורכים את עובדים משניים.
בחלונית שנפתחת, מציינים את המספר, הסוג והגדרות אחרות של העובדים המשניים.

עדכון אשכול עם מכונות משניות

כדי לעדכן את מספר העובדים המשניים באשכול, לוחצים על שם האשכול בדף Clusters (אשכולות) במסוף Google Cloud . בדף פרטי האשכול. לוחצים על הכרטיסייה הגדרות, ואז לוחצים על עריכה ומעדכנים את המספר בשדה Secondary worker nodes (צמתי עובד משניים).

הסרה של כל המופעים המשניים ממקבץ

כדי להסיר את כל העובדים המשניים מאשכול, מעדכנים את הגדרות האשכול כמו שמוסבר קודם, ומזינים 0 בשדה Secondary worker nodes (צמתי עובדים משניים).

פקודה ב-CLI של gcloud

משתמשים בפקודה gcloud dataproc clusters create כדי להוסיף עובדים משניים לאשכול כשיוצרים את האשכול. אחרי שיוצרים אשכול, אפשר להוסיף או להסיר ממנו עובדים משניים באמצעות הפקודה gcloud dataproc clusters update (אפשר לעדכן את מספר העובדים המשניים, אבל לא את הסוג שלהם).

יצירת אשכול עם עובדים משניים

כדי ליצור אשכול עם עובדים משניים, משתמשים בפקודה gcloud dataproc clusters create עם הארגומנט --num-secondary-workers. עובדים משניים הם מכונות וירטואליות זמניות רגילות כברירת מחדל. כשיוצרים אשכול, אפשר לציין עובדים משניים שאי אפשר להפסיק או עובדים משניים מסוג Spot על ידי הגדרת הדגל --secondary-worker-type לערך non-preemptible או spot. בדוגמאות הבאות מוצגות דרכים ליצירת אשכול עם כל אחד מסוגי העובדים המשניים: preemptible (ברירת מחדל), spot (preemptible) ו-non-preemptible. אפשר להשתמש בדגלים נוספים כדי לשלב בין מכונות Spot לבין מכונות משניות שלא ניתן להפסיק.

דוגמה 1

הפקודה הבאה יוצרת את cluster1 עם שני עובדים משניים רגילים שניתנים להפסקת פעולה (סוג ברירת המחדל).

gcloud dataproc clusters create cluster1 \
    --num-secondary-workers=2 \
    --region=us-central1

דוגמה 2

הפקודה הבאה משתמשת בדגל secondary-worker-type כדי ליצור את cluster2 עם שני עובדים משניים מסוג Spot (ניתנים להפסקת פעולה).

gcloud dataproc clusters create cluster2 \
    --num-secondary-workers=2 \
    --secondary-worker-type=spot \
    --region=us-central1

דוגמה 3

הפקודה הבאה משתמשת בדגל secondary-worker-type כדי ליצור את cluster3 עם שני secondary workers שלא ניתנים להפקעה.

gcloud dataproc clusters create cluster3 \
    --num-secondary-workers=2 \
    --secondary-worker-type=non-preemptible \
    --region=us-central1

שינוי הגודל של דיסק האתחול של העובד המשני. כברירת מחדל, כל ה-secondary workers נוצרים עם הגודל הקטן מבין 1,000GB או גודל דיסק האתחול של ה-primary worker. השטח הזה בדיסק משמש לשמירת נתונים במטמון באופן מקומי, והוא לא זמין דרך HDFS. אפשר לשנות את גודל הדיסק שמוגדר כברירת מחדל באמצעות הפקודה gcloud dataproc clusters create --secondary-worker-boot-disk-size בזמן יצירת האשכול. אפשר לציין את הדגל הזה גם אם לא קיימים worker משניים באשכול בזמן היצירה.

מאפשרים למסוף Google Cloud ליצור את בקשת יצירת האשכול. בתחתית הדף Create cluster, לוחצים על Equivalent command line או על Equivalent REST כדי שהמסוף Google Cloud ייצור פקודת ה-CLI של gcloud או בקשת API ל-REST ששקולות לפעולה הזו.

עדכון אשכול עם עובדים משניים

כדי לעדכן אשכול ולהוסיף או להסיר עובדים משניים, משתמשים בפקודה gcloud dataproc clusters update עם הדגל --num-secondary-workers.

דוגמה

הפקודה הבאה מעדכנת את example-cluster כך שישתמש בארבעה עובדים משניים (מהסוג שמוגדר כברירת מחדל או מהסוג שצוין כשיוצרים את האשכול).

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=4 \
    --region=us-central1

הסרת כל העובדים המשניים מאשכול

כדי להסיר את כל העובדים המשניים מאשכול, משתמשים בפקודה gcloud dataproc clusters update עם --num-secondary-workers שמוגדר ל-0.

דוגמה

הפקודה הבאה מסירה את כל העובדים המשניים מ-example-cluster.

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=0 \
    --region=us-central1

‫API בארכיטקטורת REST

יצירת אשכול עם עובדים משניים

משתמשים ב-API‏ clusters.create של Managed Service for Apache Spark כדי להוסיף עובדים משניים לאשכול כשיוצרים את האשכול. בדוגמאות הבאות מוצגות דרכים ליצור אשכול עם כל סוג משני של עובד: preemptible (ברירת מחדל), spot (ניתן להפסיק) ו-non-preemptible. אפשר להשתמש בשדות נוספים כדי לשלב בין מכונות Spot לבין מכונות עובד משניות שלא ניתן להפסיק את פעולתן.

דוגמה 1

בקשת ה-POST הבאה יוצרת את cluster1 עם שתי מכונות וירטואליות מסוג standard preemptible (סוג ברירת המחדל) של עובדים.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster1",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  }
}

דוגמה 2

בקשת ה-POST הבאה יוצרת את cluster2 עם שתי מכונות וירטואליות (VM) מסוג spot (ניתנות להפסקת פעולה) של עובדים.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster2",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "SPOT"
    }
  }
}

דוגמה 3

בקשת ה-POST הבאה יוצרת את cluster3 עם שני עובדים משניים שלא ניתנים להפסקת פעולה.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster3",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "NON_PREEMPTIBLE"
    }
  }
}

עדכון אשכול עם עובדים משניים

משתמשים ב-API‏ clusters.patch של Managed Service for Apache Spark כדי להוסיף ולהסיר עובדים משניים.

דוגמה

בקשת ה-PATCH הבאה מעדכנת אשכול כך שיהיו בו ארבעה עובדים משניים (מהסוג שמוגדר כברירת מחדל או מהסוג שצוין כשיוצרים את האשכול).


PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 4
    }
  }
}

פתרון בעיות שקשורות לעובדים משניים

בעיות בהרשאות של חשבון שירות: עובדים משניים נוצרים באמצעות קבוצת מופעי מכונה מנוהלים. אם יש בעיית הרשאות, ביומני Managed Service for Apache Spark לא יופיע דיווח על הכישלון ביצירת עובדים משניים, אבל העובדים שנכשלו יופיעו בכרטיסייה VM Instances בדף Cluster details במסוףGoogle Cloud ללא סימן וי ירוק. כדי לראות את הרישום, פותחים את הדף Clusters (אשכולות) של Managed Service for Apache Spark, ואז לוחצים על שם האשכול כדי לפתוח את הדף Cluster details (פרטי האשכול) של האשכול.
בעיות בהרשאות של קבוצת מופעי מכונה מנוהלים: כדי לבדוק אם יש בעיה בהרשאות של קבוצת מופעי מכונה מנוהלים:
1. מוצאים את השם של קבוצת מופעי מכונה מנוהלים (instanceGroupManagerName).
  מסוףGoogle Cloud
  1. פותחים את הדף Clusters ולוחצים על שם האשכול כדי לפתוח את הדף Cluster details של האשכול.
  2. לוחצים על Equivalent REST (מקבילה ל-REST) בתחתית הדף, ואז מעיינים בערך config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
  ‫CLI של gcloud
  
  מריצים את הפקודה gcloud dataproc clusters describe עם הדגל --format כדי להציג את instanceGroupManagerName.
  gcloud dataproc clusters describe CLUSTER_NAME \ --region=REGION \ --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'
  ‫API בארכיטקטורת REST
  
  שולחים בקשה clusters.get להחזרת הערך של config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName.
2. צפייה ביומנים ב-Logs Explorer.
- בוחרים את סוג המשאב Google Compute Engine Instance Group ומסננים לפי שם קבוצת מופעי מכונה מנוהלים.
- אפשר גם להחיל מסנן רישום ביומן עבור `resource.type="gce_instance_group" and resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME.

שילוב של מכונות Spot עם עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

כשיוצרים אשכול Managed Service for Apache Spark, אפשר לציין שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק.

הגדרות של עובדים משניים לשימוש בעובדים משניים מסוג Spot לצד עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

כדי לקבל רמה מינימלית של קיבולת של עובדים משניים עם אפשרות להגדיל את הקיבולת כשמכונות וירטואליות מסוג Spot זמינות, צריך להשתמש בהגדרות הבאות של עובדים משניים כשיוצרים אשכול Managed Service for Apache Spark:

מספר העובדים המשניים: המספר הכולל של העובדים המשניים שצריך להקצות.
secondary worker type: spot הוא סוג העובד המשני כשמשלבים עובדים משניים מסוג Spot עם עובדים משניים מסוג non-preemptible.
‫standardCapacityBase: מספר העובדים המשניים (הרגילים) שניתן להקצות, שלא ניתן להפסיק את פעולתם. עובדים משניים שאי אפשר לקטוע את הפעולה שלהם מוקצים לפני סוגים אחרים של עובדים משניים.
‫standardCapacityPercentAboveBase: אחרי שמספר העובדים המשניים standardCapacityBase מגיע למקסימום, מספר העובדים המשניים שעדיין נדרשים כדי להגיע למספר הכולל של העובדים המשניים המבוקש, מתמלא בשילוב של מכונות וירטואליות שאי אפשר להפסיק ושל מכונות וירטואליות מסוג Spot, באופן הבא:
- ‫standardCapacityPercentAboveBase: אחוז העובדים המשניים שנותרו למילוי במכונות וירטואליות שלא ניתן להפסיק לפני הזמן.
- המספר הנותר שנדרש כדי להגיע למספר הכולל של העובדים המשניים המבוקשים יאוכלס על ידי מכונות וירטואליות מסוג Spot.

לדוגמה:

מספר העובדים המשניים: 15
‫standardCapacityBase: 5
standardCapacityPercentAboveBase 30%

תוצאה:

לא ניתנת להפסקה: 8 = 5 (standardCapacityBase) + 3 (30% מ-10 שנותרו)
מקום: 7 (70% מ-10 המקומות שנותרו)
סה"כ = 15

יצירת אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה

אתם יכולים להשתמש ב-CLI של gcloud או ב-Dataproc API כדי לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים לא ניתנים להפקעה כשאתם יוצרים אשכול.

gcloud

מריצים את הפקודה הבאה באופן מקומי או ב-Cloud Shell כדי ליצור אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים שלא ניתן להפסיק.

gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --secondary-worker-type=spot \
    --num-secondary-workers=NUMBER_SECONDARY_WORKERS \
    --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \
    --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \
    OTHER_FLAGS_AS_NEEDED

הערות:

‫CLUSTER_NAME: השם של האשכול החדש.
‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud . מזהי הפרויקטים מופיעים בקטע Project info בלוח הבקרה של מסוף Google Cloud .
‫REGION: אזור זמין ב-Compute Engine להרצת עומס העבודה.
‫--secondary-worker-type: כשמשלבים בין עובדים משניים מסוג spot לבין עובדים משניים לא ניתנים להפקעה, צריך לציין את סוג העובד המשני כ-spot.
‫STANDARD_CAPACITY_BASE ו-STANDARD_CAPACITY_PERCENT_ABOVE_BASE: אפשר לעיין במאמר הגדרות של עובדים משניים כדי לשלב בין עובדים משניים זמניים לבין עובדים משניים שלא ניתן להפסיק את פעולתם.
‫OTHER_FLAGS_AS_NEEDED: ראו gcloud dataproc clusters create.

API

כדי לשלב בין מכונות Spot לבין מכונות עובד משניות שלא ניתן להפסיק, צריך להגדיר את שדות ה-API של Managed Service for Apache Spark‏ preemptibility,‏ standardCapacityBase ו-standardCapacityPercentAboveBase כחלק מבקשת cluster.create, כמו שמוצג בדוגמת ה-JSON הבאה:

{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 15,
      **"preemptibility": "spot"**,
      "instanceFlexibilityPolicy": {
        "provisioningModelMix": {
          **"standardCapacityBase": STANDARD_CAPACITY_BASE**
          **"standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE**
        }
      }
    }
  }
}

הערות:

‫CLUSTER_NAME: השם של האשכול החדש.
‫preemptibility: כשמשלבים בין עובדים משניים שניתנים להפסקת פעולה לבין עובדים משניים שלא ניתן להפסיק את פעולתם, צריך לציין spot.
‫STANDARD_CAPACITY_BASE ו-STANDARD_CAPACITY_PERCENT_ABOVE_BASE: אפשר לעיין במאמר הגדרות של עובדים משניים כדי לשלב בין עובדים משניים זמניים לבין עובדים משניים שלא ניתן להפסיק את פעולתם.

שילוב של מיקסים של עובדים משניים עם מכונות VM גמישות

אתם יכולים לשלב בין עובדים משניים מסוג Spot לבין עובדים משניים שלא ניתן להפסיק את פעולתם ולציין צורות גמישות של מכונות וירטואליות לעובדים משניים כשאתם יוצרים אשכול.

דוגמה ל-CLI של gcloud:

gcloud dataproc clusters create cluster-name \
    --project=project-id \
    --region=us-central1 \
    --secondary-worker-type=spot \
    --num-secondary-workers=15 \
    --secondary-worker-standard-capacity-base=5 \
    --secondary-worker-standard-capacity-percent-above-base=30 \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"
    ...other flags as needed

מאפייני ערבוב של עובדים משניים

בקטע הזה מתוארים חלק מההתנהגויות והמאפיינים שקשורים לשילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה.

העדפה של עובד משני

‫Managed Service for Apache Spark לא נותן עדיפות למכונות וירטואליות מסוג Spot או למכונות וירטואליות שלא ניתן להפסיק את הפעולה שלהן כשמתזמנים אפליקציות בעובדים משניים.

קביעת קנה מידה של מופעי worker משניים

כשמבצעים שינוי גודל של עובדים משניים באמצעות שינוי גודל אוטומטי או שינוי גודל ידני, Managed Service for Apache Spark שומר על היחס המבוקש בין מכונות Spot למכונות רגילות כשמוסיפים עובדים משניים.

עדכון ההגדרות של שילוב עובדים משני

אתם מציינים את השילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפקעה כשאתם יוצרים אשכול Managed Service for Apache Spark. אי אפשר לשנות את הגדרות השילוב של העובדים המשניים אחרי שיוצרים את האשכול.

זיהוי של דחיקת עובד משני

שירות Managed Service for Apache Spark לא שולט בתזמון של הפסקת השימוש במכונות וירטואליות מסוג Spot (ראו הפסקת השימוש במכונות וירטואליות מסוג Spot).
כשמתרחשת דחיקה של מכונות וירטואליות מסוג Spot, קבוצת העובדים המשנית יכולה לפעול עם קיבולת מופחתת באופן זמני עד ש-Compute Engine יקצה מחדש את המכונות הווירטואליות שנדחקו.
‫Managed Service for Apache Spark לא יוסיף קיבולת לקבוצת עובדים משנית מעבר להגדרות הראשוניות של הקבוצה.

Managed Service for Apache Spark secondary workers קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

עובדים משניים שניתן להפסיק את הפעולה שלהם ועובדים משניים שלא ניתן להפסיק את הפעולה שלהם

עובדים זמניים שניתנים להפסקה

עובדים שלא ניתן להפסיק את הפעולה שלהם

בחירת עובדים משניים

המסוף

יצירת אשכול עם עובדים משניים

עדכון אשכול עם מכונות משניות

הסרה של כל המופעים המשניים ממקבץ

פקודה ב-CLI של gcloud

יצירת אשכול עם עובדים משניים

עדכון אשכול עם עובדים משניים

הסרת כל העובדים המשניים מאשכול

‫API בארכיטקטורת REST

יצירת אשכול עם עובדים משניים

עדכון אשכול עם עובדים משניים

פתרון בעיות שקשורות לעובדים משניים

מסוףGoogle Cloud

‫CLI של gcloud

‫API בארכיטקטורת REST

שילוב של מכונות Spot עם עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

הגדרות של עובדים משניים לשימוש בעובדים משניים מסוג Spot לצד עובדים משניים שלא ניתן להפסיק את הפעולה שלהם

יצירת אשכול עם שילוב של עובדים משניים מסוג Spot ועובדים משניים לא ניתנים להפסקת פעולה

gcloud

API

שילוב של מיקסים של עובדים משניים עם מכונות VM גמישות

מאפייני ערבוב של עובדים משניים

העדפה של עובד משני

קביעת קנה מידה של מופעי worker משניים

עדכון ההגדרות של שילוב עובדים משני

זיהוי של דחיקת עובד משני

Managed Service for Apache Spark secondary workers