בחירת תחום אוטומטית (Auto Zone) ב-Dataproc

כשיוצרים אשכול Dataproc, מציינים אזור של Compute Engine כמיקום של האשכול. אפשר גם לציין אזור בתוך האזור הזה, או להשמיט את האזור כדי שהתכונה 'בחירת תחום אוטומטית (Auto Zone)' של Dataproc תבחר בשבילכם אזור באזור שצוין. כל הצמתים באשכול נפרסים באזור שנבחר.

אפשר להחריג אזורים מקריטריוני הבחירה האוטומטית של אזורים אם האזור של האשכול כולל לפחות שני אזורים שלא הוחרגו. מידע נוסף זמין במאמר בנושא שימוש בבחירת תחום אוטומטית (Auto Zone).

בחירת תחום אוטומטית (Auto Zone) והזמנות משאבים

התכונה 'בחירת תחום אוטומטית (Auto Zone)' נותנת עדיפות ליצירת אשכול באזור עם הזמנות של משאבים, באופן הבא:

  • אם אפשר לספק את כל משאבי האשכול המבוקשים באמצעות משאבים מוזמנים, ובמקרה הצורך גם משאבים על פי דרישה באזור מסוים, התכונה 'בחירת תחום אוטומטית (Auto Zone)' תשתמש במשאבים המוזמנים ובמשאבים על פי דרישה, ותיצור את האשכול באזור הזה.

  • התכונה 'בחירת תחום אוטומטית (Auto Zone)' נותנת עדיפות לאזורים לבחירה לפי ליבות ה-CPU הכוללות (vCPU) ששוריינו באזור.

    דוגמה: בבקשה ליצירת אשכול צוינו 20 n2-standard-2 ו-1 n2-standard-64 (נדרשו 40 + 64 vCPUs). התכונה 'בחירת תחום אוטומטית (Auto Zone)' תיתן עדיפות לאזורים הבאים לבחירה בהתאם למספר הכולל של הזמנות vCPU שזמינות באזור:

    1. zone-c מקומות פנויים להזמנה: 3 n2-standard-2 ו-1 n2-standard-64 (70 vCPUs)
    2. zone-b מקומות פנויים להזמנה: 1 n2-standard-64 (64 vCPUs)

    3. zone-a הזמנות זמינות: 25 n2-standard-2 (50 vCPUs)

      בהנחה שלכל אחד מהאזורים האלה יש משאבים נוספים על פי דרישה vCPU ומשאבים אחרים שמספיקים כדי לספק את בקשת האשכול, התכונה 'בחירת תחום אוטומטית (Auto Zone)' תבחר באזור zone-c ליצירת האשכול.

  • אם אי אפשר לספק את כל משאבי האשכול שנדרשים באמצעות משאבים שמורים בתוספת משאבים לפי דרישה באזור מסוים, התכונה 'בחירת תחום אוטומטית (Auto Zone)' תיצור את האשכול באזור שבו הכי סביר שאפשר יהיה לספק את הבקשה באמצעות משאבים לפי דרישה.

שימוש בבחירת תחום אוטומטית (Auto Zone)

המסוף

כדי ליצור אשכול Dataproc שמשתמש בבחירת תחום אוטומטית (Auto Zone):

  1. במסוף Google Cloud , פותחים את הדף Dataproc Create a Dataproc cluster on Compute Engine. החלונית הגדרת אשכול נבחרת.
  2. בקטע מיקום, מבצעים את הפעולות הבאות:
    • בוחרים אזור לאשכול.
    • בקטע אזור, בוחרים באפשרות 'כלשהו'.

החרגת אזורים: ציון אזורים להחרגה ממיקום אוטומטי של אזורים לא נתמך דרך Google Cloud המסוף. התכונה הזו זמינה באמצעות Google Cloud CLI ו-API בארכיטקטורת REST.

‫CLI של gcloud

כדי ליצור אשכול Dataproc שמשתמש בבחירת תחום אוטומטית (Auto Zone), משתמשים בפקודה gcloud dataproc clusters create. מגדירים את הדגל --region לאזור, ואז משמיטים את הדגל --zone או מגדירים אותו למחרוזת ריקה (--zone="").--zone

במקום להשתמש בדגל ‎ `--zone` ‎, אפשר להשתמש בדגל --auto-zone-exclude-zones כדי לציין רשימה של אזורים שמופרדים בפסיקים. בחירת תחום אוטומטית (Auto Zone) תבחר אזור מתוך האזור שצוין, אבל לא תכלול את האזורים שמופיעים ברשימה בקריטריוני הבחירה שלה. שימו לב שצריכים להיות לפחות שני אזורים לא מוחרגים שזמינים באזור של האשכול.

לדוגמה:

שימוש בסיסי ב-Auto Zone:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    other args ...

בחירת תחום אוטומטית (Auto Zone) עם אזורים מוחרגים:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --auto-zone-exclude-zones=ZONE_1,ZONE_2 \
    other args ...

API ל-REST

כדי ליצור אשכול Dataproc שמשתמש בבחירת תחום אוטומטית (Auto Zone), צריך ליצור בקשת API מסוג clusters.create בפורמט JSON, ולהשאיר את השדה gceClusterConfig.zoneUri ריק. בנקודת הקצה של REST, https://dataproc.googleapis.com/v1/projects/projectId/regions/region/clusters, מוסיפים שם של אזור. התכונה Dataproc Auto Zone תבחר אזור לאשכול בתוך האזור שצוין.

כדי להחריג אזורים ספציפיים, אפשר למלא את השדה gceClusterConfig.autoZoneExcludeZoneUris ברשימה של שמות אזורים להחרגה. חשוב לזכור שצריכים להיות לפחות שני אזורים לא מוחרגים שזמינים באזור של האשכול.

שימוש בשמות קצרים של משאבים עם בחירת תחום אוטומטית (Auto Zone): כשמציינים URI של משאב, כמו machineTypeUri או acceleratorTypeUri, בבקשה ליצירת אשכול API בארכיטקטורת REST של בחירת תחום אוטומטית (Auto Zone), צריך להשתמש בשם קצר של משאב ללא ציון אזור, למשל n1-standard-2 או nvidia-tesla-t4.