יצירת מאגרי צמתים

כשאתם יוצרים או מעדכנים אשכול וירטואלי של Managed Service for Apache Spark ב-GKE, אתם מציינים מאגר אחד או יותר של צמתים שהאשכול הווירטואלי ישתמש בהם כדי להריץ משימות (האשכול הזה נקרא האשכול "שבשימוש" או "שמשויך" למאגרי הצמתים שצוינו). אם מאגר הצמתים שציינתם לא קיים באשכול GKE, ‏Managed Service for Apache Spark ב-GKE ייצור את מאגר הצמתים באשכול GKE עם ההגדרות שציינתם. אם מאגר הצמתים קיים ונוצר על ידי Managed Service for Apache Spark, הוא יאומת כדי לוודא שההגדרות שלו תואמות להגדרות שצוינו.

הגדרות של מאגר צמתים ב-Managed Service for Apache Spark ב-GKE

אתם יכולים לציין את ההגדרות הבאות במאגרי הצמתים שמשמשים את האשכולות הווירטואליים של Managed Service for Apache Spark ב-GKE (ההגדרות האלה הן קבוצת משנה של ההגדרות של מאגר הצמתים ב-GKE):

  • accelerators
  • acceleratorCount
  • acceleratorType
  • gpuPartitionSize*
  • localSsdCount
  • machineType
  • minCpuPlatform
  • minNodeCount
  • maxNodeCount
  • preemptible
  • spot*

הערות:

  • אפשר להגדיר את gpuPartitionSize ב-Managed Service for Apache Spark API GkeNodePoolAcceleratorConfig.
  • אפשר להגדיר את spot ב-GkeNodeConfig של Managed Service for Apache Spark API.

מחיקת מאגר צמתים

כשמוחקים אשכול של Managed Service for Apache Spark ב-GKE, מאגרי הצמתים שמשמשים את האשכול לא נמחקים. במאמר מחיקת מאגר צמתים מוסבר איך למחוק מאגרי צמתים שכבר לא נמצאים בשימוש של Managed Service for Apache Spark באשכולות GKE.

מיקום מאגר הצמתים

כשיוצרים או מעדכנים את האשכול הווירטואלי, אפשר לציין את מיקום האזור של מאגרי הצמתים שמשויכים לאשכול הווירטואלי של Managed Service for Apache Spark ב-GKE. האזורים של מאגר הצמתים צריכים להיות באזור של האשכול הווירטואלי המשויך.

מיפוי התפקידים למאגר הצמתים

התפקידים של מאגר הצמתים מוגדרים לעבודה של מנהל ההתקן והמבצע של Spark, עם תפקיד ברירת מחדל שמוגדר לכל סוגי העבודה של מאגר הצמתים. באשכולות של Managed Service for Apache Spark ב-GKE צריך להיות לפחות מאגר צמתים אחד שמוקצה לו התפקיד default. לא חובה להקצות תפקידים אחרים.

המלצה: צרו מאגרי צמתים נפרדים לכל סוג תפקיד, עם סוג וגודל צומת שמבוססים על דרישות התפקיד.

דוגמה ליצירת אשכול וירטואלי באמצעות ה-CLI של gcloud:

gcloud dataproc clusters gke create "${DP_CLUSTER}" \
  --region=${REGION} \
  --gke-cluster=${GKE_CLUSTER} \
  --spark-engine-version=latest \
  --staging-bucket=${BUCKET} \
  --pools="name=${DP_POOLNAME},roles=default \
  --setup-workload-identity
  --pools="name=${DP_CTRL_POOLNAME},roles=default,machineType=e2-standard-4" \
  --pools="name=${DP_DRIVER_POOLNAME},min=1,max=3,roles=spark-driver,machineType=n2-standard-4" \
  --pools="name=${DP_EXEC_POOLNAME},min=1,max=10,roles=spark-executor,machineType=n2-standard-8"