כדי לשנות את גודל האשכול של Managed Service for Apache Spark ב-GKE, צריך לעדכן את ההגדרה של שינוי הגודל האוטומטי של מאגר הצמתים שמשויך לתפקידים של מנהל ההתקן או של מפעיל Spark. כשיוצרים אשכול של Managed Service for Apache Spark on GKE, מציינים מאגרי צמתים ותפקידים משויכים של Managed Service for Apache Spark on GKE.
הגדרת התאמה אוטומטית של גודל מאגר הצמתים
אפשר להגדיר את הגבולות של שינוי הגודל האוטומטי של מאגר הצמתים ב-Managed Service for Apache Spark on GKE כשיוצרים אשכול וירטואלי של Managed Service for Apache Spark on GKE. אם לא מציינים ערכים, מתבצעת שינוי גודל אוטומטי של מאגרי הצמתים של Managed Service for Apache Spark ב-GKE עם ערכי ברירת מחדל (בגרסת ה-GA של Managed Service for Apache Spark ב-GKE, ערכי ברירת המחדל הם מינימום = 1 ומקסימום = 10, והם עשויים להשתנות). כדי לקבל ערכים ספציפיים של התאמה אוטומטית לעומס (autoscaling) של מאגר הצמתים, צריך להגדיר אותם כשיוצרים את Managed Service for Apache Spark באשכול וירטואלי של GKE.
עדכון של שינוי הגודל האוטומטי של מאגר צמתים
כדי לשנות את הגדרת שינוי הגודל האוטומטי של מאגר צמתים ב-Managed Service for Apache Spark ב-GKE, משתמשים בפקודה הבאה של GKE: gcloud container node-pools update
gcloud container node-pools update NODE_POOL_NAME \ --cluster=GKE_CLUSTER_NAME \ --region=region \ --enable-autoscaling \ --min-nodes=min nodes (must be <= max-nodes) \ --max-nodes=max nodes (must be >= min-nodes) \
איך מתבצעת התאמה אוטומטית של קנה המידה ב-Spark
- כששולחים משימה, הפוד של הדרייבר מתוזמן להפעלה במאגר הצמתים שמשויך לתפקיד הדרייבר של Spark.
- ה-pod של מנהל ההתקן קורא למתזמן של GKE כדי ליצור פודים של executor.
- תזמון של פודים של Executor מתבצע במאגר הצמתים שמשויך לתפקיד Spark executor.
- אם יש קיבולת למאגרי הצמתים עבור הפודים, הפודים מתחילים לפעול באופן מיידי. אם הקיבולת לא מספיקה, הכלי להתאמה אוטומטית של אשכולות GKE מגדיל את מאגר הצמתים כדי לספק את המשאבים המבוקשים, עד למגבלה שצוינה על ידי המשתמש. אם יש קיבולת עודפת במאגרי הצמתים, הכלי לשינוי גודל אוטומטי של אשכולות GKE מקטין את מאגר הצמתים עד למגבלה שהמשתמש הגדיר.