כדי לשנות את גודל האשכול של Managed Service for Apache Spark ב-GKE, צריך לעדכן את ההגדרה של שינוי הגודל האוטומטי של מאגר הצמתים שמשויך לתפקידים של מנהל ההתקן או של מפעיל Spark. כשיוצרים אשכול של Managed Service for Apache Spark ב-GKE, מציינים מאגרי צמתים ואת התפקידים המשויכים אליהם ב-Managed Service for Apache Spark ב-GKE.
הגדרת התאמה אוטומטית של גודל מאגר הצמתים
אפשר להגדיר את הגבולות של שינוי הגודל האוטומטי של מאגר הצמתים ב-Managed Service for Apache Spark on GKE כשיוצרים אשכול וירטואלי של Managed Service for Apache Spark on GKE. אם לא מציינים את הערכים, המערכת משתמשת בערכי ברירת המחדל כדי לשנות את גודל קבוצות הצמתים ב-Managed Service for Apache Spark ב-GKE באופן אוטומטי (בגרסת ה-GA של Managed Service for Apache Spark ב-GKE, ערכי ברירת המחדל הם מינימום = 1 ומקסימום = 10, והם עשויים להשתנות). כדי לקבל ערכים ספציפיים של התאמה אוטומטית לעומס ב-node pool, צריך להגדיר אותם כשיוצרים את Managed Service for Apache Spark באשכול וירטואלי של GKE.
עדכון של שינוי הגודל האוטומטי של מאגר צמתים
כדי לשנות את הגדרת שינוי הגודל האוטומטי של מאגר צמתים ב-Managed Service for Apache Spark ב-GKE, משתמשים בפקודה הבאה של GKE: gcloud container node-pools update
gcloud container node-pools update NODE_POOL_NAME \ --cluster=GKE_CLUSTER_NAME \ --region=region \ --enable-autoscaling \ --min-nodes=min nodes (must be <= max-nodes) \ --max-nodes=max nodes (must be >= min-nodes) \
איך פועל שינוי הגודל האוטומטי ב-Spark
- כששולחים משימה, הפוד של הדרייבר מתוזמן להפעלה במאגר הצמתים שמשויך לתפקיד הדרייבר של Spark.
- ה-pod של מנהל ההתקן קורא למתזמן של GKE כדי ליצור pods של executor.
- הפודים של Executor מתוזמנים במאגר הצמתים שמשויך לתפקיד Spark executor.
- אם יש מאגרי צמתים עם קיבולת לפודים, הפודים מתחילים לפעול באופן מיידי. אם אין מספיק קיבולת, הכלי להתאמה אוטומטית של אשכולות GKE מגדיל את מאגר הצמתים כדי לספק את המשאבים המבוקשים, עד למגבלה שצוינה על ידי המשתמש. אם יש קיבולת עודפת במאגרי הצמתים, הכלי לשינוי גודל האשכול ב-GKE מקטין את מאגר הצמתים עד למגבלה שצוינה על ידי המשתמש.