כדי לשנות את קנה המידה של אשכול Managed Service for Apache Spark ב-GKE, מעדכנים את הגדרת ה-autoscaler של מאגרי הצמתים שמשויכים לתפקידים של מנהל ההתקן של Spark או של מפעיל Spark. כשיוצרים אשכול של Managed Service for Apache Spark ב-GKE, מציינים את מאגרי הצמתים של Managed Service for Apache Spark ב-GKE ואת התפקידים שמשויכים אליהם.
הגדרת התאמה לעומס (autoscaling) של מאגר צמתים
אתם יכולים להגדיר את הגבולות של ההתאמה האוטומטית לעומס (automatic scaling) של מאגר הצמתים של Managed Service for Apache Spark ב-GKE כשאתם יוצרים אשכול וירטואלי של Managed Service for Apache Spark ב-GKE. אם לא מציינים ערך, מאגרי הצמתים של Managed Service for Apache Spark ב-GKE מותאמים אוטומטית לפי ערכי ברירת המחדל (בגרסת הזמינות הכללית של Managed Service for Apache Spark ב-GKE, ערכי ברירת המחדל הם מינימום = 1 ומקסימום = 10, והם עשויים להשתנות). כדי לקבל ערכים ספציפיים מינימליים ומקסימליים להתאמה אוטומטית לעומס של מאגר הצמתים, צריך להגדיר אותם כשיוצרים את האשכול הווירטואלי של Managed Service for Apache Spark ב-GKE.
עדכון ההתאמה לעומס (autoscaling) של מאגר הצמתים
כדי לשנות את הגדרת ההתאמה האוטומטית לעומס של מאגר צמתים של Managed Service for Apache Spark ב-GKE, משתמשים בפקודת GKE הבאה: gcloud container node-pools update.
gcloud container node-pools update NODE_POOL_NAME \ --cluster=GKE_CLUSTER_NAME \ --region=region \ --enable-autoscaling \ --min-nodes=min nodes (must be <= max-nodes) \ --max-nodes=max nodes (must be >= min-nodes) \
איך פועלת ההתאמה האוטומטית של קנה המידה ב-Spark
- כשמגישים משימה, הפוד של הדרייבר מתוזמן לפעול במאגר הצמתים שמשויך לתפקיד הדרייבר של Spark.
- ה-Pod של ה-driver קורא למתזמן של GKE כדי ליצור Pods של executor.
- הפודים של ה-executor מתוזמנים במאגר הצמתים שמשויך לתפקיד Spark executor.
- אם במאגרי הצמתים יש קיבולת לפודים, הפודים מתחילים לפעול באופן מיידי. אם אין מספיק קיבולת, הכלי להתאמה אוטומטית לעומס של אשכול GKE מגדיל את מאגר הצמתים כדי לספק את המשאבים המבוקשים, עד למגבלה שהמשתמש ציין. כשיש קיבולת עודפת במאגרי הצמתים, המידרוג האוטומטי של אשכול GKE מצמצם אנכית את מאגר הצמתים עד למגבלה שהמשתמש הגדיר.