המסמך הזה מראה איך להשבית את המידרוג האוטומטי של האשכול שמנוהל על ידי Google Kubernetes Engine (GKE), ואיך לפרוס מידרוג אוטומטי באירוח עצמי באשכול Standard באמצעות Helm. פריסת מידרוג אוטומטי של אשכול באירוח עצמי מאפשרת לכם להתאים אישית את הדגלים של ההתאמה האוטומטית לעומס, לבדוק פרמטרים ניסיוניים או להריץ גרסאות build בהתאמה אישית ממאגר הקוד הפתוח של מידרוג אוטומטי של אשכול ב-GKE.
המסמך הזה מיועד למנהלי פלטפורמות שמנהלים את התשתית ואת ההתאמה לעומס של אשכולות, וצריכים שליטה פרטנית בפרמטרים של המידרוג האוטומטי, מעבר למה שמספק מידרוג אוטומטי של אשכולות שמנוהל על ידי GKE.
דרישות ומגבלות
- אפשר להשתמש במידרוג אוטומטי של אשכולות באירוח עצמי רק באשכולות GKE Standard שפועלים בגרסה 1.37.2-gke.1042000 ואילך.
- אי אפשר להשתמש במידרוג אוטומטי לאשכולות באירוח עצמי באשכולות במצב Autopilot, באשכולות במצב Standard שמכילים מאגרי צמתים שמנוהלים על ידי Autopilot, או באשכולות במצב Standard שמשתמשים במצב אוטומטי ל-ComputeClasses.
- באשכול שלכם חייב להיות לפחות צומת עובד אחד שפועל כל הזמן כדי לארח את ה-Pod של המידרוג האוטומטי של האשכול באירוח עצמי. אשכול שמריץ את המידרוג האוטומטי של האשכול באירוח עצמי לא יכול לצמצם את מספר הצמתים הכולל לאפס.
- אתם אחראים לפריסה, לעדכון ולמעקב אחרי עומס העבודה של המידרוג האוטומטי של אשכולות באירוח עצמי. צוות Cloud Customer Care לא פותר בעיות בפריסות של התאמה אוטומטית של קנה מידה לאשכולות באירוח עצמי או בהתאמה אישית. כדי לקבל תמיכה מ-Customer Care בבעיות שקשורות להתאמה אוטומטית לעומס, עברו חזרה למנגנון המידרוג האוטומטי של אשכולות שמנוהלים על ידי GKE.
- אם המידרוג האוטומטי שמנוהל על ידי GKE מושבת, GKE לא פולט אירועי חשיפה של המידרוג האוטומטי באשכול של מישור הבקרה לסטרימינג של היומן
container.googleapis.com/cluster-autoscaler-visibility. במקום זאת, אפשר להציג את היומנים והמדדים של שינוי קנה המידה ישירות מה-Pod של ה-autoscaler באשכול באירוח עצמי.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:
- מפעילים את Google Kubernetes Engine API. הפעלת Google Kubernetes Engine API
- כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה
gcloud components updateכדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.
- מוודאים שיש לכם אשכול Standard קיים שפועל בגרסה 1.37.2-gke.1042000 ואילך, עם איחוד זהויות של עומסי עבודה ל-GKE מופעל באשכול ובמאגר צמתים אחד לפחות. אפשר גם ליצור אשכול חדש בקטע הבא.
- מתקינים את Helm בגרסה 4.0.0 ואילך, Git, Go ו-Docker.
- מוודאים שיש לכם מאגר Docker ב-Artifact Registry או ב-Container Registry אחר, שהאשכול יכול לשלוף ממנו כדי לאחסן את קובץ האימג' של הקונטיינר של המידרוג האוטומטי של האשכול באירוח עצמי. מידע נוסף זמין במאמר אחסון קובצי אימג' של קונטיינרים של Docker ב-Artifact Registry.
- מגדירים את
kubectlכדי לתקשר עם האשכול. למידע נוסף, קראו את המאמר התקנתkubectlוהגדרת הגישה לאשכול.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות להשבתת ההתאמה האוטומטית המנוהלת לעומס, להגדרת משאבים של ניהול זהויות והרשאות גישה (IAM) ולפריסת הכלי להתאמה אוטומטית לעומס של אשכול באירוח עצמי, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:
-
ניהול אשכולות GKE:
אדמין של Kubernetes Engine (
roles/container.admin) -
יצירת תפקידי IAM בהתאמה אישית:
אדמין של תפקידים (
roles/iam.roleAdmin) -
יצירה וניהול של חשבונות שירות ב-IAM:
אדמין של חשבון שירות (
roles/iam.serviceAccountAdmin) -
הקצאת תפקידי IAM בפרויקט: אדמין IAM של פרויקט (
roles/resourcemanager.projectIamAdmin)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
השבתת המידרוג האוטומטי של האשכול שמנוהל על ידי GKE
לפני שפורסים את הכלי להתאמה אוטומטית של קנה מידה לאשכולות באירוח עצמי, צריך להשבית את הכלי להתאמה אוטומטית של קנה מידה לאשכולות שמנוהל על ידי GKE במישור הבקרה, כדי למנוע מרוץ תהליכים בין שני המופעים של הכלי להתאמה אוטומטית של קנה מידה. אם משביתים את המידרוג האוטומטי של אשכולות שמנוהל על ידי GKE, מישור הבקרה מפסיק להתאים את הגודל של הצמתים. עם זאת, GKE שומר על ההגדרות הקיימות שלכם להתאמה אוטומטית לעומס של מאגר הצמתים ועל ComputeClasses, כדי שהמידרוג האוטומטי של אשכולות באירוח עצמי יוכל לפעול לפיהן.
כדי להשבית את המידרוג האוטומטי של אשכולות שמנוהל על ידי GKE, מבצעים את אחת מהפעולות הבאות:
כדי להשבית את הכלי למידרוג אוטומטי של אשכולות שמנוהל על ידי GKE באשכול Standard קיים, מריצים את הפקודה הבאה:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --disable-managed-autoscalingאם איחוד זהויות של עומסי עבודה ל-GKE עדיין לא מופעל באשכול ובמאגר צמתים אחד לפחות לאירוח Pod של המנגנון להתאמה אוטומטית של אשכולות באירוח עצמי, מריצים את הפקודות הבאות:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-pool=PROJECT_ID.svc.id.goog gcloud container node-pools update NODEPOOL_NAME \ --cluster=CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --workload-metadata=GKE_METADATA ```
כדי ליצור אשכול Standard חדש שבו כבר מושבתת ההתאמה האוטומטית לעומס של אשכולות בניהול GKE, מריצים את הפקודה הבאה:
gcloud beta container clusters create CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --cluster-version=CLUSTER_VERSION \ --workload-pool=PROJECT_ID.svc.id.goog \ --disable-managed-autoscaling
מחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: השם של אשכול Standard. -
CONTROL_PLANE_LOCATION: האזור או התחום של מישור הבקרה של האשכול ב-Compute Engine. באשכולות אזוריים צריך לציין אזור, ובאשכולות של תחום צריך לציין תחום. -
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
NODEPOOL_NAME: השם של מאגר צמתים קיים לאירוח ה-Pod של הכלי להתאמה לעומס של אשכולות באירוח עצמי. -
CLUSTER_VERSION: גרסת GKE של האשכול החדש, שצריכה להיות 1.37.2-gke.1042000 ואילך.
כדי לוודא שהמידרוג האוטומטי של האשכולות בניהול GKE מושבת באשכול, מריצים את הפקודה הבאה:
gcloud beta container clusters describe CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--format="value(autoscaling.managedAutoscalingDisabled)"
הפלט הוא True.
הגדרת הרשאות IAM למנגנון להתאמה לעומס (autoscaler) של אשכול באירוח עצמי
כדי לנהל קבוצות של מכונות ב-Compute Engine ולקרוא מטא-נתונים של אשכולות בפרויקט, צריך לתת לממידרוג האוטומטי של האשכול באירוח עצמי הרשאות IAM.
כדי לתת למנגנון ההתאמה האוטומטית את ההרשאות האלה, יוצרים תפקיד IAM בהתאמה אישית עם הרשאות מינימליות ומקשרים אותו ל-Kubernetes ServiceAccount של מנגנון ההתאמה האוטומטית באמצעות איחוד זהויות של עומסי עבודה ל-GKE:
אחזור מספר הפרויקט:
gcloud projects describe PROJECT_ID \ --format="value(projectNumber)"שומרים את ערך הפלט בתור
PROJECT_NUMBERכדי להשתמש בו בשלבים הבאים.שומרים את ההגדרה הבאה של תפקיד IAM בהתאמה אישית כקובץ
gcp-role.yaml:יוצרים את תפקיד ה-IAM בהתאמה אישית
selfHostedClusterAutoscalerבפרויקט:gcloud iam roles create selfHostedClusterAutoscaler \ --project=PROJECT_ID \ --file=gcp-role.yamlיוצרים חשבון שירות ב-IAM בשם
selfhosted-autoscaler:gcloud iam service-accounts create selfhosted-autoscaler \ --project=PROJECT_IDמקצים את התפקיד בהתאמה אישית ב-IAM לחשבון השירות
selfhosted-autoscalerב-IAM:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \ --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"אם באשכול שלכם משתמשים בהקצאת צמתים אוטומטית או בComputeClasses בהתאמה אישית כדי ליצור מאגרי צמתים חדשים, צריך להקצות את התפקיד "משתמש בחשבון שירות" (
roles/iam.serviceAccountUser) לחשבון השירותselfhosted-autoscaler. מריצים את הפקודה הבאה לכל חשבון שירות ב-IAM שמשמש את הצמתים החדשים:gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \ --project=PROJECT_ID \ --role="roles/iam.serviceAccountUser" \ --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"מחליפים את
NODE_SA_EMAILבכתובת האימייל של חשבון השירות ב-IAM שבו משתמשים הצמתים. מקצים את התפקיד הזה לחשבון השירות שמוגדר כברירת מחדל להקצאת צמתים אוטומטית, ולכל חשבון שירות שמציינים ב-ComputeClass. אם לא מגדירים חשבון שירות בהתאמה אישית, הקצאת הצמתים האוטומטית משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine,PROJECT_NUMBER-compute@developer.gserviceaccount.com.מאפשרים ל-Kubernetes ServiceAccount
selfhosted-autoscalerבמרחב השמותkube-systemלהתחזות לחשבון השירות של IAM:gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \ --project=PROJECT_ID \ --role="roles/iam.workloadIdentityUser" \ --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
פריסת הכלי להתאמה אוטומטית לעומס (autoscaler) של אשכול באירוח עצמי באמצעות Helm
פורסים את המידרוג האוטומטי של אשכולות באירוח עצמי באמצעות תרשים Helm בספרייה charts/cluster-autoscaler של מאגר הקוד הפתוח של המידרוג האוטומטי של אשכולות ב-GKE:
מאחזרים את מזהה האשכול:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --project=PROJECT_ID \ --format="value(id)"מתעדים את ערך הפלט בתור
CLUSTER_IDבשביל קובץ התצורה של Helm.משכפלים את המאגר של המידרוג האוטומטי של אשכול GKE:
git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.gitיוצרים את קובץ האימג' של הקונטיינר של המידרוג האוטומטי של האשכול, ומעבירים אותו בדחיפה ל-Container Registry:
cd cluster-autoscaler make release \ REGISTRY=REGISTRY_PATH \ TAG=IMAGE_TAGמחליפים את מה שכתוב בשדות הבאים:
-
REGISTRY_PATH: נתיב הבסיס של מאגר קונטיינרים, למשלLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. הפקודהmake releaseיוצרת את קובץ האימג' ודוחפת אותו אלREGISTRY_PATH/cluster-autoscaler:IMAGE_TAG. -
IMAGE_TAG: התג של קובץ האימג' של הקונטיינר, למשל37.234.0.
מידע נוסף על בניית קובץ האימג' של הקונטיינר זמין במאגר של GKE cluster autoscaler.
-
עוברים לספרייה של תרשים Helm:
cd charts/cluster-autoscalerיוצרים קובץ
my-values.yamlכדי להגדיר את זהות האשכול, את חשבון השירות של איחוד הזהויות של עומסי עבודה ל-GKE ואת הפרמטרים של ההתאמה האוטומטית לעומס:image: repository: "REGISTRY_PATH/cluster-autoscaler" tag: "IMAGE_TAG" cluster: name: "CLUSTER_NAME" hash: "CLUSTER_ID" projectNumber: "PROJECT_NUMBER" location: "CONTROL_PLANE_LOCATION" regional: IS_REGIONAL nodeSelector: iam.gke.io/gke-metadata-server-enabled: "true" serviceAccount: name: "selfhosted-autoscaler" gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" config: autoscalingProfile: AUTOSCALING_PROFILEמחליפים את מה שכתוב בשדות הבאים:
-
REGISTRY_PATH: נתיב הבסיס של Container Registry משלב קודם, למשלLOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. -
IMAGE_TAG: התג של קובץ האימג' של הקונטיינר ששלחתם בשלב הקודם, למשל37.234.0. אם משמיטים את השדהimage.tag, תרשים ה-Helm משתמש כברירת מחדל בערךappVersionשהגדרתם כשאספתם את התרשים לחבילה. -
CLUSTER_ID: מזהה האשכול שאחזרתם בשלב קודם. -
PROJECT_NUMBER: מספר הפרויקט שאחזרתם בשלב קודם. -
IS_REGIONAL:trueאם האשכול הוא אזורי, אוfalseאם האשכול הוא של אזור. -
AUTOSCALING_PROFILE: פרופיל ההתאמה האוטומטית לעומס שרוצים להחיל. מציינים את הפרופילdefaultלהתאמה מאוזנת או את הפרופילoptimizeUtilizationכדי לצמצם באופן אגרסיבי יותר צמתים שלא מנוצלים מספיק. לרשימה המלאה של הדגלים והפרמטרים שאפשר להגדיר, עיינו בקובץ ברירת המחדלvalues.yamlב-GitHub.
-
אורזים את תרשים Helm עם גרסת הרכיב של המידרוג האוטומטי של האשכול שרוצים להריץ, ומתקינים את התרשים במרחב השמות
kube-system:helm package \ --version=CA_VERSION \ --app-version=CA_VERSION . helm upgrade --install selfhosted-ca \ cluster-autoscaler-CA_VERSION.tgz \ --namespace=kube-system \ -f my-values.yamlמחליפים את
CA_VERSIONבגרסת הרכיב של המידרוג האוטומטי של האשכולות בפורמט<minor>.<ca-version>.<patch>, למשל37.234.0. התרשים משתמש בגרסה הזו כדי לקבוע אילו ניסויים של התאמה אוטומטית לעומס להפעיל מהקובץvalues.yaml.
אימות הפריסה של המידרוג האוטומטי באשכול באירוח עצמי
אחרי שמתקינים את תרשים Helm, מוודאים שה-Pod של המידרוג האוטומטי באשכול באירוח עצמי פועל ומנטר את האשכול:
מוודאים שה-Pod של המידרוג האוטומטי באשכול באירוח עצמי נמצא במצב
Running:kubectl get pods -n kube-system \ -l app.kubernetes.io/instance=selfhosted-caהפלט אמור להיראות כך:
NAME READY STATUS RESTARTS AGE selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k 1/1 Running 0 2mבודקים את היומנים מה-Pod של המידרוג האוטומטי של האשכול באירוח עצמי, כדי לוודא שהוא מתחיל בלי שגיאות אימות:
kubectl logs -n kube-system \ -l app.kubernetes.io/instance=selfhosted-ca \ --tail=50בודקים את ה-ConfigMap של
cluster-autoscaler-statusכדי לראות את סטטוס ההתאמה לעומס הנוכחי שמדווח על ידי המידרוג האוטומטי:kubectl get configmap cluster-autoscaler-status \ -n kube-system -o yaml
חזרה למידרוג האוטומטי של האשכול שמנוהל על ידי GKE
כדי לחזור לממידרוג האוטומטי של אשכולות שמנוהל על ידי GKE, צריך להסיר את הפריסה באירוח עצמי לפני שמפעילים מחדש את ההתאמה האוטומטית לעומס המנוהלת במישור הבקרה:
מסירים את גרסת ה-Helm של המידרוג האוטומטי של האשכול באירוח עצמי:
helm uninstall selfhosted-ca --namespace=kube-systemמפעילים מחדש את המידרוג האוטומטי של האשכולות שמנוהלים על ידי GKE באשכול:
gcloud beta container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-managed-autoscalingמוודאים שהמידרוג האוטומטי של האשכולות שמנוהלים על ידי GKE מופעל:
gcloud beta container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="value(autoscaling.managedAutoscalingDisabled)"הפלט ריק או שהוא
False.
המאמרים הבאים
- מידע נוסף על אופן הפעולה של המידרוג האוטומטי של אשכולות.
- איך מגדירים את ההתאמה האוטומטית לעומס של אשכולות למאגרי צמתים
- מאגר הקוד הפתוח של GKE cluster autoscaler ותרשים Helm.