פריסת מידרוג אוטומטי של אשכול באירוח עצמי

המסמך הזה מראה איך להשבית את המידרוג האוטומטי של האשכול שמנוהל על ידי Google Kubernetes Engine (GKE), ואיך לפרוס מידרוג אוטומטי באירוח עצמי באשכול Standard באמצעות Helm. פריסת מידרוג אוטומטי של אשכול באירוח עצמי מאפשרת לכם להתאים אישית את הדגלים של ההתאמה האוטומטית לעומס, לבדוק פרמטרים ניסיוניים או להריץ גרסאות build בהתאמה אישית ממאגר הקוד הפתוח של מידרוג אוטומטי של אשכול ב-GKE.

המסמך הזה מיועד למנהלי פלטפורמות שמנהלים את התשתית ואת ההתאמה לעומס של אשכולות, וצריכים שליטה פרטנית בפרמטרים של המידרוג האוטומטי, מעבר למה שמספק מידרוג אוטומטי של אשכולות שמנוהל על ידי GKE.

דרישות ומגבלות

  • אפשר להשתמש במידרוג אוטומטי של אשכולות באירוח עצמי רק באשכולות GKE Standard שפועלים בגרסה 1.37.2-gke.1042000 ואילך.
  • אי אפשר להשתמש במידרוג אוטומטי לאשכולות באירוח עצמי באשכולות במצב Autopilot, באשכולות במצב Standard שמכילים מאגרי צמתים שמנוהלים על ידי Autopilot, או באשכולות במצב Standard שמשתמשים במצב אוטומטי ל-ComputeClasses.
  • באשכול שלכם חייב להיות לפחות צומת עובד אחד שפועל כל הזמן כדי לארח את ה-Pod של המידרוג האוטומטי של האשכול באירוח עצמי. אשכול שמריץ את המידרוג האוטומטי של האשכול באירוח עצמי לא יכול לצמצם את מספר הצמתים הכולל לאפס.
  • אתם אחראים לפריסה, לעדכון ולמעקב אחרי עומס העבודה של המידרוג האוטומטי של אשכולות באירוח עצמי. צוות Cloud Customer Care לא פותר בעיות בפריסות של התאמה אוטומטית של קנה מידה לאשכולות באירוח עצמי או בהתאמה אישית. כדי לקבל תמיכה מ-Customer Care בבעיות שקשורות להתאמה אוטומטית לעומס, עברו חזרה למנגנון המידרוג האוטומטי של אשכולות שמנוהלים על ידי GKE.
  • אם המידרוג האוטומטי שמנוהל על ידי GKE מושבת, GKE לא פולט אירועי חשיפה של המידרוג האוטומטי באשכול של מישור הבקרה לסטרימינג של היומן container.googleapis.com/cluster-autoscaler-visibility. במקום זאת, אפשר להציג את היומנים והמדדים של שינוי קנה המידה ישירות מה-Pod של ה-autoscaler באשכול באירוח עצמי.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:

  • מפעילים את Google Kubernetes Engine API.
  • הפעלת Google Kubernetes Engine API
  • כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות להשבתת ההתאמה האוטומטית המנוהלת לעומס, להגדרת משאבים של ניהול זהויות והרשאות גישה (IAM) ולפריסת הכלי להתאמה אוטומטית לעומס של אשכול באירוח עצמי, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

השבתת המידרוג האוטומטי של האשכול שמנוהל על ידי GKE

לפני שפורסים את הכלי להתאמה אוטומטית של קנה מידה לאשכולות באירוח עצמי, צריך להשבית את הכלי להתאמה אוטומטית של קנה מידה לאשכולות שמנוהל על ידי GKE במישור הבקרה, כדי למנוע מרוץ תהליכים בין שני המופעים של הכלי להתאמה אוטומטית של קנה מידה. אם משביתים את המידרוג האוטומטי של אשכולות שמנוהל על ידי GKE, מישור הבקרה מפסיק להתאים את הגודל של הצמתים. עם זאת, GKE שומר על ההגדרות הקיימות שלכם להתאמה אוטומטית לעומס של מאגר הצמתים ועל ComputeClasses, כדי שהמידרוג האוטומטי של אשכולות באירוח עצמי יוכל לפעול לפיהן.

כדי להשבית את המידרוג האוטומטי של אשכולות שמנוהל על ידי GKE, מבצעים את אחת מהפעולות הבאות:

  • כדי להשבית את הכלי למידרוג אוטומטי של אשכולות שמנוהל על ידי GKE באשכול Standard קיים, מריצים את הפקודה הבאה:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --disable-managed-autoscaling
    

    אם איחוד זהויות של עומסי עבודה ל-GKE עדיין לא מופעל באשכול ובמאגר צמתים אחד לפחות לאירוח Pod של המנגנון להתאמה אוטומטית של אשכולות באירוח עצמי, מריצים את הפקודות הבאות:

    gcloud container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-pool=PROJECT_ID.svc.id.goog
    gcloud container node-pools update NODEPOOL_NAME \
        --cluster=CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --workload-metadata=GKE_METADATA
        ```
    
  • כדי ליצור אשכול Standard חדש שבו כבר מושבתת ההתאמה האוטומטית לעומס של אשכולות בניהול GKE, מריצים את הפקודה הבאה:

    gcloud beta container clusters create CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --cluster-version=CLUSTER_VERSION \
        --workload-pool=PROJECT_ID.svc.id.goog \
        --disable-managed-autoscaling
    

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CLUSTER_NAME: השם של אשכול Standard.
  • ‫CONTROL_PLANE_LOCATION: האזור או התחום של מישור הבקרה של האשכול ב-Compute Engine. באשכולות אזוריים צריך לציין אזור, ובאשכולות של תחום צריך לציין תחום.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫NODEPOOL_NAME: השם של מאגר צמתים קיים לאירוח ה-Pod של הכלי להתאמה לעומס של אשכולות באירוח עצמי.
  • ‫CLUSTER_VERSION: גרסת GKE של האשכול החדש, שצריכה להיות 1.37.2-gke.1042000 ואילך.

כדי לוודא שהמידרוג האוטומטי של האשכולות בניהול GKE מושבת באשכול, מריצים את הפקודה הבאה:

gcloud beta container clusters describe CLUSTER_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --format="value(autoscaling.managedAutoscalingDisabled)"

הפלט הוא True.

הגדרת הרשאות IAM למנגנון להתאמה לעומס (autoscaler) של אשכול באירוח עצמי

כדי לנהל קבוצות של מכונות ב-Compute Engine ולקרוא מטא-נתונים של אשכולות בפרויקט, צריך לתת לממידרוג האוטומטי של האשכול באירוח עצמי הרשאות IAM.

כדי לתת למנגנון ההתאמה האוטומטית את ההרשאות האלה, יוצרים תפקיד IAM בהתאמה אישית עם הרשאות מינימליות ומקשרים אותו ל-Kubernetes ServiceAccount של מנגנון ההתאמה האוטומטית באמצעות איחוד זהויות של עומסי עבודה ל-GKE:

  1. אחזור מספר הפרויקט:

    gcloud projects describe PROJECT_ID \
        --format="value(projectNumber)"
    

    שומרים את ערך הפלט בתור PROJECT_NUMBER כדי להשתמש בו בשלבים הבאים.

  2. שומרים את ההגדרה הבאה של תפקיד IAM בהתאמה אישית כקובץ gcp-role.yaml:

    title: Self Hosted Cluster Autoscaler Role
    description: Least privilege role for self-hosted CA to manage GKE clusters
    stage: BETA
    includedPermissions:
    - compute.acceleratorTypes.list
    - compute.instanceGroupManagers.get
    - compute.instanceGroupManagers.list
    - compute.instanceGroupManagers.update
    - compute.instanceTemplates.get
    - compute.instances.delete
    - compute.instances.get
    - compute.instances.list
    - compute.instances.setMetadata
    - compute.machineTypes.get
    - compute.machineTypes.list
    - compute.regions.get
    - compute.regions.list
    - compute.reservations.list
    - compute.resourcePolicies.list
    - compute.zoneOperations.get
    - compute.zones.get
    - compute.zones.list
    - container.clusters.get
    - container.clusters.update
    - container.operations.get
  3. יוצרים את תפקיד ה-IAM בהתאמה אישית selfHostedClusterAutoscaler בפרויקט:

    gcloud iam roles create selfHostedClusterAutoscaler \
        --project=PROJECT_ID \
        --file=gcp-role.yaml
    
  4. יוצרים חשבון שירות ב-IAM בשם selfhosted-autoscaler:

    gcloud iam service-accounts create selfhosted-autoscaler \
        --project=PROJECT_ID
    
  5. מקצים את התפקיד בהתאמה אישית ב-IAM לחשבון השירות selfhosted-autoscaler ב-IAM:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com" \
        --role="projects/PROJECT_ID/roles/selfHostedClusterAutoscaler"
    
  6. אם באשכול שלכם משתמשים בהקצאת צמתים אוטומטית או בComputeClasses בהתאמה אישית כדי ליצור מאגרי צמתים חדשים, צריך להקצות את התפקיד "משתמש בחשבון שירות" (roles/iam.serviceAccountUser) לחשבון השירות selfhosted-autoscaler. מריצים את הפקודה הבאה לכל חשבון שירות ב-IAM שמשמש את הצמתים החדשים:

    gcloud iam service-accounts add-iam-policy-binding NODE_SA_EMAIL \
        --project=PROJECT_ID \
        --role="roles/iam.serviceAccountUser" \
        --member="serviceAccount:selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    

    מחליפים את NODE_SA_EMAIL בכתובת האימייל של חשבון השירות ב-IAM שבו משתמשים הצמתים. מקצים את התפקיד הזה לחשבון השירות שמוגדר כברירת מחדל להקצאת צמתים אוטומטית, ולכל חשבון שירות שמציינים ב-ComputeClass. אם לא מגדירים חשבון שירות בהתאמה אישית, הקצאת הצמתים האוטומטית משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine,‏ PROJECT_NUMBER-compute@developer.gserviceaccount.com.

  7. מאפשרים ל-Kubernetes ServiceAccount‏ selfhosted-autoscaler במרחב השמות kube-system להתחזות לחשבון השירות של IAM:

    gcloud iam service-accounts add-iam-policy-binding selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com \
        --project=PROJECT_ID \
        --role="roles/iam.workloadIdentityUser" \
        --member="serviceAccount:PROJECT_ID.svc.id.goog[kube-system/selfhosted-autoscaler]"
    

פריסת הכלי להתאמה אוטומטית לעומס (autoscaler) של אשכול באירוח עצמי באמצעות Helm

פורסים את המידרוג האוטומטי של אשכולות באירוח עצמי באמצעות תרשים Helm בספרייה charts/cluster-autoscaler של מאגר הקוד הפתוח של המידרוג האוטומטי של אשכולות ב-GKE:

  1. מאחזרים את מזהה האשכול:

    gcloud container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --project=PROJECT_ID \
        --format="value(id)"
    

    מתעדים את ערך הפלט בתור CLUSTER_ID בשביל קובץ התצורה של Helm.

  2. משכפלים את המאגר של המידרוג האוטומטי של אשכול GKE:

    git clone https://github.com/GoogleCloudPlatform/cluster-autoscaler.git
    
  3. יוצרים את קובץ האימג' של הקונטיינר של המידרוג האוטומטי של האשכול, ומעבירים אותו בדחיפה ל-Container Registry:

    cd cluster-autoscaler
    make release \
        REGISTRY=REGISTRY_PATH \
        TAG=IMAGE_TAG
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REGISTRY_PATH: נתיב הבסיס של מאגר קונטיינרים, למשל LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY. הפקודה make release יוצרת את קובץ האימג' ודוחפת אותו אל REGISTRY_PATH/cluster-autoscaler:IMAGE_TAG.
    • ‫IMAGE_TAG: התג של קובץ האימג' של הקונטיינר, למשל 37.234.0.

    מידע נוסף על בניית קובץ האימג' של הקונטיינר זמין במאגר של GKE cluster autoscaler.

  4. עוברים לספרייה של תרשים Helm:

    cd charts/cluster-autoscaler
    
  5. יוצרים קובץ my-values.yaml כדי להגדיר את זהות האשכול, את חשבון השירות של איחוד הזהויות של עומסי עבודה ל-GKE ואת הפרמטרים של ההתאמה האוטומטית לעומס:

    image:
      repository: "REGISTRY_PATH/cluster-autoscaler"
      tag: "IMAGE_TAG"
    
    cluster:
      name: "CLUSTER_NAME"
      hash: "CLUSTER_ID"
      projectNumber: "PROJECT_NUMBER"
      location: "CONTROL_PLANE_LOCATION"
      regional: IS_REGIONAL
    
    nodeSelector:
      iam.gke.io/gke-metadata-server-enabled: "true"
    
    serviceAccount:
      name: "selfhosted-autoscaler"
      gcpWorkloadIdentity: "selfhosted-autoscaler@PROJECT_ID.iam.gserviceaccount.com"
    
    config:
      autoscalingProfile: AUTOSCALING_PROFILE
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REGISTRY_PATH: נתיב הבסיס של Container Registry משלב קודם, למשל LOCATION-docker.pkg.dev/PROJECT_ID/REPOSITORY.
    • ‫IMAGE_TAG: התג של קובץ האימג' של הקונטיינר ששלחתם בשלב הקודם, למשל 37.234.0. אם משמיטים את השדה image.tag, תרשים ה-Helm משתמש כברירת מחדל בערך appVersion שהגדרתם כשאספתם את התרשים לחבילה.
    • ‫CLUSTER_ID: מזהה האשכול שאחזרתם בשלב קודם.
    • ‫PROJECT_NUMBER: מספר הפרויקט שאחזרתם בשלב קודם.
    • ‫IS_REGIONAL: true אם האשכול הוא אזורי, או false אם האשכול הוא של אזור.
    • ‫AUTOSCALING_PROFILE: פרופיל ההתאמה האוטומטית לעומס שרוצים להחיל. מציינים את הפרופיל default להתאמה מאוזנת או את הפרופיל optimizeUtilization כדי לצמצם באופן אגרסיבי יותר צמתים שלא מנוצלים מספיק. לרשימה המלאה של הדגלים והפרמטרים שאפשר להגדיר, עיינו בקובץ ברירת המחדל values.yaml ב-GitHub.
  6. אורזים את תרשים Helm עם גרסת הרכיב של המידרוג האוטומטי של האשכול שרוצים להריץ, ומתקינים את התרשים במרחב השמות kube-system:

    helm package \
        --version=CA_VERSION \
        --app-version=CA_VERSION .
    helm upgrade --install selfhosted-ca \
        cluster-autoscaler-CA_VERSION.tgz \
        --namespace=kube-system \
        -f my-values.yaml
    

    מחליפים את CA_VERSION בגרסת הרכיב של המידרוג האוטומטי של האשכולות בפורמט <minor>.<ca-version>.<patch>, למשל 37.234.0. התרשים משתמש בגרסה הזו כדי לקבוע אילו ניסויים של התאמה אוטומטית לעומס להפעיל מהקובץ values.yaml.

אימות הפריסה של המידרוג האוטומטי באשכול באירוח עצמי

אחרי שמתקינים את תרשים Helm, מוודאים שה-Pod של המידרוג האוטומטי באשכול באירוח עצמי פועל ומנטר את האשכול:

  1. מוודאים שה-Pod של המידרוג האוטומטי באשכול באירוח עצמי נמצא במצב Running:

    kubectl get pods -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca
    

    הפלט אמור להיראות כך:

    NAME                                                READY   STATUS    RESTARTS   AGE
    selfhosted-ca-cluster-autoscaler-6d4b7c9f8b-x9v2k   1/1     Running   0          2m
    
  2. בודקים את היומנים מה-Pod של המידרוג האוטומטי של האשכול באירוח עצמי, כדי לוודא שהוא מתחיל בלי שגיאות אימות:

    kubectl logs -n kube-system \
        -l app.kubernetes.io/instance=selfhosted-ca \
        --tail=50
    
  3. בודקים את ה-ConfigMap של cluster-autoscaler-status כדי לראות את סטטוס ההתאמה לעומס הנוכחי שמדווח על ידי המידרוג האוטומטי:

    kubectl get configmap cluster-autoscaler-status \
        -n kube-system -o yaml
    

חזרה למידרוג האוטומטי של האשכול שמנוהל על ידי GKE

כדי לחזור לממידרוג האוטומטי של אשכולות שמנוהל על ידי GKE, צריך להסיר את הפריסה באירוח עצמי לפני שמפעילים מחדש את ההתאמה האוטומטית לעומס המנוהלת במישור הבקרה:

  1. מסירים את גרסת ה-Helm של המידרוג האוטומטי של האשכול באירוח עצמי:

    helm uninstall selfhosted-ca --namespace=kube-system
    
  2. מפעילים מחדש את המידרוג האוטומטי של האשכולות שמנוהלים על ידי GKE באשכול:

    gcloud beta container clusters update CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --enable-managed-autoscaling
    
  3. מוודאים שהמידרוג האוטומטי של האשכולות שמנוהלים על ידי GKE מופעל:

    gcloud beta container clusters describe CLUSTER_NAME \
        --location=CONTROL_PLANE_LOCATION \
        --format="value(autoscaling.managedAutoscalingDisabled)"
    

    הפלט ריק או שהוא False.

המאמרים הבאים