אתם יכולים להגדיר אשכולות Google Kubernetes Engine Standard כך שיפעלו באופן דומה לאשכולות במצב אוטומטי. כדי לעשות את זה, אתם צריכים להפעיל הגדרות אשכול כמו ComputeClass שמוגדר כברירת מחדל, כללי מדיניות אבטחה של אשכולות במצב אוטומטי וצמצום הפעולה לאפס של אשכולות.
המסמך הזה מיועד למנהלי פלטפורמות ולמהנדסי אבטחה שרוצים ליהנות מכל היתרונות של המצב האוטומטי באשכול רגיל, עם הגמישות לשנות או להשבית הגדרות ספציפיות. אם אתם לא צריכים את הגמישות הזו, צרו אשכול Autopilot ייעודי.
אתם כבר אמורים להכיר את המושגים הבאים:
הגדרות של אשכול Autopilot
כדי להגדיר אשכול רגיל כך שיפעל כמו אשכול Autopilot, צריך לקבוע את כל ההגדרות הבאות:
- Autopilot ComputeClass כברירת מחדל של אשכול: הגדירו את אחד מסוגי ה-ComputeClass המובנים של Autopilot. כל Pod שלא נבחר לו ComputeClass יפעל באמצעות ComputeClass שמוגדר כברירת מחדל. כל ה-ComputeClasses המובנים משתמשים במצב Autopilot ובמודל החיוב שמבוסס על Pod.
- התאמה אוטומטית של קנה המידה של האשכול לאפס צמתים: מגדירים את המידרוג האוטומטי של האשכול כך שיתאים את קנה המידה של האשכול לאפס צמתים כשאין עומסי עבודה פעילים של משתמשים באשכול. אפשר לשנות באופן אופציונלי את משך ההשהיה לפני שהמידרוג האוטומטי יקטין את קנה המידה של האשכול לאפס צמתים.
- אפס צמתים ראשוניים: במהלך יצירת האשכול, מונעים את היצירה האוטומטית של מאגר צמתים כברירת מחדל. באשכולות קיימים, צריך למחוק את כל מאגרי הצמתים שנוצרו באופן ידני.
- כללי מדיניות האבטחה של אשכולות Autopilot: אכיפה של כל כללי מדיניות האבטחה של Autopilot. המדיניות הזו עוזרת להגן על עומסי העבודה ועל הזהויות במערכת.
אפשר לשנות את האשכול כדי לשנות כל אחת מההגדרות האלה בנפרד מההגדרות האחרות. לדוגמה, אם אתם צריכים ליצור מאגר צמתים באופן ידני, אתם יכולים להשבית את מדיניות האבטחה המתאימה של אשכול Autopilot בלי לשנות אף אחת מההגדרות האחרות.
שיקולי גמישות ואבטחה
כשיוצרים אשכול Autopilot, מצב האשכול הוא קבוע. הגדרות האשכול, כמו צמצום הפעולה לאפס צמתים, מניעת יצירה ידנית של מאגרי צמתים ומגבלות האבטחה השונות, לא ניתנות לשינוי. עם זאת, כשמגדירים אשכול Standard כך שישתמש בכל ההגדרות של אשכול Autopilot, ההגדרות ניתנות לשינוי. כל מי שיש לו גישה לשינוי הגדרות של אשכולות יכול לשנות או להשבית הגדרות ספציפיות.
כדי לאכוף את השימוש בהגדרות האלה בארגון, בתיקייה או בפרויקט, אדמינים של הארגון יכולים להשתמש באילוץ מותאם אישית של מדיניות הארגון. מידע נוסף מופיע בקטע אכיפת הגדרות של Autopilot באמצעות כללי מדיניות בהתאמה אישית של הארגון במסמך הזה.
מגבלות
אם מגדירים צמתים של Confidential GKE ברמת האשכול, המערכת מתעלמת מהפקודה להשתמש ב-ComputeClass של Autopilot כברירת המחדל של האשכול.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את המשימות הבאות:
- מפעילים את Google Kubernetes Engine API. הפעלת Google Kubernetes Engine API
- כדי להשתמש ב-Google Cloud CLI למשימה הזו, מתקינים ואז מאתחלים את ה-CLI של gcloud. אם כבר התקנתם את ה-CLI של gcloud, הריצו את הפקודה
gcloud components updateכדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא תומכות בהרצת הפקודות שבמסמך הזה.
- מוודאים שיש לכם אשכול Standard שעומד בכל הדרישות.
דרישות
כדי להשתמש בכל היכולות של Autopilot באשכול Standard, האשכול צריך לעמוד בדרישות הבאות:
באשכול צריכה לפעול גרסת GKE 1.37.1-gke.3020000 ואילך. אלה דרישות הגרסה להגדרות ספציפיות:
- כדי להגדיר ComputeClass מובנה של Autopilot כברירת המחדל של האשכול, באשכול צריכה לפעול גרסת GKE 1.37.1-gke.1380000 ואילך.
- כדי ליצור אשכול בלי צמתים ראשוניים, האשכול צריך להריץ את GKE בגרסה 1.37.1-gke.3020000 ואילך.
- כדי להגדיר את המידרוג האוטומטי של האשכול כך שישנה את קנה המידה של האשכול לאפס צמתים, האשכול צריך להריץ את GKE בגרסה 1.37.1-gke.3020000 ואילך.
כדי לשדרג את האשכול לגרסה תואמת, קראו את המאמר שדרוג ידני של מישור הבקרה או מאגרי הצמתים של אשכול.
האשכול צריך לעמוד בכל הדרישות לשימוש ב-ComputeClasses ב-Autopilot. כדי לבדוק אם האשכול עומד בדרישות האלה, קראו את המאמר הפעלת עומסי עבודה במצב Autopilot באשכולות רגילים.
תפקידים והרשאות נדרשים
כדי לקבל את ההרשאות שנדרשות ליצירה או לעדכון של אשכולות לשימוש במצב אוטומטי, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט Google Cloud :
-
יצירה ועדכון של אשכולות ומאגרי צמתים:
אדמין של אשכול Kubernetes Engine (
roles/container.clusterAdmin) -
ניהול של ComputeClasses ועומסי עבודה באשכול:
מפתח Kubernetes Engine (
roles/container.developer)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת אשכול רגיל שמשתמש במצב Autopilot
כדי ליצור אשכול Standard חדש שמשתמש בכל ההגדרות של Autopilot, מריצים את הפקודה הבאה:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
מחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: שם לאשכול החדש. -
CONTROL_PLANE_LOCATION: אזור למישור הבקרה של האשכול, למשלus-central1. -
BUILT_IN_COMPUTECLASS_NAME: ה-ComputeClass המובנה שמשמש כברירת המחדל של האשכול, למשלautopilot.
אם רוצים, אפשר לשנות את משך ההשהיה לפני שהמידרוג האוטומטי של האשכול מקטין את קנה המידה של האשכול לאפס צמתים, באמצעות הדגל --cluster-scale-to-zero-delay:
gcloud container clusters create CLUSTER_NAME \
--location=CONTROL_PLANE_LOCATION \
--num-nodes=0 \
--default-compute-class=BUILT_IN_COMPUTECLASS_NAME \
--enable-cluster-scale-to-zero \
--cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAY \
--autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
מחליפים את SCALE_TO_ZERO_DELAY במשך העיכוב.
הערך הזה חייב לציין מספר שלם ויחידת זמן, כמו 0s, 1m או 3h. העיכוב המקסימלי הוא 3 שעות. אם לא מציינים את הדגל --cluster-scale-to-zero-delay, ברירת המחדל של העיכוב היא 3 שעות.
אם הפקודה ליצירת אשכול נכשלת ומוצגת הודעת שגיאה, קראו את הודעת השגיאה כדי לקבל מידע נוסף. אלה השגיאות הנפוצות ביותר:
- האשכול משתמש בגרסה שלא תומכת באחד מהדגלים שצוינו. כדי לפתור את השגיאה, צריך לעדכן את האשכול לגרסה המינימלית הנדרשת, כמו שמפורט בקטע דרישות.
- ציינתם דגלים של הגדרת מאגר צמתים (כמו הדגל
--machine-type) בפקודה ליצירת אשכול. מכיוון שבאשכול החדש אין מאגר צמתים ראשוני, אי אפשר לציין דגלי הגדרה של מאגר צמתים. כדי לפתור את השגיאה, צריך להסיר מהפקודה את הדגלים של הגדרת מאגר הצמתים. - ציינתם את השם של ComputeClass בהתאמה אישית בדגל
--default-compute-class. כדי לפתור את השגיאה, צריך לציין את אחד מסוגי ה-ComputeClasses המובנים של Autopilot.
עדכון אשכול קיים במצב Standard לשימוש במצב אוטומטי
אפשר לשנות אשכול רגיל קיים כדי להשתמש במצב Autopilot. התהליך הזה כולל שינויים שעלולים לשבש את עומסי העבודה, כמו מחיקה של מאגרי צמתים שנוצרו באופן ידני. בצעו את השלבים האלה במהלך תקופת תחזוקה מתוזמנת.
מוודאים שהאשכול עומד בכל הדרישות שמפורטות במסמך הזה.
כדאי לבדוק את האשכול ולבצע את השינויים הנדרשים כדי למנוע התנגשויות עם כללי המדיניות של אשכול Autopilot. למידע נוסף על השינויים האפשריים, קראו את המאמר כללי מדיניות נתמכים.
כשמגדירים ComputeClass של Autopilot כברירת המחדל של האשכול, פודים נכנסים שלא בוחרים ComputeClass אחר הופכים לעומסי עבודה של Autopilot. בודקים אם יש עומסי עבודה שלא נבחרה בהם ComputeClass למאפיינים הבאים:
- מוודאים שעומסי העבודה עומדים באילוצי האבטחה של Autopilot, או מגדירים רשימת היתרים לעומסי עבודה עם הרשאות.
- מוצאים ומסירים
cloud.google.com/gke-nodepoolבוררי צמתים או כללי אפיניות של צמתים מה-Pods. - בודקים אם יש מרחבי שמות עם התווית
cloud.google.com/default-compute-classאוcloud.google.com/default-compute-class-non-daemonset. ComputeClasses שמוגדרים כברירת מחדל ברמת מרחב השמות מקבלים עדיפות על פני ComputeClass שמוגדר כברירת מחדל ברמת האשכול.
בודקים אם לאשכול יש ComputeClass בהתאמה אישית בשם
default:kubectl get computeclass default -o yamlאם הפלט ריק, דלגו לשלב הבא. אם ה-
defaultComputeClass קיים, הפלט דומה לזה:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here.אם ההערה
cloud.google.com/gke-managed-default-compute-class: "true"מופיעה בשדהmetadata.annotationsבפלט, מדלגים לשלב הבא. אם ההערה הזו לא קיימת, מוחקים את ComputeClass:kubectl delete computeclass defaultמוצאים ומוחקים את כל מאגרי הצמתים הקיימים שנוצרו באופן ידני באשכול.
מפעילים את הגדרות Autopilot באשכול:
מגדירים את ComputeClass שמוגדר כברירת מחדל באשכול ל-ComputeClass מובנה:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --default-compute-class=BUILT_IN_COMPUTECLASS_NAMEמחליפים את מה שכתוב בשדות הבאים:
-
CLUSTER_NAME: השם של אשכול Standard קיים. -
CONTROL_PLANE_LOCATION: האזור של מישור הבקרה של האשכול. -
BUILT_IN_COMPUTECLASS_NAME: ה-ComputeClass המובנה של Autopilot שמשמש כברירת המחדל של האשכול, כמוautopilot.
מפעילים את ההתאמה האוטומטית לעומס (autoscaling) באשכול ומאפשרים למנגנון המידרוג האוטומטי לשנות את קנה המידה של האשכול לאפס צמתים:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zeroאם רוצים, אפשר לשנות את משך ההשהיה לפני שהמידרוג האוטומטי של האשכול יקטין את קנה המידה של האשכול לאפס צמתים, באמצעות הדגל
--cluster-scale-to-zero-delay:gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --enable-autoscaling \ --enable-cluster-scale-to-zero \ --cluster-scale-to-zero-delay=SCALE_TO_ZERO_DELAYמחליפים את
SCALE_TO_ZERO_DELAYבמשך העיכוב. הערך הזה חייב לציין מספר שלם ויחידת זמן, כמו0s,1mאו3h. העיכוב המקסימלי הוא 3 שעות. אם לא מציינים את הדגל--cluster-scale-to-zero-delay, ברירת המחדל של העיכוב היא 3 שעות.מפעילים את כללי המדיניות של אשכול Autopilot:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --autopilot-cluster-policies=no-system-mutation,no-system-impersonation,no-unsafe-webhooks,no-standard-node-pools
-
אם אחת מהפקודות לעדכון האשכול נכשלת ומוצגת הודעת שגיאה, אפשר לקרוא את הודעת השגיאה כדי לקבל מידע נוסף. אלה השגיאות הנפוצות ביותר:
- האשכול משתמש בגרסה שלא תומכת באחד מהדגלים שצוינו. כדי לפתור את השגיאה, שדרגו את האשכול לגרסה המינימלית הנדרשת, כפי שמפורט בקטע דרישות.
- ציינתם את השם של ComputeClass בהתאמה אישית בדגל
--default-compute-class. כדי לפתור את השגיאה, צריך לציין את אחד מסוגי ה-ComputeClasses המובנים של Autopilot. - באשכול יש מאגרי צמתים שנוצרו באופן ידני, ולכן GKE לא יכול לאכוף את המדיניות
no-standard-node-pools. כדי לפתור את השגיאה, צריך למחוק את מאגרי הצמתים שנוצרו באופן ידני.
איך מוודאים שהאשכול משתמש במצב Autopilot
אחרי שמגדירים את האשכול החדש או הקיים, מוודאים שההגדרות של Autopilot פעילות:
מוודאים שהגדרות ברירת המחדל של ComputeClass, צמצום הפעולה לאפס ומדיניות האשכול מופעלות באשכול:
gcloud container clusters describe CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --format="yaml(autoscaling.defaultComputeClassConfig,autoscaling.scaleToZeroConfig,autopilot.clusterPolicyConfig)"הפלט אמור להיראות כך:
autoscaling: defaultComputeClassConfig: computeClass: autopilot enabled: true scaleToZeroConfig: enabled: true delay: 3h autopilot: clusterPolicyConfig: noManualNodePools: true noSystemImpersonation: true noSystemMutation: true noUnsafeWebhooks: trueמוודאים ש-GKE יצר את ה-ComputeClass המנוהל
defaultבאשכול:kubectl get computeclass default -o yamlהפלט אמור להיראות כך:
אם הפלט ריק, דלגו לשלב הבא. אם ה-
defaultComputeClass קיים, הפלט דומה לזה:apiVersion: cloud.google.com/v1 kind: ComputeClass metadata: annotations: cloud.google.com/gke-managed-default-compute-class: "true" name: default # Multiple lines are omitted here. spec: autopilot: enabled: true # Multiple lines are omitted here.בפלט הזה, ההערה
cloud.google.com/gke-managed-default-compute-class: "true"מציינת ש-GKE יצר את ה-ComputeClass.כשפורסים Pod שלא בוחרים בו ComputeClass אחר, צריך לוודא שה-Pod פועל בצומת שמנוהל על ידי Autopilot:
kubectl get pods -o wideבפלט, לצמתים שמנוהלים על ידי Autopilot יש את הקידומת
gk3-בעמודהNODE.
שינוי או השבתה של הגדרות ספציפיות של Autopilot
כל יכולת של Autopilot באשכול Standard היא מודולרית, ולכן אפשר להתאים אישית או להשבית הגדרות ספציפיות בכל שלב. אם אתם אדמינים לענייני אבטחה, אתם יכולים להשתמש באילוצים בהתאמה אישית של מדיניות הארגון כדי לאכוף את ההגדרות האלה. מידע נוסף זמין במאמר אכיפת הגדרות Autopilot באמצעות כללי מדיניות מותאמים אישית של הארגון.
- להשבית כללי מדיניות ספציפיים של Autopilot באשכול, כמו
no-standard-node-pools. - השבתת ברירת המחדל של ComputeClass ברמת האשכול. לחלופין, אתם יכולים להגדיר ComputeClass בהתאמה אישית כברירת המחדל של האשכול, על ידי יצירת ComputeClass בשם
default. כדי למנוע מהאשכול להתאים את עצמו לעומס (autoscaling) לאפס צמתים:
gcloud container clusters update CLUSTER_NAME \ --location=CONTROL_PLANE_LOCATION \ --no-enable-cluster-scale-to-zero
אכיפת הגדרות של Autopilot באמצעות שירות מדיניות הארגון המותאם אישית
משתמשים שיש להם הרשאות לעדכון אשכולות יכולים לשנות או להשבית את ההגדרות של Autopilot באשכולות רגילים. לכן, אדמינים של ארגונים יכולים להשתמש באילוצים בהתאמה אישית של מדיניות הארגון בשירות מדיניות הארגון, כדי לאכוף את ההגדרות האלה בארגון, בתיקייה או בפרויקט. האילוץ שבדוגמה הבאה מונע פעולות של יצירה או עדכון של אשכולות שלא אוכפים את כל ההגדרות של Autopilot:
name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceAutopilotSettings
resourceTypes:
- container.googleapis.com/Cluster
methodTypes:
- CREATE
condition: >-
"resource.ClusterPolicyConfig.no_system_mutation != true ||
resource.ClusterPolicyConfig.no_system_impersonation != true ||
resource.ClusterPolicyConfig.no_unsafe_webhooks != true ||
resource.ClusterPolicyConfig.no_standard_node_pools != true ||
resource.ScaleToZeroConfig.enabled != true ||
!(resource.DefaultComputeClassConfig.computeClass in [
'autopilot', 'autopilot-spot', 'autopilot-arm', 'autopilot-arm-spot'
])"
actionType: DENY
displayName: Enforce Autopilot cluster policies in Standard clusters
description: All new clusters must use all Autopilot settings by default.
מחליפים את ORGANIZATION_ID במזהה הארגון.
המאמרים הבאים
- מידע נוסף על עומסי עבודה של Autopilot ב-GKE Standard
- הפעלת עומסי עבודה במצב Autopilot באשכולות Standard
- החלת ComputeClasses על Pods כברירת מחדל
- אכיפת מדיניות האבטחה של Autopilot באשכולות רגילים
- התאמה לעומס (autoscaling) באשכול