במאמר הזה מוסבר איך לקבל תובנות חשובות לגבי ההוצאות כדי לקבל החלטות מושכלות לגבי הקצאת משאבים ואופטימיזציה של עלויות באמצעות שיוך עלויות ב-Google Kubernetes Engine (GKE). במאמר הזה מוסבר מה ההבדל בין הקצאת עלויות ב-GKE לבין מדידת השימוש באשכולות, מהן המגבלות של הקצאת עלויות ב-GKE, איך מפעילים הקצאת עלויות ב-GKE באשכולות חדשים וקיימים ואיך מסננים את נתוני החיוב ב-Cloud שמיוצאים ל-BigQuery ומריצים עליהם שאילתות.
המאמר הזה מיועד לאופרטורים, לארכיטקטים של Cloud, למפתחים ולאדמינים של נתונים שצריכים לנהל את העלויות בזמן שהם יוצרים ומגדירים אשכולות ומפריסים עומסי עבודה ב-GKE. מידע נוסף על תפקידים נפוצים זמין במאמר תפקידים ומשימות נפוצים של משתמשי GKE.
לפני שקוראים את המסמך הזה, כדאי לעיין בשיטות מומלצות להרצת אפליקציות Kubernetes ב-GKE עם אופטימיזציה של העלויות
הגדלה פוטנציאלית של נפח הנתונים
הפעלת הקצאת עלויות ב-GKE עשויה להגדיל את עלויות האחסון והשאילתות ב-BigQuery. הגידול המדויק תלוי במספר השילובים השונים של תוויות ומרחבי שמות שבהם אתם משתמשים ב-Pods ובאשכולות.
הפעלת הקצאת עלויות ב-GKE לא משנה את העלות הכוללת של השימוש ב-GKE. סכום פריטי העלות בייצוא זהה, והשאילתות והדוחות הקיימים שיצרתם על בסיס ייצוא החיוב יחזירו את אותם ערכים.
הקצאת עלויות ומדידת שימוש באשכולות ב-GKE
הקצאת עלויות ב-GKE שונה ממכסת שימוש באשכולות בדרכים הבאות:
- הקצאת עלויות ב-GKE היא חלופה למדידת השימוש באשכולות, והיא מאפשרת לקבל מידע על האשכולות.
- הקצאת עלויות ב-GKE מחשבת את עלויות האשכולות בחשבון לחיוב ב-Cloud, במקום לצבור את הנתונים בתבנית של Looker Studio.
- הקצאת עלויות ב-GKE מאפשרת לכם לראות את נתוני העלויות של אשכולות במסוף Cloud Billing Google Cloud ובייצוא המפורט של נתוני החיוב ב-Cloud.
לפני שמתחילים
לפני שמתחילים, חשוב לוודא שביצעתם את הפעולות הבאות:
- מפעילים את ממשק ה-API של Google Kubernetes Engine. הפעלת Google Kubernetes Engine API
- אם רוצים להשתמש ב-CLI של Google Cloud למשימה הזו, צריך להתקין ואז להפעיל את ה-CLI של gcloud. אם התקנתם בעבר את ה-CLI של gcloud, מריצים את הפקודה
gcloud components updateכדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא יתמכו בהרצת הפקודות שמופיעות במסמך הזה.
- חשוב לוודא שביצעתם את השלבים לייצוא נתוני עלות מפורטים של השימוש ל-BigQuery. אם הארגון שלכם כבר מייצא נתונים, אתם צריכים לקבל גישה לשאילתות בטבלאות.
- מוודאים שיש לכם אשכול קיים מסוג Standard. כדי ליצור אשכול רגיל, אפשר לעיין במאמר בנושא יצירת אשכול אזורי.
מגבלות
- אפשר לראות את נתוני הקצאת העלויות ב-GKE רק בנתוני עלות השימוש המפורטים של חיוב ב-Cloud שמיוצאים ל-BigQuery. נתוני ההקצאה של GKE לא זמינים בנתוני עלות השימוש הסטנדרטיים שמיוצאים ל-BigQuery.
- אם תפעילו את הקצאת העלויות ב-GKE, בנתוני החיוב שמייצאים יופיעו פריטים נוספים למשאבי GKE החל מאותו תאריך. ייצוא נתוני החיוב לא ממלא חוסרים (backfill) בנתונים.
- אם משביתים את הקצאת העלויות ב-GKE, בנתוני החיוב שמייצאים לא מופיעים יותר פריטים נוספים, אבל המערכת לא משנה או מסירה פריטים קודמים שנוצרו בזמן שהתכונה הייתה מופעלת.
- נתוני הקצאת העלויות ב-GKE מבוססים על בקשות למשאבים, ולא על משאבים שנצרכו. מידע נוסף על ההבדלים בין בקשות למשאבים, מגבלות על משאבים וצריכת משאבים זמין במאמר שיטות מומלצות ל-Kubernetes: בקשות למשאבים ומגבלות על משאבים.
- הקצאת עלויות ב-GKE תומכת בסוגי המק"טים הבאים של משאבים:
- מכונות וירטואליות של Compute Engine – מק"טים של מעבדי vCPU
- מק"טים של זיכרון RAM במכונות וירטואליות של Compute Engine
- מק"טים של זיכרון RAM מורחב בהתאמה אישית למכונות וירטואליות ב-Compute Engine
- מק"טים של GPU במכונות וירטואליות של Compute Engine
- מק"טים של קיבולת PD ב-Compute Engine
- מזהי מלאי (SKU) של מכונות Cloud TPU
- אם ל-Pod יש יותר מ-50 תוויות של Kubernetes, אף אחת מהתוויות האלה לא תהיה זמינה בקטע Cloud Billing במסוף Google Cloud או בייצוא המפורט של החיוב ב-Cloud.
- אחרי שמפעילים את הקצאת העלויות ב-GKE, יכולים לחלוף עד שלושה ימים עד שהנתונים יופיעו בחיוב ב-Cloud.
- הקצאת העלויות ב-GKE כוללת נתונים מ-Persistent Disks, עם החריגים הבאים:
- תמיכה רק במשאבי
PersistentVolumeשהוקצו באופן דינמי דרךPersistentVolumeClaimsאו Generic Ephemeral Volumes. - הפונקציה תומכת רק במשאבי
PersistentVolumeשהוקצו על ידי מנהל התקן CSI של דיסק אחסון מתמיד ב-Compute Engine או על ידי תוסף האחסוןkubernetes.io/gce-pdשהוצא משימוש עם מצב גישהReadWriteOnceאוReadWriteOncePod. - יכול להיות שלא נעקוב אחרי דיסקים קשיחים קבועים עם זמן פעולה רציפה של פחות מ-30 דקות. מערכת Cloud Monitoring תמיד עוקבת אחרי דיסקים קשיחים עם זמן פעולה רציף של 30 דקות לפחות.
- תמיכה רק במשאבי
- הגרסה של Cloud TPU צריכה להיות Cloud TPU v4 ואילך.
- הקצאת עלויות ב-GKE לא פועלת עם מכונות וירטואליות מסוג A4 או A4X, או עם יחידות GPU שמצורפות למכונות האלה.
- הקצאת עלויות ב-GKE לא נתמכת כשמשתמשים בפתרונות חיצוניים לניהול צמתים שעוקפים את מאגרי הצמתים ב-GKE.
צפייה בעלויות של אשכול GKE
כשמפעילים את הקצאת העלויות ב-GKE, שם האשכול ומרחב השמות של עומסי העבודה ב-GKE מופיעים בשדה labels בייצוא של נתוני החיוב ל-BigQuery:
מפתח התווית של משאב (labels.key) |
ערך של תווית משאב (labels.value) |
|
| תיאור |
תוויות Kubernetes
הן בפורמט הבא:
k8s-label/${k8s-label-key}, כאשר
${k8s-label-key} הוא המפתח של תווית Kubernetes של ה-Pod. לתווית החיוב k8s-label/${k8s-label-key} יש את אותו ערך כמו לתווית ה-Pod התואמת ב-Kubernetes. |
אם מפתח התווית של Kubernetes מתנגש עם מפתח התווית של מכונה וירטואלית, ערך התווית של Kubernetes מבטל את ערך התווית של המכונה הווירטואלית.
תוויות משאבים של אשכולות ומאגרי צמתים מוחלות על משאבים לפי סדר העדיפות הבא, מהגבוה לנמוך:
|
| שם האשכול | goog-k8s-cluster-name |
[cluster-name] |
| מרחב שמות | k8s-namespace |
[namespace] |
| סוג עומס העבודה | k8s-workload-type |
[workload-type] (לדוגמה, apps/v1-Deployment,apps/v1-StatefulSet,apps/v1-DaemonSet,apps/v1-ReplicaSet,batch/v1-Job,batch/v1-CronJob,core/v1-Pod) |
| שם עומס העבודה | k8s-workload-name |
[workload-name] |
מידע נוסף מופיע במאמר בנושא סכימה של נתוני עלות מפורטים של שימוש.
בנוסף, מרחבי השמות הבאים משמשים למעקב אחר תקורה ומשאבים לא מוקצים:
-
kube:system-overhead: הערך הזה מייצג את משאבי הצמתים שלא זמינים ל-Pods. המערכת שומרת את המשאבים האלה להרצת מסגרת Kubernetes (כולל, בין היתר, kubelet, kube-proxy, containerd). זהו ההבדל בין הקיבולת של הצומת לבין המשאבים שניתנים להקצאה. -
kube:unallocated: משאבים שלא נדרשים על ידי עומסי עבודה ולא נדרשים לתקורה של המערכת.
אם מערכת GKE לא יכולה לקבוע את הקצאת העלויות למשאב, הייצוא כולל אחד מהערכים הבאים:
-
goog-k8s-unknown: לא הייתה אפשרות לעבד את המק"ט בחיוב ב-Cloud. המצב הזה יכול לקרות כשמפעילים מכונה חדשה של Compute Engine. יכול להיות שתראו ערכים שלgoog-k8s-unknownבמהלך ההפעלה והכיבוי של הצומת, למשל כש-GKE משנה את גודל האשכול באופן אוטומטי. -
goog-k8s-unsupported-sku: המק"ט הזה לא נתמך בהקצאת עלויות ב-GKE. התייחסו לערך הזה כמו לערך<blank>/NULL. אין ערובה לכך שמק"ט תמיד יסומן בערך הזה. -
<blank>/NULL: הקצאת העלויות ב-GKE לא עוקבת אחרי המשאב הזה. הבעיה הזו יכולה לקרות אם הקצאת העלויות ב-GKE לא מופעלת, או אם המשאב לא שייך לאשכול מנוהל ב-GKE.
העלויות של דיסקים לאחסון מתמיד מתועדות כשה-PersistentVolumeClaims שמגבים את הדיסקים האלה נתבעים על ידי Pods. העלויות של Persistent Disk כוללות את כל המטא-נתונים, כמו תוויות של Pod ומרחבי שמות, של ה-Pod שמבצע את התביעה, עד שה-Persistent Disk נמחק.PersistentVolumeClaims במקרה של PersistentVolumeClaims שנמחקים אבל נשמרים PersistentVolumes בהתאם למדיניות השחזור, העלויות של הדיסקים הקשיחים נרשמות כעלויות לא מוקצות.
תוויות שמוחלות ישירות על PersistentVolumeClaims לא מופיעות בקטע Cloud Billing במסוף Google Cloud או בייצוא המפורט של החיוב ב-Cloud.
במקרה של Extended RAM, אותו חלק יחסי מהעלות הכוללת מוקצה לעומס עבודה עבור מק"טים של Regular RAM ושל Extended RAM, על סמך המשאב המבוקש.
הפעלת הקצאת עלויות ב-GKE
אפשר להפעיל את הקצאת העלויות ב-GKE באשכול חדש או באשכול קיים באמצעות ה-CLI של gcloud או מסוף Google Cloud .
gcloud
כדי לעדכן אשכול באמצעות הדגל --enable-cost-allocation:
gcloud container clusters update CLUSTER_NAME \
--enable-cost-allocation
מחליפים את CLUSTER_NAME בשם האשכול.
אפשר גם להשתמש בדגל --enable-cost-allocation כשיוצרים אשכול חדש באמצעות הפקודה gcloud container clusters create.
המסוף
כדי להפעיל את הקצאת העלויות ב-GKE באשכול קיים:
- נכנסים לדף Google Kubernetes Engine במסוף Google Cloud . מעבר אל Google Kubernetes Engine
- לוחצים על השם של האשכול שרוצים לשנות.
- בדף Clusters (אשכולות), בקטע Features (תכונות), לוחצים על edit לצד Cost Allocation (הקצאת עלויות).
- בתיבת הדו-שיח Edit Cost Allocation (עריכת הקצאת עלויות), מסמנים את תיבת הסימון Enable Cost Allocation (הפעלת הקצאת עלויות).
- לוחצים על שמירת השינויים.
אימות שהקצאת העלויות ב-GKE מופעלת
gcloud
תארו את האשכול:
gcloud container clusters describe CLUSTER_NAME
הפלט אמור להיראות כך:
...
costManagementConfig:
enabled: true
...
בפלט הזה, costManagementConfig מציין שהקצאת העלויות ב-GKE מופעלת.
המסוף
כדי לבדוק אם הקצאת העלויות ב-GKE מופעלת באשכול קיים:
- נכנסים לדף Google Kubernetes Engine במסוף Google Cloud . מעבר אל Google Kubernetes Engine
- לוחצים על השם של האשכול שרוצים לשנות.
- בדף Clusters, בקטע Features, ליד Cost Allocation, יופיע אם הקצאת העלויות ב-GKE מופעלת.
צפייה בייצוא של נתוני החיוב וסינון שלהם
אתם יכולים להשתמש בתוויות Kubernetes שמתוארות במסמך הזה כדי לסנן את העלויות בדף הדוחות של החיוב ב-Cloud במסוף Google Cloud .
אפשר לסנן ולקבץ את העלויות של GKE במערך הנתונים ב-BigQuery באחת מהשיטות הבאות:
- ב-BigQuery, מריצים שאילתה.
- ב-Cloud Billing, יוצרים שאילתה ומריצים אותה על נתוני החיוב שיוצאו (גרסת Preview).
אפשר להשתמש בדוגמאות הבאות לשאילתות עם השיטות האלה כדי לסנן את נתוני החיוב שיוצאו ולמצוא מידע שספציפי ל-GKE:
איך מקבלים את העלויות אחרי זיכויים לפי מרחב שמות
SELECT labels.value as namespace, SUM(cost) + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0)) AS cost_after_credits, FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX` LEFT JOIN UNNEST(labels) as labels ON labels.key = "k8s-namespace" GROUP BY namespace ;איך מקבלים את עלויות האשכול לפני זיכויים:
SELECT SUM(cost) AS cost_before_credits, labels.value AS cluster_name FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX` LEFT JOIN UNNEST(labels) as labels ON labels.key = "goog-k8s-cluster-name" GROUP BY labels.value ;קבלת העלויות הכוללות שקשורות ל-GKE לפי מק"ט:
SELECT project.id AS project_id, labels.value AS cluster_name, sku.id AS sku_id, sku.description AS sku_description, SUM(cost) AS cost FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX` JOIN UNNEST(labels) AS labels ON labels.key = "goog-k8s-cluster-name" GROUP BY cluster_name, project_id, sku_description, sku_id ;קבלת עלויות לפי שם עומס העבודה לפני זיכויים:
SELECT labels.value as workload_name, SUM(cost) AS cost FROM `project-ID.dataset.gcp_billing_export_resource_v1_YYYYYY-YYYYYY-YYYYYY` LEFT JOIN UNNEST(labels) as labels ON labels.key = "k8s-workload-name" WHERE labels.value IS NOT NULL GROUP BY workload_name ORDER BY cost DESC ;
הסרת המשאבים
כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה בדף הזה, צריך להשבית את הקצאת העלויות ב-GKE לאשכול:
gcloud container clusters update CLUSTER_NAME \
--no-enable-cost-allocation
אפשר גם למחוק את האשכול שיצרתם.
אפשר גם להשתמש בכלי gcloud של שורת הפקודה כדי להציג ולנהל את התוויות. מידע נוסף זמין במאמרי העזרה בנושא gcloud resource-manager tags.
המאמרים הבאים
- איך מבינים את השימוש במשאבי האשכול
- איך רואים מדדי אופטימיזציה שקשורים לעלויות
- מידע נוסף על מידרוג אוטומטי של אשכולות
- איך יוצרים ומנהלים תוויות של אשכולות ומאגרי צמתים
- איך מתאימים את גודל עומסי העבודה בהתאם לצרכים