הסבר על השימוש במשאבי האשכול

רגילה

בדף הזה מוסבר איך להשתמש במדידת השימוש ב-GKE כדי להבין את פרופילי השימוש באשכולות Standard של Google Kubernetes Engine ‏ (GKE), ולקשר את השימוש לצוותים או ליחידות עסקיות ספציפיות בארגון. למכסת השימוש ב-GKE אין השפעה על החיוב של הפרויקט, אבל היא מאפשרת לכם להבין את השימוש במשאבים ברמה מפורטת.

הערה: מומלץ להשתמש בהקצאת עלויות ב-GKE במקום במכסת שימוש ב-GKE. הקצאת עלויות ב-GKE מאפשרת לכם לחלק את העלויות של אשכול למשתמשים שלו.

סקירה כללית

ב-GKE usage metering מתבצע מעקב אחרי מידע על בקשות למשאבים ועל השימוש בפועל במשאבים של עומסי העבודה באשכול. מדידת השימוש ב-GKE עוקבת אחרי מידע על CPU,‏ GPU,‏ TPU, זיכרון, אחסון וגם על תעבורת נתונים יוצאת מהרשת (אופציונלי). כדי להבחין בין השימוש במשאבים, אפשר להשתמש במרחבי שמות, בתוויות או בשילוב של שניהם ב-Kubernetes.

הנתונים מאוחסנים ב-BigQuery, שבו אפשר להריץ עליהם שאילתות ישירות או לייצא אותם לניתוח באמצעות כלים חיצוניים כמו Looker Studio.

מכסת שימוש ל-GKE שימושית בתרחישים כמו:

• מעקב אחרי בקשות למשאבים וצריכת משאבים בפועל בכל דייר באשכול מרובה דיירים, שבו כל דייר פועל במרחב שמות נתון.
• כדי לקבוע את צריכת המשאבים של עומס עבודה שפועל באשכול נתון, צריך להקצות תווית ייחודית לאובייקטים של Kubernetes שמשויכים לעומס העבודה.
• זיהוי עומסי עבודה שבהם יש הבדל משמעותי בין בקשות המשאבים לבין צריכת המשאבים בפועל, כדי שתוכלו להקצות משאבים לכל עומס עבודה בצורה יעילה יותר.

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את הפעולות הבאות:

• מפעילים את ממשק ה-API של Google Kubernetes Engine.
הפעלת Google Kubernetes Engine API
• אם רוצים להשתמש ב-CLI של Google Cloud למשימה הזו, צריך להתקין ואז להפעיל את ה-CLI של gcloud. אם התקנתם בעבר את ה-CLI של gcloud, מריצים את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא יתמכו בהרצת הפקודות שמופיעות במסמך הזה.
  הערה: אם כבר התקנתם את ה-CLI של gcloud, הקפידו להגדיר את compute/region המאפיין. אם אתם משתמשים בעיקר באשכולות אזוריים, הגדירו במקום זאת את compute/zone. אם מגדירים מיקום ברירת מחדל, אפשר להימנע משגיאות ב-CLI של gcloud כמו השגיאה הבאה: One of [--zone, --region] must be supplied: Please specify location. יכול להיות שתצטרכו לציין את המיקום בפקודות מסוימות אם המיקום של האשכול שונה מברירת המחדל שהגדרתם.

• מוודאים שיש לכם אשכול קיים מסוג Standard. אם אתם צריכים כזה, צרו אשכול רגיל.

מגבלות

אתם יכולים להשתמש בדוגמאות לשאילתות BigQuery ובתבנית Looker Studio כדי לצרף את נתוני מדידת השימוש ב-GKE לנתוני החיוב שיוצאו ב-BigQuery. Google Cloud כך תוכלו להעריך את פירוט העלויות לפי אשכול, מרחב שמות ותוויות.

נתוני המדידה של השימוש ב-GKE הם רק להמחשה, ולא משפיעים על החשבון שלכם ב- Google Cloud . נתוני החיוב מופיעים רק בחשבונית החיוב שלכם ב- Google Cloud .

יש הגבלות:

• לא נלקחים בחשבון זיכויים או הנחות מיוחדות בחוזה.
• משאבים שנוצרו מחוץ להיקף של GKE לא נכללים במעקב לפי מרחב שמות או תווית.
• בדיווח על השימוש מתבצע מעקב רק אחרי לייבלים מאובייקטים מסוג Pod ו-PersistentVolumeClaim.
• יש תמיכה רק בנפחים מתמשכים (PersistentVolumes) שמוקצים באופן דינמי.
• יש תמיכה רק בסוגי הדיסקים pd-standard ו-pd-ssd. יכול להיות שמדידת השימוש ב-GKE תכלול עלויות של גרסאות אזוריות של שני סוגי הדיסקים באותו מק"ט.
• ב-Looker Studio אין תמיכה בהצגה חזותית של סוגי מכונות שיכולות להשתמש ב-bursting.
• אפשר לייצא נתונים רק למערך נתונים ב-BigQuery שנמצא באותו פרויקט כמו האשכול. בנוסף, נתוני המקור ומערך נתוני היעד צריכים להיות באותו אזור. מידע נוסף זמין במאמר בנושא מיקום נתונים והעברות.
• אסור להשתמש ביציאות 27304, ‏ 47082 ו-47083, כי הן שמורות למעקב אחר תעבורת רשת יוצאת.
• אין תמיכה באובייקטים מותאמים אישית של StorageClass.
• אין תמיכה במדידת תעבורת נתונים יוצאת ברשת עבור צמתים של Windows Server.
• אין תמיכה בחיוב לפי צריכה נטו של תעבורת נתונים יוצאת (egress) ברשת ב-VPC משותף או בקישור בין רשתות VPC שכנות (peering).
• אין תמיכה במדידת תעבורת נתונים יוצאת ברשת עבור אשכולות עם יותר מ-150 צמתים.

דרישות מוקדמות

כדי להשתמש במכסת שימוש ל-GKE, צריך לעמוד בדרישות המוקדמות הבאות:

• הייצוא של נתוני החיוב ל-BigQuery מופעל. החיובים קשורים לשימוש ב-BigQuery.
• נדרשת גרסה 250.0.0 ואילך של Google Cloud CLI. אפשר ללחוץ על gcloud --version כדי לבדוק.
• צריך להפעיל את BigQuery API בפרויקט Google Cloud . אם הפעלתם את GKE לראשונה אחרי יולי 2018, ממשק ה-API כבר מופעל.

הפעלת מכסת שימוש ל-GKE

כדי להפעיל את מדידת השימוש ב-GKE, קודם יוצרים מערך נתונים ב-BigQuery עבור אשכול יחיד, כמה אשכולות בפרויקט או הפרויקט כולו. מידע נוסף על בחירת מיפוי בין מערכי נתונים לאשכולות זמין במאמר בחירת מערך נתונים אחד או יותר ב-BigQuery.

לאחר מכן, מפעילים את מדידת השימוש ב-GKE כשיוצרים אשכול חדש או משנים אשכול קיים.

אפשר גם ליצור לוח בקרה ב-Looker Studio כדי להמחיש את השימוש במשאבים של האשכולות.

יצירת מערך נתונים ב-BigQuery

כדי להשתמש במדידת השימוש ב-GKE עבור אשכולות בפרויקט Google Cloud , צריך קודם ליצור את מערך הנתונים ב-BigQuery, ואז להגדיר את האשכולות לשימוש בו. אפשר להשתמש במערך נתונים יחיד ב-BigQuery כדי לאחסן מידע על השימוש במשאבים בכמה אשכולות באותו פרויקט.

פרטים נוספים זמינים במאמר בנושא יצירת מערכי נתונים. מגדירים את Default table expiration של מערך הנתונים ל-Never כדי שתוקף הטבלה לא יפוג. אם תוקף הטבלה פג, היא נוצרת מחדש באופן אוטומטי כטבלה ריקה.

הערה: התכונה הזו כותבת למערך הנתונים של BigQuery שסיפקתם עם חשבון השירות של Google ‏ ([e-mail]) ועם תפקיד סוכן השירות של Kubernetes Engine.

אזהרה: אם מוחקים מערך נתונים או טבלה ב-BigQuery שמשמשים אשכול לרישום נתוני מדידת השימוש ב-GKE, ב-Cloud Logging יוצגו אזהרות זמניות כמו Failed to upload a record to BigQuery. כדי לפתור את הבעיה שמוצגת באזהרה, צריך ליצור מחדש את מערך הנתונים או להגדיר את האשכול כך שישתמש במערך נתונים אחר. הנתונים ההיסטוריים שלכם יאבדו.

הפעלה של מכסת שימוש ל-GKE באשכול

אפשר להפעיל את מדידת השימוש ב-GKE באשכול באמצעות Google Cloud CLI או מסוף Google Cloud .

הפעלת מכסת שימוש ל-GKE מפעילה גם את מכסת צריכת המשאבים כברירת מחדל. כדי להשבית באופן סלקטיבי את מדידת צריכת המשאבים ולהמשיך לעקוב אחרי בקשות למשאבים, אפשר לעיין בהוראות הספציפיות להפעלת מדידת השימוש ב-GKE באמצעות Google Cloud CLI, במסמך הזה.

האפשרות למדידת תעבורת נתונים יוצאת מהרשת מושבתת כברירת מחדל. כדי להפעיל את התכונה, אפשר לעיין בהערות ובשלבים במאמר אופציונלי: הפעלת מדידה של תעבורת נתונים יוצאת מהרשת.

gcloud

כדי להפעיל את מדידת השימוש ב-GKE באשכול קיים, מריצים את הפקודה הבאה:

gcloud container clusters update CLUSTER_NAME \
    --resource-usage-bigquery-dataset RESOURCE_USAGE_DATASET

מדידת צריכת המשאבים מופעלת כברירת מחדל. כדי להשבית את האפשרות הזו ולעקוב רק אחרי בקשות למשאבים, מוסיפים את הדגל --no-enable-resource-consumption- metering לפקודה הקודמת. בנוסף, צריך לשנות את שאילתות הדוגמה שמופיעות בהמשך המאמר כך שהן לא יחפשו נתונים על צריכת משאבים.

הערה: מדידת תעבורת נתונים יוצאת ברשת מושבתת כברירת מחדל. כדי להפעיל את התכונה, אפשר לעיין בהערות ובהוראות שבקטע אופציונלי: הפעלת מדידת תעבורת נתונים יוצאת מהרשת במאמר הזה.

אפשר גם לשנות את מערך הנתונים שבו אשכול קיים משתמש כדי לאחסן את נתוני מדידת השימוש שלו, על ידי שינוי הערך של הדגל --resource-usage-bigquery-dataset.

אם צריך, טבלה נוצרת במערך הנתונים של BigQuery כשהאשכול מתעדכן.

המסוף

הערה: כשמשתמשים ב Google Cloud מסוף, אי אפשר להפעיל את מדידת השימוש ב-GKE ולהשבית באופן סלקטיבי את מדידת צריכת המשאבים. אם אתם צריכים לעשות את זה, תוכלו להיעזר gcloudבהוראות האלה

.

1. עוברים לדף Google Kubernetes Engine במסוף Google Cloud .

   מעבר אל Google Kubernetes Engine

2. לצד האשכול שרוצים לשנות, לוחצים על פעולות ואז על עריכה.

3. בקטע תכונות, לוחצים על עריכה לצד מכסת שימוש ל-GKE.

4. בוחרים באפשרות הפעלה של מכסת שימוש ל-GKE.

5. מזינים את השם של מערך הנתונים ב-BigQuery.

6. אופציונלי: בוחרים באפשרות הפעלת מדידה של תעבורת נתונים יוצאת מהרשת אחרי שקוראים את ההערות וההוראות במאמר אופציונלי: הפעלת מדידה של תעבורת נתונים יוצאת מהרשת.

7. לוחצים על שמירת השינויים.

אופציונלי: הפעלת מדידה של תעבורת נתונים יוצאת מהרשת

כברירת מחדל, נתוני יציאה מהרשת לא נאספים ולא מיוצאים. כדי למדוד את תעבורת הנתונים היוצאת (egress) מהרשת, צריך סוכן למדידת תעבורה ברשת (NMA) שפועל בכל צומת. ה-NMA פועל כ-Pod עם הרשאות, צורך חלק מהמשאבים בצומת (CPU, זיכרון ושטח דיסק) ומפעיל את הדגל nf_conntrack_acct sysctl בקרנל (לחישוב זרימת מעקב אחר חיבורים).

אם אתם מסכימים לתנאים האלה, אתם יכולים להפעיל מעקב אחר תעבורת נתונים יוצאת ברשת לשימוש עם מדידת השימוש ב-GKE. כדי להפעיל מעקב אחר תעבורת נתונים יוצאת מהרשת, צריך לכלול את האפשרות --enable-network-egress-metering כשיוצרים או מעדכנים את האשכול, או לבחור באפשרות הפעלת מדידת תעבורת נתונים יוצאת מהרשת כשמפעילים את מדידת השימוש ב-GKE במסוף Google Cloud .

כדי להשבית את מדידת תעבורת הנתונים היוצאת (egress) מהרשת, מוסיפים את הדגל --no-enable-network-egress-metering כשמעדכנים את האשכול באמצעות שורת הפקודה. אפשר גם לבטל את הסימון של האפשרות Enable network egress metering (הפעלת מדידת תעבורת נתונים יוצאת מהרשת) בקטע GKE usage metering (מדידת השימוש ב-GKE) של האשכול במסוףGoogle Cloud .

מוודאים שמכסת השימוש ל-GKE מופעלת

כדי לוודא שהפעלתם את מדידת השימוש ב-GKE באשכול, וכדי לראות באיזה מערך נתונים ב-BigQuery מאוחסנים נתוני השימוש במשאבים של האשכול, מריצים את הפקודה הבאה:

gcloud container clusters describe CLUSTER_NAME \
    --format="value(resourceUsageExportConfig)"

אם לא מופעלת מדידת השימוש ב-GKE, הפלט יהיה ריק. אחרת, הפלט יציג את מערך הנתונים ב-BigQuery שבו נעשה שימוש באשכול, כמו בדוגמה הבאה:

bigqueryDestination={u'datasetId': u'test_usage_metering_dataset'}

בחירת מערך נתונים אחד או יותר ב-BigQuery

מערך נתונים יכול להכיל נתוני מדידת שימוש ב-GKE עבור אשכול אחד או יותר בפרויקט. השימוש במערך נתונים אחד או בכמה מערכי נתונים תלוי בצרכי האבטחה שלכם:

• מערך נתונים יחיד לכל הפרויקט מפשט את הניהול.
• מערך נתונים לכל אשכול מאפשר להקצות גישה פרטנית למערכי הנתונים.
• מערך נתונים לכל קבוצה קשורה של אשכולות מאפשר לכם למצוא את השילוב הנכון בין פשטות לבין רמת פירוט שמתאימה לצרכים שלכם.

המחשה ויזואלית של נתוני מכסת השימוש ב-GKE באמצעות מרכז בקרה ב-Looker Studio

אתם יכולים להציג נתונים של מדידת השימוש ב-GKE באופן ויזואלי באמצעות מרכז בקרה של Looker Studio. כך אפשר לסנן את הנתונים לפי שם האשכול, מרחב השמות או התווית. אפשר גם לשנות את תקופת הדיווח באופן דינמי. אם יש לכם ניסיון ב-Looker Studio וב-BigQuery, אתם יכולים ליצור לוח בקרה מותאם אישית. אפשר גם לשכפל לוח בקרה שיצרנו במיוחד למדידת השימוש ב-GKE.

הערה: יכול להיות שתראו הבדלים בין נתוני מדידת השימוש ב-GKE לבין נתוני החיוב ב-Cloud, בגלל זמן האחזור של ההעלאה. יכולות לעבור עד 5 שעות עד שנתוני החיוב ב-Cloud יופיעו ב-BigQuery, אבל נתוני מדידת השימוש ב-GKE מופיעים ב-BigQuery בערך כל שעה.

אתם יכולים להשתמש בלוח הבקרה כדי להמחיש את בקשות המשאבים ואת הצריכה באשכולות לאורך זמן.

הערה: צוות Cloud Customer Care לא תומך ב-Looker Studio. מידע נוסף זמין במרכז העזרה של Looker Studio.

דרישות מוקדמות

1. אם האפשרות ייצוא Google Cloud של נתוני החיוב ל-BigQuery לא מופעלת, צריך להפעיל אותה.

   במהלך התהליך הזה, אתם יוצרים מערך נתונים, אבל יכולות לחלוף עד 5 שעות עד שהטבלה בתוך מערך הנתונים תופיע ותתחיל להתמלא. כשהטבלה מופיעה, השם שלה הוא gcp_billing_export_v1_BILLING_ACCOUNT_ID.

2. מפעילים מדידת שימוש ב-GKE לפחות באשכול אחד בפרויקט. שימו לב לשם שבחרתם למערך הנתונים ב-BigQuery.

3. מפעילים את Looker Studio אם הוא עדיין לא מופעל.

4. כדי להגדיר את לוח הבקרה, צריך לאסוף את הפרטים הבאים:

   • מזהה מערך הנתונים וטבלת הנתונים של ייצוא החיוב ב-Cloud
   • מזהה מערך הנתונים של מכסת השימוש ב-GKE

5. מוודאים שמותקנת גרסה 2.0.58 ואילך של BigQuery CLI. כדי לבדוק את הגרסה, מריצים את הפקודה bq version, ואת הפקודה gcloud components update כדי לעדכן את BigQuery CLI.

6. צריך להריץ את הפקודות שמופיעות בחלק הזה בטרמינל Linux או ב-Cloud Shell.

יצירת טבלת פירוט העלויות ב-BigQuery

1. מורידים אחד מתבניות השאילתות הבאות:

   • אם הפעלתם את מדידת הצריכה, מורידים את this template.
   • אם לא הפעלתם את מדידת הצריכה, אתם צריכים להוריד את this template.

   אם אתם משתמשים ב-Cloud Shell, מעתיקים את הקובץ הזה לספרייה שבה אתם מריצים את הפקודות הבאות.

2. מריצים את הפקודה הבאה כדי להגדיר משתני סביבה:

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=YOUR_BILLING_EXPORT_TABLE_PATH
   export USAGE_METERING_PROJECT_ID=YOUR_USAGE_METERING_PROJECT_ID
   export USAGE_METERING_DATASET_ID=YOUR_USAGE_METERING_DATASET_ID
   export USAGE_METERING_START_DATE=YOUR_USAGE_METERING_START_DATE
   export COST_BREAKDOWN_TABLE_ID=YOUR_COST_BREAKDOWN_TABLE_ID
   export USAGE_METERING_QUERY_TEMPLATE=YOUR_TEMPLATE_PATH
   export USAGE_METERING_QUERY=YOUR_RENDERED_QUERY_PATH
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫YOUR_BILLING_EXPORT_TABLE_PATH: הנתיב לטבלת ייצוא החיוב שנוצרה. השם של הטבלה הזו דומה ל-PROJECT_ID.DATASET_ID.gcp_billing_export_v1_xxxx.
   • ‫YOUR_USAGE_METERING_PROJECT_ID: השם שלGoogle Cloud הפרויקט.
   • ‫YOUR_USAGE_METERING_DATASET_ID: השם של מערך הנתונים שיצרתם ב-BigQuery, למשל all_billing_data.
   • ‫YOUR_USAGE_METERING_START_DATE: תאריך ההתחלה של השאילתה בפורמט YYYY-MM-DD.
   • ‫YOUR_COST_BREAKDOWN_TABLE_ID: השם של טבלה חדשה שבחרתם, למשל usage_metering_cost_breakdown. הטבלה הזו משמשת כקלט ל-Looker Studio.
   • ‫YOUR_TEMPLATE_PATH: השם של תבנית השאילתה שהורדתם, usage_metering_query_template_request_and_consumption.sql או usage_metering_query_template_request_only.sql.
   • ‫YOUR_RENDERED_QUERY_PATH: שם הנתיב של השאילתה המעובדת שבוחרים, למשל cost_breakdown_query.sql.

   לדוגמה, משתני הסביבה יכולים להיראות כך:

   export GCP_BILLING_EXPORT_TABLE_FULL_PATH=my-billing-project.all_billing_data.gcp_billing_export_v1_xxxx
   export USAGE_METERING_PROJECT_ID=my-billing-project
   export USAGE_METERING_DATASET_ID=all_billing_data
   export USAGE_METERING_START_DATE=2022-05-01
   export COST_BREAKDOWN_TABLE_ID=usage_metering_cost_breakdown
   export USAGE_METERING_QUERY_TEMPLATE=usage_metering_query_template_request_only.sql
   export USAGE_METERING_QUERY=cost_breakdown_query.sql
   

3. עיבוד השאילתה מהתבנית:

   sed \
   -e "s/\${fullGCPBillingExportTableID}/$GCP_BILLING_EXPORT_TABLE_FULL_PATH/" \
   -e "s/\${projectID}/$USAGE_METERING_PROJECT_ID/" \
   -e "s/\${datasetID}/$USAGE_METERING_DATASET_ID/" \
   -e "s/\${startDate}/$USAGE_METERING_START_DATE/" \
   "$USAGE_METERING_QUERY_TEMPLATE" \
   > "$USAGE_METERING_QUERY"
   

4. ליצור טבלת פירוט עלויות חדשה שמתעדכנת כל 24 שעות:

   bq query \
   --project_id=$USAGE_METERING_PROJECT_ID \
   --use_legacy_sql=false \
   --destination_table=$USAGE_METERING_DATASET_ID.$COST_BREAKDOWN_TABLE_ID \
   --schedule='every 24 hours' \
   --display_name="GKE Usage Metering Cost Breakdown Scheduled Query" \
   --replace=true \
   "$(cat $USAGE_METERING_QUERY)"
   

   מידע נוסף על תזמון שאילתות זמין במאמר הגדרת שאילתות מתוזמנות.

יצירת מקור נתונים ב-BigQuery

1. ב-Looker Studio, עוברים אל מקורות נתונים.
2. לוחצים על יצירה ואז על מקור נתונים.
3. בוחרים באפשרות BigQuery.
4. נותנים שם למקור הנתונים. בסרגל הכלים, לוחצים על המילים מקור נתונים ללא שם כדי להחליף את הטקסט בשם תיאורי.
5. בוחרים באפשרות Custom Query (שאילתה מותאמת אישית) ואז בוחרים את מזהה הפרויקט.

6. מדביקים את השאילתה הבאה בעורך השאילתות:

   SELECT
     *
   FROM
     `USAGE_METERING_PROJECT_ID.USAGE_METERING_DATASET_ID.COST_BREAKDOWN_TABLE_ID`
   

7. לוחצים על Connect.

יצירת לוח הבקרה ב-Looker Studio

1. מעתיקים את לוח הבקרה של מכסת השימוש ב-GKE לפרויקט.
2. לוחצים על אפשרויות נוספות ואז על יצירת עותק.
3. בתיבת הדו-שיח העתקת הדוח הזה, בוחרים ברשימה מקור נתונים חדש את מקור הנתונים שיצרתם.
4. לוחצים על העתקת הדוח.

מרכז הבקרה נוצר, ואפשר לגשת אליו בכל שלב ברשימת הדוחות של Looker Studio בפרויקט.

שימוש בלוח הבקרה של Looker Studio

מרכז הבקרה מכיל כמה דוחות:

פירוט השימוש

הדוח הזה מכיל את יחס השימוש הכולל באשכולות מבין כל האשכולות ששולחים נתוני מדידת שימוש לאותו מקור נתונים ב-BigQuery. הוא כולל גם מידע מפורט על סוג המשאב, כמו CPU, זיכרון או יציאה מהרשת לפי מרחב שמות. אפשר להגביל את נתוני הדוח לאשכול אחד או יותר או למרחב שמות אחד או יותר.

פירוט השימוש עם משאבים לא מוקצים

הדוח הזה דומה לדוח פירוט השימוש, אבל הוא מחלק את המשאבים שלא הוקצו באופן יחסי בין כל מרחבי השמות. משאבים לא מוקצים כוללים משאבים לא פעילים ומשאבים שלא הוקצו על ידי מערכת מדידת השימוש ב-GKE לדיירים ספציפיים.

מגמות עלויות * פירוט לפי מרחב שמות

מגמות שימוש בכל האשכולות ששולחים נתוני מדידת שימוש לאותו מקור נתונים ב-BigQuery לפי מרחב שמות. אפשר לבחור אשכולות, מרחבי שמות, משאבים או מק"טים ספציפיים.

מגמות עלויות * פירוט לפי תוויות

מגמות העלויות בכל האשכולות ששולחים נתוני מדידת שימוש לאותו מקור נתונים ב-BigQuery. אפשר לבחור אשכולות, משאבים, שמות של תוויות או ערכים של תוויות בודדים.

מדידה מבוססת-צריכה

מגמות הצריכה בכל האשכולות ששולחים נתוני מדידת שימוש לאותו מקור נתונים ב-BigQuery. אפשר לבחור מרחב שמות, מפתח תווית או ערך תווית אחד או יותר. הדוח הזה מתמלא רק אם מדידת צריכת המשאבים מופעלת לפחות באחד מהאשכולות.

הערה: בגלל ההבדלים בתדירות הזמינות של הנתונים בין מדידת השימוש לבין החיוב ב-Cloud, הנתונים שמוצגים בלוח הבקרה הם לא סופיים ומשמשים למטרות מידע בלבד.

אפשר לעבור בין הדפים באמצעות תפריט הניווט. אפשר לשנות את מסגרת הזמן של דף באמצעות הכלי לבחירת תאריכים. כדי לשתף את הדוח עם חברים בארגון או לבטל את הגישה, לוחצים על שיתוף הדוח.

אחרי שמעתיקים את הדוח לפרויקט, אפשר להתאים אותו אישית באמצעות כלי הדוחות של Looker Studio. גם אם תבנית הדוח ש-Google מספקת משתנה, העותק שלכם לא מושפע.

בדיקת נתוני מדידת השימוש ב-GKE באמצעות BigQuery

כדי לראות נתונים על בקשות למשאבים באמצעות BigQuery, צריך להריץ שאילתה בטבלה gke_cluster_resource_usage במערך הנתונים הרלוונטי ב-BigQuery.

כדי לראות נתונים על צריכת משאבים בפועל, שולחים שאילתה לטבלה gke_cluster_resource_consumption. נתוני הצריכה של תעבורת נתונים יוצאת (egress) ברשת נשארים ב-gke_cluster_resource_usage כי אין מושג של בקשות משאבים לתעבורת נתונים יוצאת.

מידע נוסף על שימוש בשאילתות ב-BigQuery זמין במאמר הפעלת שאילתות. השדות בסכימה יציבים, אבל יכול להיות שבעתיד נוסיף עוד שדות.

השאילתות האלה הן דוגמאות פשוטות. אפשר להתאים אישית את השאילתה כדי למצוא את הנתונים שאתם צריכים.

שאילתה לבקשות למשאבים

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage'
WHERE
  namespace="NAMESPACE"

שאילתה לצריכת משאבים

SELECT
  cluster_name,
  labels,
  usage
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption'
WHERE
  namespace="NAMESPACE"

מחליפים את מה שכתוב בשדות הבאים:

• ‫CLUSTER_GCP_PROJECT: השם של Google Cloudהפרויקט שמכיל את האשכול שרוצים לשלוח אליו שאילתה.
• ‫USAGE_METERING_DATASET: השם של טבלת מדידת השימוש.
• ‫NAMESPACE: השם של מרחב השמות.

דוגמאות נוספות

כדי לראות דוגמאות מורכבות יותר, אפשר להרחיב את הקטעים הבאים.

איך שולחים שאילתות לגבי עלויות, עם פירוט לפי מרחב שמות

השאילתות האלה מתעלמות מנתוני השימוש במשאבים של אשכול, אם נתוני החיוב של משאב הענן המשויך עדיין לא יוצאו ל Google Cloud מערך נתוני החיוב לייצוא. העיכוב הזה קורה כשחלון הזמן של רשומה של שימוש במשאב בענן מקדים את הרשומה האחרונה ב Google Cloud נתוני החיוב המיוצאים. השיהוי בייצוא נתוני החיוב יכול להיות עד 5 שעות.

בקשות למשאבים

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

צריכת משאבים

SELECT
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id,
  MIN(resource_usage.start_time) AS usage_start_time,
  MAX(resource_usage.end_time) AS usage_end_time,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage
LEFT JOIN (
  SELECT
    sku.id AS sku_id,
    SUM(cost) / SUM(usage.amount) AS rate,
    MIN(usage_start_time) AS min_usage_start_time,
    MAX(usage_end_time) AS max_usage_end_time
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = "CLUSTER_GCP_PROJECT"
  GROUP BY
    sku_id) AS gcp_billing_export
ON
  resource_usage.sku_id = gcp_billing_export.sku_id
WHERE
  resource_usage.start_time >= gcp_billing_export.min_usage_start_time
  AND resource_usage.end_time <= gcp_billing_export.max_usage_end_time
GROUP BY
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  resource_usage.resource_name,
  resource_usage.sku_id
  

איך לשלוח שאילתות לגבי עלויות בתקופה מסוימת, עם פירוט לפי מרחב שמות ותוויות

השאילתות האלה מציגות את העלויות לתקופה ספציפית, לפי תוויות של מרחבי שמות.

בקשות למשאבים לפי תקופת זמן, מקובצות לפי מרחבי שמות ותוויות

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

צריכת משאבים לפי תקופת זמן, מקובצת לפי מרחבי שמות ותוויות

DECLARE drilldown_label STRING DEFAULT 'DRILLDOWN_LABEL';
DECLARE project_id STRING default "CLUSTER_GCP_PROJECT";

SELECT
  DATE(start_time) as date,
  resource_usage.cluster_name,
  resource_usage.cluster_location,
  resource_usage.namespace,
  label.value AS label_value,
  resource_usage.resource_name,
  resource_usage.sku_id,
  gcp_billing_export.sku_description,
  SUM(resource_usage.usage.amount) AS usage,
  resource_usage.usage.unit AS usage_unit,
  SUM(resource_usage.usage.amount * gcp_billing_export.rate) AS cost_estimate,
  gcp_billing_export.currency
FROM
  'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' AS resource_usage

-- select only workloads matching the defined "drilldown_label"
  CROSS JOIN UNNEST(labels) AS label ON label.key=drilldown_label

-- join with billing table to get pricing information and sku description
  LEFT JOIN (
  SELECT
    DATE(usage_start_time) as date,
    sku.id AS sku_id,
    sku.description AS sku_description,
    SAFE_DIVIDE(SUM(cost), SUM(usage.amount)) AS rate,
    currency
  FROM
    'CLUSTER_GCP_PROJECT.BILLING_DATASET.BILLING_TABLE'
  WHERE
    project.id = project_id
  GROUP BY
    date,
    sku_id,
    sku_description,
    currency) AS gcp_billing_export
  ON DATE(resource_usage.start_time) = gcp_billing_export.date AND resource_usage.sku_id = gcp_billing_export.sku_id

GROUP BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name,
  sku_id,
  sku_description,
  usage_unit,
  currency

ORDER BY
  date,
  cluster_name,
  cluster_location,
  namespace,
  label_value,
  resource_name
  

איך להציג את צריכת המשאבים בפועל כאחוז מבקשות המשאבים, לאורך זמן

השאילתה הזו מציגה את היחס בין צריכת המעבד בפועל לבין בקשות המעבד, כך שאפשר לראות אילו פודים מבקשים מעבד מעט מדי או יותר מדי בהשוואה לדרישות בפועל.

WITH
  constraints AS (
    SELECT
      TIMESTAMP(START_TIME) as min_time,
      TIMESTAMP(END_TIME) as max_time,
      "CLUSTER_GCP_PROJECT" as project_id
  ),
  request_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS requested_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_usage' as requested_resource_usage
    INNER JOIN
      constraints
    ON
      requested_resource_usage.start_time >= constraints.min_time
      AND requested_resource_usage.end_time <= constraints.max_time
      AND requested_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  ),
  consumption_based_amount_by_namespace AS (
    SELECT
      namespace,
      resource_name,
      SUM(usage.amount) AS consumed_amount,
      usage.unit AS unit
    FROM
      'CLUSTER_GCP_PROJECT.USAGE_METERING_DATASET.gke_cluster_resource_consumption' as consumed_resource_usage
    INNER JOIN
      constraints
    ON
      consumed_resource_usage.start_time >= constraints.min_time
      AND consumed_resource_usage.end_time <= constraints.max_time
      AND consumed_resource_usage.project.id = constraints.project_id
    GROUP BY
      namespace, resource_name, usage.unit
  )
SELECT
  request_based_amount_by_namespace.namespace,
  request_based_amount_by_namespace.resource_name,
  requested_amount,
  consumed_amount,
  request_based_amount_by_namespace.unit,
  CASE
    WHEN consumed_amount IS NULL THEN NULL
    WHEN requested_amount = 0 THEN NULL
    ELSE consumed_amount / requested_amount END
      AS consumption_to_request_ratio
FROM
  request_based_amount_by_namespace
  FULL JOIN
  consumption_based_amount_by_namespace
  ON
  request_based_amount_by_namespace.namespace = consumption_based_amount_by_namespace.namespace
  AND
  request_based_amount_by_namespace.resource_name = consumption_based_amount_by_namespace.resource_name
ORDER BY
  consumption_to_request_ratio
DESC
  

סכימת מכסת השימוש ב-GKE ב-BigQuery

בטבלה הבאה מפורטת הסכימה של טבלאות מדידת השימוש ב-GKE במערך הנתונים ב-BigQuery. אם האשכול שלכם מריץ גרסה של GKE שתומכת במדידת צריכת משאבים ובבקשות למשאבים, נוצרת טבלה נוספת עם אותה סכימה.

שדה	סוג	תיאור
cluster_location	STRING	השם של האזור או התחום ב-Compute Engine שבו נמצא אשכול GKE.
cluster_name	STRING	השם של אשכול GKE.
namespace	STRING	מרחב השמות של Kubernetes שממנו נוצר השימוש.
resource_name	STRING	שם המשאב, כמו cpu,‏ memory ו-storage.
sku_id	STRING	מזהה המק"ט של משאב הענן הבסיסי. Google Cloud
start_time	TIMESTAMP	חותמת הזמן של מערכת UNIX שמציינת מתי התחיל השימוש.
end_time	TIMESTAMP	חותמת הזמן של מערכת UNIX שבה הסתיים השימוש.
fraction	FLOAT	החלק היחסי של משאב בענן שבו נעשה שימוש. במקרה של משאב ייעודי בענן שמשמש רק מרחב שמות אחד, השבר תמיד יהיה 1.0. לגבי משאבים שמשותפים בין כמה מרחבי שמות, השבר מחושב כמספר המשאבים המבוקש חלקי הקיבולת הכוללת של משאב הענן הבסיסי.
cloud_resource_size	INTEGER	הגודל של משאב Google Cloud הבסיס. לדוגמה, הגודל של vCPU במכונות מסוג n1-standard-2 הוא 2.
labels.key	STRING	המפתח של תווית Kubernetes שמשויכת לשימוש.
labels.value	STRING	הערך של תווית Kubernetes שמשויכת לשימוש.
project.id	STRING	מזהה הפרויקט שבו נמצא אשכול GKE.
usage.amount	FLOAT	הכמות של usage.unit שהיו בשימוש.
usage.unit	STRING	היחידה הבסיסית שלפיה נמדד השימוש במשאבים. לדוגמה, היחידה הבסיסית של אחסון סטנדרטי היא byte-seconds.

יחידות השימוש ב-GKE מפורשות באופן הבא:

1. הערך של המעבד usage.unit הוא שניות, שזהו סך הזמן שה-Pod ביקש או ניצל. לדוגמה, אם יש שני פודים שכל אחד מהם מבקש 30 ליבות CPU ופועל במשך 15 דקות, אז הכמות הכוללת בטבלת הבקשות היא 54,000 שניות (2 פודים * 30 ליבות CPU * 15 דקות * 60 שניות לדקה).

2. הזיכרון usage.unit הוא בייט-שניות, שזה האינטגרל של הזיכרון לאורך זמן שבו נעשה שימוש ב-Pod או שהוא נדרש. לדוגמה, אם יש שני פודים שכל אחד מהם מבקש 30GiB ופועל במשך 15 דקות, אז הסכום הכולל של טבלת הבקשות הוא 5.798+13 בייט-שניות (2 פודים * 30GiB * 15 דקות * 60 שניות לדקה * 1073741824 בייט ל-GiB).

הסבר על המקרים שבהם נתוני מדידת השימוש ב-GKE נכתבים ב-BigQuery

יש שני תנאים שבהם מכסת השימוש ב-GKE כותבת רשומות שימוש למדדים ב-BigQuery:

1. השלב של ה-Pod משתנה ל-succeeded או ל-failed, או כשה-Pod נמחק.

2. החותמת של השעה שבה אמורים להיכתב הרשומות מגיעה בזמן שה-Pod עדיין פועל.

   מדידת השימוש ב-GKE יוצרת לוח זמנים שעתי שבו היא כותבת רשומות שימוש ב-Pod ל-BigQuery עבור כל ה-Pods הפועלים. חותמת הזמן של לוח הזמנים לא זהה בכל האשכולות.

   אם יש לכם כמה תרמילים שפועלים בחותמת הזמן הזו, תמצאו כמה רשומות שימוש עם אותו end_time. רשומות השימוש האלהend_time מציינות את חותמת הזמן של לוח הזמנים השעתי.

   בנוסף, אם יש לכם כמה פודים שפועלים כבר כמה שעות, יהיה לכם גם קבוצה של רשומות שימוש עם end_time שזהה ל-start_time של קבוצה אחרת של רשומות שימוש.

השבתה של מכסת השימוש ב-GKE

gcloud

כדי להשבית את מדידת השימוש ב-GKE באשכול, מריצים את הפקודה הבאה:

gcloud container clusters update CLUSTER_NAME \
    --clear-resource-usage-bigquery-dataset

הערה: מערך הנתונים ב-BigQuery נשמר. אפשר להסיר אותו אם לא צריך את הנתונים ואף אשכול לא משתמש בו.

המסוף

1. עוברים לדף Google Kubernetes Engine במסוף Google Cloud .

   מעבר אל Google Kubernetes Engine

2. לצד האשכול שרוצים לשנות, לוחצים על פעולות ואז על עריכה.

3. בקטע תכונות, לוחצים על עריכה לצד מכסת שימוש ל-GKE.

4. מבטלים את הסימון של הפעלת מכסת שימוש ל-GKE.

5. לוחצים על שמירת השינויים.

המאמרים הבאים

• איך עוקבים אחרי צריכת המשאבים לפי מרחב שמות ותווית באמצעות הקצאת עלויות.
• איך רואים את מדדי יכולת התצפית
• איך מגדירים מדדים
• פועלים לפי המדריך בנושא יכולת צפייה באמצעות Prometheus.
• מידע נוסף על מידרוג אוטומטי של אשכולות.