כדי לעזור לכם לתכנן את הקיבולת ולמנוע שיבושים בשירות, ב-Cloud Logging מוגדרות מכסות ומגבלות מערכת לבקשות API, לאחסון ולתצורות של משאבים. אפשר לבקש להגדיל את רוב המכסות, אבל מגבלות המערכת קבועות ואי אפשר לשנות אותן.
מכסות רישום ביומן ומגבלות שימוש
בטבלה הבאה מפורטות המכסות והמגבלות שחלות על השימוש ב-Cloud Logging. באופן כללי, אפשר לבקש להגדיל את המכסה. עם זאת, אי אפשר לשנות את המגבלות.
חלק מהערכים מופיעים כערכים שמתייחסים לפרויקט, אבל בהערה מצוין שהערך מתייחס גם לחשבונות לחיוב, לתיקיות ולארגונים, ולא מדובר בהיררכיה. לדוגמה, אם יש לכם כמה Google Cloud פרויקטים בארגון, תוכלו להגדיר עד 200 יעד לכל Google Cloud פרויקט. באותו ארגון, תוכלו גם להגדיר עד 200 יעדים ברמת הארגון.
| קטגוריה | הערך המקסימלי של המגבלה או ערך המכסה הראשוני |
הערות |
|---|---|---|
גודל של
LogEntry |
256 KiB | המגבלה הזו היא משוערת ומבוססת על גדלי נתונים פנימיים, ולא על הגודל בפועל של בקשת API בארכיטקטורת REST. אי אפשר להגדיל את המכסה הזו. |
| הגודל של רשומה ביומן הביקורת | 512 KiB | אי אפשר להגדיל את המכסה הזו. |
| מספר התוויות | 64 לכל LogEntry |
אי אפשר להגדיל את המכסה הזו. |
אורך של מפתח תווית LogEntry |
512 B | Cloud Logging חותך מפתחות של תוויות גדולות מדי כשנכתבת רשומה ביומן שמשויכת אליהן. אי אפשר להגדיל את המכסה הזו. |
אורך של ערך התווית LogEntry |
64 KiB | כשערך התווית גדול מדי, הוא נחתך ב-Cloud Logging כשנכתבת רשומת היומן המשויכת. אי אפשר להגדיל את המכסה הזו. |
| אורך של שאילתה בשפת השאילתות של רישום ביומן | 20,000 תווים | אי אפשר להגדיל את המכסה הזו. |
| התפצלות שאילתה | 200 קטגוריות | המגבלה הזו היא המספר המקסימלי של קטגוריות שיכולות להכיל רשומות ביומן של משאב. מידע נוסף מופיע במאמר בנושא שאילתה מחזירה שגיאה. אי אפשר להגדיל את המכסה הזו. מטעמי ביצועים, מומלץ לצמצם את מספר דלי המידע של היומנים וליצור אותם באזור אחד. אם אתם צריכים לעיתים קרובות לשלוח שאילתות לגבי רשומות ביומן שמקורן במשאבים שונים, כדאי להפנות את הרשומות ביומן לכמה מאגרי יומנים מרכזיים. |
| מספר הכיורים | 200 לכל Google Cloud פרויקט | אפשר להגדיל את המספר הזה ל-4,000. המכסה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. |
| האורך של מסנן הכללה של יעד | 20,000 תווים | אי אפשר להגדיל את המכסה הזו. |
| האורך של מסנן החרגה של אובייקט sink | 20,000 תווים | אי אפשר להגדיל את המכסה הזו. |
| מספר מסנני ההחרגה | 50 לכל כיור | אי אפשר להגדיל את המכסה הזו. אם אתם צריכים יותר מ-50 מסנני החרגה, כדאי לצמצם את מסנן ההכללה. |
| מספר קטגוריות היומנים | 100 לכל Google Cloud פרויקט | אפשר להגדיל את המספר הזה ל-2,500. המכסה הזה הוא המספר המקסימלי של קטגוריות שיכולות להכיל רשומות של יומנים עבור משאב, והוא כולל קטגוריות שנמצאות בהמתנה למחיקה. המכסה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. אם תגדילו את המספר המקסימלי של קטגוריות ביומן, יכול להיות שתחוו חוויית שימוש פחות טובה, כי אוסף תצוגות יומן (log scope) שמוגדר כברירת מחדל לא יכול לכלול את כל קטגוריות ביומן בפרויקט. |
| מספר השדות המותאמים אישית שנוספו לאינדקס | 20 לכל קטגוריה ביומן | אי אפשר להגדיל את המכסה הזו. Cloud Logging תומך באינדוקס טקסט מלא. לכן לא מומלץ להגדיר אינדוקס מותאם אישית. |
| מספר תצוגות היומן | 30 לכל קטגוריה ביומן | אפשר להגדיל את המכסה ל-1,000 תצוגות של יומנים בקטגוריה יומן יחידה. אם תגדילו את המספר המקסימלי של תצוגות יומן, יכול להיות שתחוו חוויית שימוש פחות טובה, כי אוסף תצוגות היומן (log scope) שמוגדר כברירת מחדל לא יכול לכלול את כל תצוגות היומן בפרויקט. |
| חותמת הזמן הכי ישנה שאפשר לאחסן בקטגוריות של יומנים | נקבע לפי תקופת השמירה של קטגוריית היומנים. | בקטגוריית יומנים בהתאמה אישית עם תקופת השמירה שמוגדרת כברירת מחדל, הערך הזה הוא 30 ימים אחורה. ה-Logging API מקבל רשומות ביומן עם חותמות זמן ישנות יותר, והרשומות האלה מנותבות ליעדי sink. עם זאת, אם רשומות ביומן עם חותמות זמן ישנות יותר מנותבות לקטגוריה ביומן, הן לא נשמרות. |
| חותמת זמן עתידית שאפשר לשמור בקטגוריות של יומנים | עד יום אחד בעתיד | Logging API דוחה רשומות עם חותמות זמן שחלפו יותר מיום אחד בעתיד ומחזיר שגיאה INVALID_ARGUMENT. אי אפשר להגדיל את המכסה הזו. |
| מספר היקפי היומן לכל משאב | 100 | אפשר להגדיל את המספר הזה ל-10,000. |
| מספר הצפיות ביומן ומספר הפרויקטים שנכללים באוסף תצוגות יומן (log scope) | 100 | מומלץ שאוסף תצוגות היומן (log scope) יפרט תצוגות יומן במקום פרויקטים, כשהדבר אפשרי. הצגת יומן הרישום מובילה לקיצור זמן השאילתה ולשיפור הבהירות לגבי רשומות היומן שנכללות בשאילתה. |
| מספר הפרויקטים שכלולים בהיקף היומן | 5 | מומלץ שאוסף תצוגות יומן (log scope) יפרט תצוגות יומן במקום פרויקטים, כשהדבר אפשרי. יכול להיות שהתצוגות של היומן יהיו בפרויקטים שונים. |
| המספר המקסימלי של תצוגות ניתוח נתונים לכל Google Cloud פרויקט | 100 | אי אפשר להגדיל את המכסה הזו. התכונה הזו זמינה בתוכנית Public Preview. |
| לכל Google Cloud פרויקט, המספר המקסימלי של תצוגות ניתוח נתונים לכל אזור | 50 | אי אפשר להגדיל את המכסה הזו. התכונה הזו זמינה בתוכנית Public Preview. |
| בכל Google Cloud פרויקט, המספר המקסימלי של אזורים שאפשר לאחסן בהם תצוגות ניתוח נתונים | 10 | אי אפשר להגדיל את המכסה הזו. התכונה הזו זמינה בתוכנית Public Preview. |
מכסות ומגבלות של Logging API
המגבלות הבאות חלות על השימוש שלכם ב-Logging API. אפשר לבקש שינויים במכסות ובמגבלות של Logging API. הוראות מפורטות מופיעות בקטע בקשת שינויים במכסות של Cloud Logging API בדף הזה.
כדי לראות את המכסות של ה-API, עוברים אל מרכז הבקרה של ה-API, בוחרים API ואז בוחרים באפשרות Quotas (מכסות).
| קטגוריה | ערך מקסימלי של המגבלה או ערך מכסת ההתחלה |
הערות |
|---|---|---|
| משך החיים של טוקנים של דפים ב-API | 24 שעות | אי אפשר להגדיל את המכסה הזו. |
| מספר הסשנים הפתוחים של מעקב בזמן אמת | 10 לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. |
| מספר הרשומות שמוחזרות ממעקב בזמן אמת | 60,000 לדקה | אי אפשר להגדיל את המכסה הזו. |
| מספר השדות המוגבלים | 20 לכל bucket | אי אפשר להגדיל את המכסה הזו. |
| גודל של שדה מוגבל | 800 B | אי אפשר להגדיל את המכסה הזו. |
הגודל של בקשת entries.write |
10 MB | אי אפשר להגדיל את המכסה הזו. |
שיעור הבקשות של entries.write, לפי אזור |
4.8 GB לדקה, לכל Google Cloud פרויקט באזורים
asia-east1,
asia-northeast1,
asia-southeast1,
asia-south1,
europe-west1,
europe-west2,
europe-west3,
europe-west4,
us-central1,
us-east4,
us-west1
300 MB לדקה, לכל Google Cloud פרויקט בכל האזורים הנותרים |
אפשר לבקש להגדיל את המכסה. המכסה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. מידע נוסף על המכסות האלה זמין במאמר מכסות להעברת נתונים לפי אזור. שימוש במסנני החרגה לא מפחית את קצב בקשות הכתיבה, כי רשומות היומן מוחרגות אחרי שמתבצעת בקשת |
מספר הבקשות של entries.list |
60 לדקה, לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. כדי לשלוח שאילתות על נפחים גדולים של יומנים, כדאי להשתמש ב-BigQuery APIs. כדי להעביר כמויות גדולות של יומנים, כדאי להשתמש ב-sink ביומן או להעתיק רשומות ביומן. |
מספר שמות המשאבים השונים בפקודה אחת של entries.write |
1000 | אי אפשר להגדיל את המכסה הזו. השדה |
| שליטה בבקשות לדקה | 600 | אי אפשר להגדיל את המכסה הזו. המכסה הזו חלה על כל הבקשות שנכללות במכסת הבקשות היומית של בקשות בקרה, וגם על בקשות API למחיקת יומנים ולניהול מדדים שמבוססים על יומנים. |
| שליטה בבקשות ליום | 1,000 לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המכסה הזו חלה על בקשות ל-API ליצירה ולעדכון של החרגות ו-sinks. |
מספר הפרויקטים או שמות המשאבים האחרים בבקשה אחת של entries.list Google Cloud |
100 | אי אפשר להגדיל את המכסה הזו. |
| מספר פעולות ההעתקה המקבילות | אחד לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. |
| קצב הייצוא לנושאים ב-Pub/Sub | 60GB/min לכל Google Cloud פרויקט, תיקייה או ארגון שבהם מוגדרת יעד ההעברה | אפשר לשלוח בקשת תמיכה כדי להגדיל את המכסה. הגדלת המכסה מתבצעת על סמך הזמינות של Pub/Sub. אם קצב הייצוא חורג מהמכסה, השגיאה מתועדת ברשומה ביומן. בשדה הסיכום מצוינת שגיאת הגדרת יעד, וקוד השגיאה הוא מידע לפתרון בעיות מופיע במאמר בנושא בעיות במכסות של יעד. |
מכסות להעברת נתונים לפי אזור
כדי לשפר את הבידוד ולהגן על משאבים אזוריים מפני עומס יתר של הטמעה, המכסות של Cloud Logging מגבילות את נפח הנתונים שנכתבים לאזור הטמעה על בסיסGoogle Cloud פרויקט.
בטבלה הבאה מוצגת מכסת ברירת המחדל לכל אזור:
| אזור הטמעת הנתונים | ערך ברירת המחדל |
|---|---|
asia-east1,
asia-northeast1,
asia-southeast1,
asia-south1,
europe-west1,
europe-west2,
europe-west3,
europe-west4,
us-central1,
us-east4,
us-west1
|
4.8 GB לדקה, לכל Google Cloud פרויקט |
| כל האזורים הנותרים | 300 MB לדקה, לכל Google Cloud פרויקט |
ערכי ברירת המחדל של המכסות האזוריות גבוהים יותר מנפחי ההעברה של רוב המשתמשים. עם זאת, אם נפח ההעברה של הפרויקט מאזור מסוים היה קרוב למכסת ברירת המחדל או גבוה ממנה במהלך שישה חודשים או יותר לפני שהמכסות נאכפו, המכסה הראשונית כוללת הגדלה אוטומטית חד-פעמית. לכן, יכול להיות שהמכסות שלכם יהיו גבוהות יותר מהערכים שמופיעים כברירת מחדל בטבלה שלמעלה. למידע על בדיקת מכסות, ראו בדיקת המכסות של Cloud Logging API.
אם תחרגו ממכסה אזורית, יכול להיות שבקשות הכתיבה שלכם ל-Cloud Logging API יידחו עם הודעת השגיאה 'המשאב מוצה'. המלצות שיעזרו לכם להימנע מחריגה מהמכסות מפורטות במאמר ניהול ומעקב אחרי מכסות ב-Logging.
בדיקת המכסות של Cloud Logging API
כדי לבדוק את המכסות של Cloud Logging API:
-
במסוף Google Cloud , נכנסים לדף Quotas & System Limits:
כניסה לדף Quotas & System Limits
אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שמופיע בה הכותרת המשנית IAM & Admin.
- מסננים את רשימת המכסות של שירות Cloud Logging API.
בקשת שינויים במכסות של Cloud Logging API
כדי לבדוק אם אפשר לבקש להגדיל או להקטין את המכסה של Logging API באמצעות מסוף Google Cloud , פותחים את הדף Quotas & System Limits ומחפשים את המכסה הרצויה.
- אם המכסה מופיעה, אפשר להשתמש בדף הזה כדי לבקש שינוי של המגבלה. מידע על השלבים האלה מופיע במאמר בנושא איך רואים ומנהלים את המכסות.
- אם המכסה לא מופיעה ברשימה או אם אתם מבקשים לעדכן את המכסה ומופיעה השגיאה
Edit is not allowed for this quota, אתם יכולים לפנות אל Cloud Customer Care ולבקש לשנות את המכסה. כדי לערוך את המכסות במסוף Google Cloud , צריך להפעיל את החיוב בפרויקטGoogle Cloud .
ניהול ומעקב אחרי המכסות של Cloud Logging API
כדי למנוע שיבושים בשירותים בגלל חריגה ממכסות, אפשר:
- אפשר להשתמש בהתאמה אוטומטית של המכסות כדי לעקוב אחרי השימוש במכסות ולשלוח בקשות להגדלת המכסות בשבילכם. מידע נוסף מופיע במאמר בנושא הכלי לשינוי המכסות.
- יצירת התראות על מכסות כדי לקבל הודעות על השימוש. מידע נוסף מופיע במאמר בנושא הגדרת התראות על מכסות.
אופטימיזציה של השימוש ב-entries.list
השימוש הצפוי ב-entries.list הוא חיפוש של יומנים תואמים. השיטה הזו לא מיועדת לאחזור של מספר גדול של רשומות ביומן. אם אתם מגיעים באופן קבוע למכסת entries.list, כדאי לשקול את האפשרויות הבאות:
חשוב לוודא שאתם משתמשים ב-Cloud Logging API בצורה יעילה. מידע נוסף זמין במאמר בנושא אופטימיזציה של השימוש ב-API.
אם אתם יודעים מראש שרשומות היומן שאתם רוצים לנתח חורגות מהמכסה של
entries.list, אתם יכולים להגדיר sink ביומן כדי לייצא את היומנים ליעד נתמך.
- כדי לנתח רשומות ביומן מחוץ ל-Logging, אפשר להעתיק רשומות ביומן שכבר קיימות ב-Logging לקטגוריות של Cloud Storage. כשמעתיקים יומנים לקטגוריה של Cloud Storage, אפשר לשתף רשומות ביומן עם בודקים חיצוניים ל-Logging ולהריץ סקריפטים ב-Cloud Storage.
כדי לצבור ולנתח את רשומות היומן ב-Logging, צריך לאחסן את רשומות היומן בקטגוריית יומנים ואז לשדרג את קטגוריית היומנים הזו לשימוש ב-Observability Analytics. מידע על השלבים האלה זמין במאמר בנושא הגדרת מאגרי יומנים.
בעזרת Observability Analytics, אפשר להריץ שאילתות על רשומות היומן באמצעות SQL סטנדרטי של BigQuery.
מדדים מבוססי-יומנים
הערך הזה רלוונטי רק לנתוני מדדים ש-Google Cloud Observability מפיק מנתוני היומן שלכם (מדדים מבוססי-יומן). הסעיף הזה לא רלוונטי לנתוני מדדים שנכתבים על ידי Google Cloud שירותים או האפליקציות שלכם.
המגבלות הבאות חלות על השימוש שלכם במדדים מבוססי-יומן שהוגדרו על ידי המשתמש. חוץ ממספר התיאורים של המדדים, המגבלות האלה קבועות ואי אפשר להגדיל או להקטין אותן.
| קטגוריה | ערך מקסימלי |
|---|---|
| מספר התוויות | 10 לכל מדד |
| אורך הערך של label | 1,024 B |
| אורך התיאור של התווית | 800 B |
| אורך המסנן1 | 20,000 תווים |
| אורך של תיאורי מדדים | 8,000 B |
| מספר תיאורי המדדים | 500 לכל Google Cloud פרויקט2 |
| מספר סדרות הזמן3 הפעילות | 30,000 לכל מדד4 |
| מספר הקטגוריות בהיסטוגרמה | 200 לכל מדד הפצה מותאם אישית |
| שמירת נתונים | Cloud Monitoring: שמירת נתונים |
1 כל מדד שמבוסס על יומן מכיל מסנן. אם רשומה ביומן תואמת למסנן, היא נספרת. המסננים מוגדרים באמצעות שפת השאילתות של רישום ביומן.
2 המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית.
3 סדרת זמן פעילה אם כתבתם אליה נקודות נתונים ב-24 השעות האחרונות.
4 המערכת מגבילה את מספר סדרות הזמן הפעילות לכל משאב במעקב ל-1,000,000. במדדים מבוססי-יומן ברמת הפרויקט, המשאב מוגדר על ידי המשאב ברשומה ביומן. במקרה של מדדים מבוססי-יומן ברמת דלי, המשאב הוא logging_bucket.
כשמגיעים למגבלה הזו, המערכת מגבילה את נתוני המדדים של המשאב. אפשר לצמצם את מספר סדרות הזמן של מדד שמבוסס על יומן על ידי צמצום העוצמה שלו.
רישום ביומן ביקורת
הגדלים המקסימליים של יומני ביקורת מפורטים בטבלה הבאה. הערכים האלה יכולים לעזור לכם להעריך את הנפח שאתם צריכים ביעדי הנתונים.
| סוג יומן הביקורת | גודל מקסימלי |
|---|---|
| פעילות האדמין | 512 KiB |
| גישה לנתונים | 512 KiB |
| אירוע מערכת | 512 KiB |
| נדחה עקב הפרת מדיניות | 512 KiB |
תקופות שמירה של היומנים
תקופות השמירה הבאות של Cloud Logging חלות על קטגוריות של יומנים, ללא קשר לסוגי היומנים שנכללים בקטגוריה או אם הם הועתקו ממיקום אחר:
| קטגוריה | משאבים | תקופת ברירת המחדל לשמירה | שמירה מותאמת אישית |
|---|---|---|---|
_Required |
פרויקט, תיקייה, ארגון | 400 ימים | לא ניתן להגדרה |
_Default |
תיקייה, ארגון | 30 ימים | לא ניתן להגדרה |
_Default |
פרויקט | 30 ימים | ניתן להגדרה |
| בהגדרת המשתמש | פרויקט | 30 ימים | ניתן להגדרה |
במקרה של _Default ושל מאגרי יומנים שהוגדרו על ידי המשתמשים ונמצאים בפרויקטים, אפשר להגדיר את Cloud Logging כך שישמור את היומנים למשך יום אחד עד3650 days. במאמר הגדרת שמירה מותאמת אישית מוסבר איך מגדירים כללי שמירה.
כדי לאחסן רשומות ביומן מתיקייה או מארגון למשך יותר מ-30 יום, צריך ליצור sink ביומן ולנתב את הרשומות האלה לקטגוריה ביומן בפרויקט.
תמחור
למידע על מחירים, אפשר לעיין בדף תמחור של Google Cloud Observability. אם אתם מעבירים נתוני יומן לשירותים אחרים Google Cloud , כדאי לעיין במסמכים הבאים: