כדי לעזור לכם לתכנן את הקיבולת ולמנוע שיבושים בשירות, ב-Cloud Logging חלות מכסות ומגבלות מערכת על בקשות API, על אחסון ועל הגדרות של משאבים. אתם יכולים לבקש להגדיל את רוב המכסות, אבל מגבלות המערכת קבועות ואי אפשר לשנות אותן.
מכסות רישום ביומן ומגבלות שימוש
בטבלה הבאה מפורטות המכסות והמגבלות שחלות על השימוש ב-Cloud Logging. באופן כללי, אתם יכולים לבקש להגדיל את המכסה. אבל אי אפשר לשנות את המגבלות.
חלק מהרשומות מופיעות כרשומות לכל פרויקט, אבל בהערה מצוין שהרשומה חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. לדוגמה, אם יש לכם כמה פרויקטים ב- Google Cloud , תוכלו להגדיר עד 200 כיורים לכל פרויקט ב- Google Cloud . באותו ארגון תוכלו גם להגדיר עד 200 כיורים ברמת הארגון.
| קטגוריה | הערך המקסימלי של המגבלה או הערך הראשוני של המכסה |
הערות |
|---|---|---|
גודל של
LogEntry |
256 KiB | המגבלה הזו היא משוערת ומבוססת על גודלי נתונים פנימיים, ולא על הגודל בפועל של בקשת ה-API בארכיטקטורת REST. אי אפשר להגדיל את המכסה הזו. |
| גודל של רשומה ביומן ביקורת | 512 KiB | אי אפשר להגדיל את המכסה הזו. |
| מספר התוויות | 64 לכל LogEntry |
אי אפשר להגדיל את המכסה הזו. |
אורך מפתח התווית של LogEntry |
512 B | מערכת Cloud Logging חותכת מפתחות של תוויות שחורגים מהגודל המקסימלי כשהרשומה המשויכת ביומן נכתבת. אי אפשר להגדיל את המכסה הזו. |
אורך הערך של תווית LogEntry |
64 KiB | כשהרשומה ביומן נכתבת, Cloud Logging מקצר ערכי תוויות שחורגים מהגודל המקסימלי. אי אפשר להגדיל את המכסה הזו. |
| אורך של שאילתה בשפת השאילתות של Logging | 20,000 תווים | אי אפשר להגדיל את המכסה הזו. |
| פיצול שאילתות (fanout) | 200 קטגוריות | המגבלה הזו היא המספר המקסימלי של קטגוריות שיכולות להכיל רשומות ביומן של משאב. למידע נוסף, קראו את המאמר השאילתה מחזירה שגיאה. אי אפשר להגדיל את המכסה הזו. מסיבות שקשורות לביצועים, כדאי לצמצם את מספר קטגוריות היומנים וליצור אותן באזור אחד. אם אתם צריכים לשלוח לעיתים קרובות שאילתות לרשומות ביומן שמקורן במשאבים שונים, כדאי לנתב את הרשומות ביומן לכמה קטגוריות מרכזיות של יומנים. |
| מספר הכיורים | 200 לכל Google Cloud פרויקט | אפשר להגדיל את המגבלה ל-4,000. המכסה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. |
| האורך של מסנן הכללה של sink | 20,000 תווים | אי אפשר להגדיל את המכסה הזו. |
| אורך של מסנן החרגה של אובייקט sink | 20,000 תווים | אי אפשר להגדיל את המכסה הזו. |
| מספר מסנני ההחרגה | 50 לכל כיור | אי אפשר להגדיל את המכסה הזו. אם אתם צריכים יותר מ-50 מסנני החרגה, אתם יכולים לשפר את מסנן ההכללה. |
| מספר הקטגוריות ביומן | 100 לכל Google Cloud פרויקט | אפשר להגדיל את המגבלה ל-2,500. המכסה הזו היא המספר המקסימלי של קטגוריות שיכולות להכיל רשומות ביומן של משאב, והיא כוללת קטגוריות שממתינות למחיקה. המכסה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. אם תגדילו את המספר המקסימלי של קטגוריות היומנים, יכול להיות שחוויית המשתמש תיפגע כי אוסף תצוגות היומן שמוגדר כברירת מחדל לא יכול לכלול את כל קטגוריות היומנים בפרויקט. |
| מספר השדות המותאמים אישית שנוספו לאינדקס | 20 לכל קטגוריה ביומן | אי אפשר להגדיל את המכסה הזו. ב-Cloud Logging יש תמיכה בהוספה לאינדקס של טקסט מלא. לכן, אנחנו לא ממליצים להגדיר הוספה מותאמת אישית לאינדקס. |
| מספר תצוגות היומן | 30 לכל קטגוריה ביומן | אפשר להגדיל את המכסה ל-1,000 תצוגות של יומנים בדלי יומנים אחד. אם מגדילים את המספר המקסימלי של תצוגות היומנים, יכול להיות שחוויית המשתמש תיפגע כי אוסף תצוגות היומן שמוגדר כברירת מחדל לא יכול לכלול את כל תצוגות היומנים בפרויקט. |
| חותמת הזמן הישנה ביותר שאפשר לאחסן בקטגוריות של יומנים | נקבעת לפי תקופת השמירה של קטגוריית היומנים. | בקטגוריית יומנים בהתאמה אישית עם תקופת השמירה שמוגדרת כברירת מחדל, הערך הזה הוא 30 ימים בעבר. Logging API מקבל רשומות ביומן עם חותמות זמן ישנות יותר, והרשומות האלה מנותבות ליעדי הכיור. עם זאת, אם רשומות ביומן עם חותמות זמן ישנות יותר מנותבות לקטגוריית יומנים, הן לא מאוחסנות. |
| חותמת זמן עתידית שאפשר לאחסן בקטגוריות של יומנים | עד יום אחד בעתיד | Logging API דוחה רשומות עם חותמות זמן של יותר מיום אחד בעתיד, ומחזיר שגיאת INVALID_ARGUMENT. אי אפשר להגדיל את המכסה הזו. |
| מספר אוספי תצוגות יומן (log scope) לכל משאב | 100 | אפשר להגדיל ל-10,000. |
| מספר תצוגות היומן והפרויקטים שכלולים באוסף תצוגות יומן (log scope) | 100 | מומלץ שאוסף תצוגות היומן יכלול תצוגות יומן במקום פרויקטים, כשאפשר. הצגת תצוגות של יומנים מקצרת את זמן השאילתה ומבהירה אילו רשומות ביומן נכללות בשאילתה. |
| מספר הפרויקטים שכלולים באוסף תצוגות היומן (log scope) | 5 | מומלץ שאוסף תצוגות היומן יכלול תצוגות יומן במקום פרויקטים, כשאפשר. תצוגות היומנים יכולות להיות בפרויקטים שונים. |
| המספר המקסימלי של תצוגות ניתוח נתונים בכל פרויקט ב- Google Cloud | 100 | אי אפשר להגדיל את המכסה הזו. התכונה הזו נמצאת בגרסת Public Preview. |
| מספר מקסימלי של תצוגות ניתוח נתונים לכל אזור, בכל פרויקט ב- Google Cloud | 50 | אי אפשר להגדיל את המכסה הזו. התכונה הזו נמצאת בגרסת Public Preview. |
| המספר המקסימלי של אזורים בכל פרויקט ב- Google Cloud שאפשר לאחסן בהם תצוגות ניתוח נתונים | 10 | אי אפשר להגדיל את המכסה הזו. התכונה הזו נמצאת בגרסת Public Preview. |
מכסות ומגבלות של Logging API
המגבלות הבאות חלות על השימוש ב-Logging API. אתם יכולים לבקש שינויים במכסות ובמגבלות של Logging API. הוראות מפורטות מופיעות בקטע בקשת שינויים במכסות של Cloud Logging API שבדף הזה.
כדי לראות את מכסות ה-API, נכנסים למרכז הבקרה של ה-API, בוחרים API ולוחצים על Quotas.
| קטגוריה | הערך המקסימלי של המגבלה או ערך המכסה הראשוני |
הערות |
|---|---|---|
| משך החיים של אסימוני דפים ב-API | 24 שעות | אי אפשר להגדיל את המכסה הזו. |
| מספר הסשנים הפתוחים של רישום ביומן בזמן אמת | 10 לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. |
| מספר הרשומות שהוחזרו ברישום ביומן בזמן אמת | 60,000 לדקה | אי אפשר להגדיל את המכסה הזו. |
| מספר השדות המוגבלים | 20 לכל קטגוריה | אי אפשר להגדיל את המכסה הזו. |
| גודל של שדה מוגבל | 800 B | אי אפשר להגדיל את המכסה הזו. |
גודל של בקשת entries.write |
10 MB | אי אפשר להגדיל את המכסה הזו. |
שיעור הבקשות של entries.write,
לפי אזור |
4.8GB לדקה, לכל פרויקט ב- Google Cloud באזורים
asia-east1,
asia-northeast1,
asia-southeast1,
asia-south1,
europe-west1,
europe-west2,
europe-west3,
europe-west4,
us-central1,
us-east4,
us-west1
300MB לדקה, לכל פרויקט ב- Google Cloud בכל שאר האזורים |
אתם יכולים לבקש להגדיל את המכסה. המכסה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. מידע נוסף על המכסות האלה מופיע במאמר מכסות הטמעה לכל אזור. שימוש במסנני החרגה לא מפחית את קצב בקשות הכתיבה, כי רשומות ביומן מוחרגות אחרי שנשלחת הבקשה של |
מספר הבקשות של entries.list |
60 לדקה, לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. כדי לשלוח שאילתות על נפחים גדולים של יומנים, כדאי להשתמש בממשקי BigQuery API. כדי להעביר כמויות גדולות של יומנים, מומלץ להשתמש ב-sink ביומן או להעתיק רשומות ביומן. |
מספר השמות השונים של המשאבים בפקודה אחת של entries.write |
1000 | אי אפשר להגדיל את המכסה הזו. השדה |
| בקשות בקרה לדקה | 600 | אי אפשר להגדיל את המכסה הזו. המכסה הזו חלה על בקשות API של ניהול והגדרות. היא כוללת את כל הבקשות במכסת הבקשות היומית, וגם בקשות למחיקת יומנים או לניהול משאבים כמו קטגוריות ביומן, תצוגות של יומנים, מדיניות IAM בתצוגות של יומנים, אוספי תצוגות יומן (log scope) ומדדים מבוססי-יומנים. |
| בקשות בקרה ביום | 1,000 לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המכסה הזו חלה על בקשות API ליצירה ולעדכון של החרגות וכיורים. |
מספר Google Cloud הפרויקטים או שמות המשאבים האחרים בבקשת entries.listאחת |
100 | אי אפשר להגדיל את המכסה הזו. |
| מספר פעולות ההעתקה בו-זמנית | 1 לכל Google Cloud פרויקט | אי אפשר להגדיל את המכסה הזו. המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית. |
| קצב הייצוא לנושאי Pub/Sub | 60GB לדקה לכל פרויקט, תיקייה או ארגון שבהם מוגדר הכיור ב- Google Cloud | כדי להגדיל את המכסה, אתם יכולים לשלוח בקשת תמיכה. הגדלת המכסה ניתנת על סמך הזמינות של Pub/Sub. אם קצב הייצוא חורג מהמכסה, השגיאה מתועדת ברשומת יומן. בשדה הסיכום מצוינת שגיאה בהגדרת הכיור, וקוד השגיאה שמופיע הוא למידע על פתרון בעיות, ראו בעיות במכסות של כיורים. |
מכסות הטמעה לכל אזור
כדי לשפר את הבידוד ולהגן על המשאבים האזוריים מפני עומס יתר של הטמעת נתונים, המכסות של Cloud Logging מגבילות את נפח הנתונים שנכתבים באזור הטמעה לכל פרויקט ב-Google Cloud .
בטבלה הבאה מוצגת מכסת ברירת המחדל לכל אזור:
| אזור הטמעת הנתונים | ערך ברירת המחדל |
|---|---|
asia-east1,
asia-northeast1,
asia-southeast1,
asia-south1,
europe-west1,
europe-west2,
europe-west3,
europe-west4,
us-central1,
us-east4,
us-west1
|
4.8GB לדקה, לכל Google Cloud פרויקט |
| כל שאר האזורים | 300MB לדקה, לכל Google Cloud פרויקט |
ערכי ברירת המחדל של המכסות האזוריות חורגים מנפחי הטמעת הנתונים של רוב המשתמשים. עם זאת, אם נפח ההטמעה של הפרויקט מאזור מסוים היה קרוב למכסת ברירת המחדל או גבוה ממנה בשישה חודשים או יותר לפני אכיפת המכסות, המכסה הראשונית כוללת הגדלה אוטומטית וחד-פעמית. לכן, יכול להיות שהמכסות שלכם יהיו גבוהות יותר מברירות המחדל שבטבלה שלמעלה. למידע על בדיקת המכסות, ראו בדיקת המכסות של Cloud Logging API.
אם תחרגו מהמכסה האזורית, יכול להיות שבקשות הכתיבה שלכם ל-Cloud Logging API יידחו ותופיע הודעת השגיאה "resource exhausted". במאמר ניהול ומעקב אחרי מכסות הרישום ביומן מפורטות המלצות שיעזרו לכם להימנע מחריגה מהמכסות.
בדיקת המכסות של Cloud Logging API
כדי לבדוק את המכסות של Cloud Logging API:
-
במסוף Google Cloud , נכנסים לדף Quotas & System Limits:
כניסה לדף Quotas & System Limits
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה שכותרת המשנה שלה היא IAM & Admin.
- מסננים את רשימת המכסות של שירות Cloud Logging API.
בקשת שינויים במכסות של Cloud Logging API
כדי לבדוק אם אתם יכולים לבקש להגדיל או להקטין את מכסת הבקשות ל-Logging API, במסוף Google Cloud נכנסים לדף Quotas & System Limits ומחפשים את המכסה הרלוונטית.
- אם המכסה מופיעה, אתם יכולים להשתמש בדף הזה כדי לבקש שינוי במגבלה. איך רואים ומנהלים את המכסות?
- אם המכסה לא מופיעה ברשימה או אם ביקשתם עדכון של המכסה וקיבלתם את השגיאה
Edit is not allowed for this quota, פנו ל-Cloud Customer Care ובקשו לשנות את המכסה. כדי לערוך את המכסות במסוף Google Cloud , צריך להפעיל את החיוב בפרויקטGoogle Cloud .
ניהול ומעקב אחרי המכסות של Cloud Logging API
כדי למנוע שיבושים בשירות שנגרמים כתוצאה מחריגה מהמכסות, אתם יכולים:
- אתם יכולים להשתמש בכלי לשינוי אוטומטי של המכסות כדי לעקוב אחרי השימוש במכסות ולבקש הגדלה שלהן. מידע נוסף על הכלי לשינוי המכסות
- ליצור התראות על מכסות כדי לקבל הודעות על השימוש. הגדרת התראות על הגעה למכסה
אופטימיזציה של השימוש ב-entries.list
השימוש הצפוי ב-entries.list הוא חיפוש של יומנים תואמים. השיטה הזו לא מיועדת לאחזור של רשומות ביומן בכמות גדולה. אם אתם מנצלים באופן קבוע את המכסה של entries.list, כדאי לשקול את האפשרויות הבאות:
חשוב לוודא שאתם משתמשים ב-Cloud Logging API בצורה יעילה. מידע נוסף זמין במאמר אופטימיזציה של השימוש ב-API.
אם אתם יודעים מראש שרשומות היומן שאתם רוצים לנתח חורגות מהמכסה של
entries.list, אתם יכולים להגדיר sink ביומן כדי לייצא את היומנים ליעד נתמך.
- כדי לנתח רשומות ביומן מחוץ ל-Logging, אתם יכולים להעתיק רטרואקטיבית רשומות ביומן שכבר קיימות ב-Logging לקטגוריות של Cloud Storage. כשמעתיקים יומנים לקטגוריה של Cloud Storage, אפשר לשתף רשומות ביומן עם מבקרי חשבונות מחוץ ל-Logging ולהריץ סקריפטים ב-Cloud Storage.
כדי לצבור ולנתח את רשומות היומן ב-Logging, צריך לאחסן את רשומות היומן בקטגוריית יומנים ואז לשדרג את קטגוריית היומנים כדי להשתמש ב-Observability Analytics. למידע נוסף על השלבים האלה, קראו את המאמר הגדרת קטגוריות של יומנים.
בעזרת Observability Analytics אתם יכולים להריץ שאילתות על רשומות ביומן באמצעות SQL סטנדרטי של BigQuery.
מדדים מבוססי-יומנים
הרשומה הזו רלוונטית רק לנתוני מדדים ש-Google Cloud Observability מפיק מנתוני היומנים (מדדים מבוססי-יומנים). הקטע הזה לא רלוונטי לנתוני מדדים שנכתבים על ידי Google Cloud שירותים או אפליקציות שלכם.
המגבלות הבאות חלות על השימוש במדדים מבוססי-יומנים שמוגדרים על ידי המשתמש. המגבלות האלה קבועות, חוץ ממספר תיאורי המדדים, ואי אפשר להגדיל או להקטין אותן.
| קטגוריה | ערך מקסימלי |
|---|---|
| מספר התוויות | 10 לכל מדד |
| אורך הערך של label | 1,024 B |
| אורך התיאור של התווית | 800 B |
| אורך המסנן1 | 20,000 תווים |
| אורך תיאורי המדדים | 8,000 B |
| מספר תיאורי המדדים | 500 לכל Google Cloud פרויקט2 |
| מספר סדרות הזמן הפעילות3 | 30,000 לכל מדד4 |
| מספר הדליים בהיסטוגרמה | 200 לכל מדד התפלגות מותאם אישית |
| שמירת נתונים | Cloud Monitoring: שמירת נתונים |
1 כל מדד מבוסס-יומנים מכיל מסנן. כשערך ביומן תואם למסנן, הערך נספר. המסננים מוגדרים באמצעות שפת השאילתות של Logging.
2 המגבלה הזו חלה גם על חשבונות לחיוב, תיקיות וארגונים, והיא לא היררכית.
3 סדרת הזמן פעילה אם כתבתם בה נקודות על הגרף ב-24 השעות האחרונות.
4 המערכת מגבילה את מספר הסדרות הפעילות של נתונים תלויי-זמן ל-1,000,000 לכל משאב במעקב. במדדים מבוססי-יומנים ברמת הפרויקט, המשאב מוגדר לפי המשאב ברשומת היומן. במדדים מבוססי-יומנים ברמת הקטגוריה, המשאב הוא logging_bucket.
כשהמגבלה הזו מגיעה, המערכת מצמצמת את נתוני המדדים של המשאב. כדי לצמצם את מספר סדרות הזמנים של מדד מבוסס-יומנים, אפשר לצמצם את העוצמה שלו.
רישום ביומן ביקורת
הגדלים המקסימליים של יומני הביקורת מוצגים בטבלה הבאה. הערכים האלה יכולים לעזור לכם להעריך את המקום שאתם צריכים ביעדי ה-sink.
| סוג יומן הביקורת | גודל מקסימלי |
|---|---|
| פעילות אדמין | 512 KiB |
| גישה לנתונים | 512 KiB |
| אירוע מערכת | 512 KiB |
| נדחה עקב הפרת מדיניות | 512 KiB |
תקופות שמירה של היומנים
תקופות השמירה הבאות ב-Cloud Logging חלות על קטגוריות של יומנים, בלי קשר לסוגי היומנים שנכללים בקטגוריה או אם הם הועתקו ממיקום אחר:
| קטגוריה | משאבים | תקופת השמירה שמוגדרת כברירת מחדל | שמירה בהתאמה אישית |
|---|---|---|---|
_Required |
פרויקט, תיקייה, ארגון | 400 ימים | לא ניתן להגדרה |
_Default |
תיקייה, ארגון | 30 ימים | לא ניתן להגדרה |
_Default |
פרויקט | 30 ימים | ניתן להגדרה |
| בהגדרת המשתמש | פרויקט | 30 ימים | ניתן להגדרה |
ב-_Default ובקטגוריות של יומנים שמוגדרות על ידי המשתמשים ונמצאות בפרויקטים, אתם יכולים להגדיר את Cloud Logging כך שישמור את היומנים למשך יום אחד עד3650 days. במאמר הגדרת שמירה בהתאמה אישית מוסבר איך מגדירים כללי שמירה.
כדי לאחסן רשומות ביומן מתיקייה או מארגון למשך יותר מ-30 יום, צריך ליצור sink ביומן ולנתב את הרשומות האלה לקטגוריה של יומנים בפרויקט.
תמחור
למידע על מחירים, קראו את המחירון של Google Cloud Observability. אם אתם מנתבים נתוני יומנים לשירותים אחרים של Google Cloud , תוכלו להיעזר במאמרים הבאים: