במאמר הזה מפורטות המכסות שחלות על Knowledge Catalog (לשעבר Dataplex Universal Catalog).
המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .
מערכת המכסות ב-Cloud:
- עוקבת אחרי השימוש במוצרים ובשירותים של Google Cloud
- מגבילה את השימוש במשאבים האלה
- כוללת כלי שבאמצעותו אפשר לשלוח בקשות לשינוי המכסות ולשנות אותן אוטומטית
ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.
בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.
למשאבים של Knowledge Catalog יש גם מגבלות מערכת. שאי אפשר לשנות.
ב-Knowledge Catalog יש מכסות על מספר בקשות ה-API במהלך פרק זמן מסוים ועל מספר המשאבים שאפשר ליצור בפרויקט. המכסות מגינות עליכם מפני עלייה חדה ובלתי צפויה בשימוש ועומס יתר בשירותים. מידע נוסף על הסיבות להחלת מכסות
ככל שתשתמשו יותר ב-Knowledge Catalog, יכול להיות שתצטרכו מכסה גדולה יותר. אם מכסה נמוכה מדי ולא מתאימה לצרכים שלכם, או אם אתם צופים עלייה בשימוש בקרוב, תוכלו לבקש הגדלה של המכסה.
הסבר על סוגים של בקשות API
בקשות API בתכונות שונות של Knowledge Catalog, כמו ניהול משאבים, מטא-נתונים, משימות וסריקות נתונים, מסווגות לקטגוריות כלליות כדי לנהל את השימוש בשירות ולהגן עליו.
קריאת בקשות
בקשות קריאה הן פעולות שנועדו לאחזר מידע על משאבים קיימים, מטא-נתונים או היסטוריית ביצוע, בלי לשנות את ההגדרה או המצב. הפעולות האלה לא משנות את הנתונים ולא מפעילות משימות עיבוד חדשות.
פעולות של בקשות קריאה כוללות את Get, List ו-Describe. לדוגמה, צפייה בהגדרה של סריקת נתונים או בסטטוס של משימת סריקה היא בקשת קריאה.
כתיבת בקשות
בקשות כתיבה כוללות את כל הפעולות שיוצרות, מעדכנות או מוחקות הגדרות של משאבים, וגם את הפעולות שמשנות מדיניות אבטחה. אלה פעולות שמשנות את מצב הסביבה.
פעולות של בקשות כתיבה כוללות Create, Update, Delete, Cancel ו-SetIamPolicy. לדוגמה, הגדרה של סריקת איכות נתונים או עדכון של סריקת פרופיל נתונים קיימת הן בקשות כתיבה.
הרצת בקשות
בקשות להפעלה מתייחסות ספציפית להפעלת הביצוע הפעיל של משאב שהוגדר מראש. בניגוד לבקשת כתיבה (שיכולה ליצור לוח זמנים חוזר), בקשת הפעלה משמשת בדרך כלל להפעלה לפי דרישה של הלוגיקה שהוגדרה.
לדוגמה, הפעלה ידנית של סריקת נתונים היא בקשת הפעלה.
מכסות לבקשות Dataplex API
ממשק Dataplex API אוכף מכסות לניהול משאבים ולבקשות חיפוש ב-Knowledge Catalog ברמות שונות, ללא קשר למקור שלהן. הבקשות האלה כוללות בקשות שמקורן בקריאות ל-API ישירות, בספריות לקוח, ב-Google Cloud CLI ובמסוף Google Cloud .
המכסות הבאות חלות על בקשות ל-Knowledge Catalog:
| מכסה | ברירת מחדל |
|---|---|
| בקשות קריאה של רשומות והיבטים לכל פרויקט, לכל אזור ולכל דקה | 6000 |
| בקשות כתיבה של רשומות והיבטים לכל פרויקט, לכל אזור ולכל דקה | 1500 |
| בקשות קריאה לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט לכל משתמש לכל דקה | 100 |
| קריאת בקשות לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט בכל דקה | 200 |
| כתיבת בקשות לסוגי היבטים, לסוגי רשומות ולקבוצות רשומות לכל פרויקט לכל משתמש לכל דקה | 10 |
| כתיבת בקשות לסוגי היבטים, לסוגי רשומות ולקבוצות רשומות לכל פרויקט בכל דקה | 20 |
| בקשות חיפוש לכל פרויקט לכל משתמש לדקה | 900 |
| בקשות חיפוש לדקה לכל פרויקט | 1200 |
| בקשות חיפוש לארגון לדקה | 2400 |
| בקשות חיפוש לכל ארגון ביום | 345600 |
| בקשות קריאה למשימות של מטא-נתונים לכל פרויקט לכל אזור לדקה | 400 |
| בקשות קריאה למשימות של מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה | 200 |
| בקשות כתיבה למשימות מטא-נתונים לכל פרויקט לכל אזור לדקה | 20 |
| כתיבת בקשות למשימות מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה | 10 |
| בקשות קריאה לסריקות נתונים לכל פרויקט, לכל אזור, לכל דקה | 1200 |
| בקשות קריאה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה | 600 |
| בקשות כתיבה לסריקות נתונים לכל פרויקט לכל אזור לדקה | 200 |
| בקשות כתיבה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה | 100 |
| הפעלת בקשות לסריקות נתונים לכל פרויקט, לכל אזור ולכל דקה | 60 |
| הפעלת בקשות לסריקות נתונים לפי פרויקט, לפי משתמש, לפי אזור ולפי דקה | 30 |
| מספר ההפעלות היומי הכולל של סריקות פרופיל נתונים לנתונים לא מובנים בטבלאות אובייקטים של BigQuery לכל פרויקט | 140 |
| כמות המטא-נתונים שמיוצאת על ידי משימות ייצוא מטא-נתונים, לכל ארגון ביום | 10 GB |
|
כמות המטא-נתונים שנסרקים לייצוא על ידי משימות ייצוא מטא-נתונים, לכל ארגון ביום במסגרת המכסה הזו נבדק הנפח הכולל של המטא-נתונים שקיימים בארגון, בפרויקטים או בקבוצות הרשומות שנכללות בהיקף של משימת ייצוא המטא-נתונים. |
100 GB |
לכל בקשה של Knowledge Catalog שמפורטת בטבלה הבאה, המכסה נאכפת ברמת הפרויקט וברמת הפרויקט לכל משתמש.
| מכסה | דוגמאות |
|---|---|
| בקשות קריאה לניהול משאבים | קבלת אגם, רשימת אזורים |
| כתיבת בקשות לניהול משאבים | יצירת אגם, מחיקת נכס |
| קבלת בקשות למטא-נתונים | קבלת ישות, קבלת מחיצה |
| בקשות לרשימה של מטא-נתונים | רשימת ישויות, רשימת מחיצות |
| כתיבת בקשות למטא נתונים | עדכון ישות, מחיקת מחיצה |
| קריאת בקשות למשאבים של משימות ומשרות | קבלת משימה, רשימת משרות |
| כתיבת בקשות למשאבים של משימות ועבודות | יצירת משימה, ביטול משימה |
| הגדרת בקשות למדיניות IAM | הגדרת מדיניות IAM |
מכסות לבקשות Data Lineage API
ב-Data Lineage API יש מכסות ל:
- בקשות קריאה שמחזירות רק את הנתונים
- כתיבת בקשות ליצירה או לשינוי של הנתונים
- יצירת Open Lineage
המכסות הבאות חלות על בקשות של מעקב אחר מקורות נתונים:
| מכסה | ערך ברירת המחדל |
|---|---|
| בקשות קריאה לפרויקט לכל משתמש לכל אזור לדקה | 1000 |
| בקשות כתיבה לפרויקט לכל משתמש לכל אזור לדקה | 6000 |
| בקשות Open Lineage לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה | 3000 |
מכסות לבקשות API של מוצרי נתונים
Dataplex API אוכף מגבלות קצב על פעולות מטא-נתונים ועל בקשות מחזור חיים של מוצרים ושל נכסי נתונים. המגבלות האלה חלות ללא קשר למקור הבקשות: מסוף Google Cloud, Google Cloud CLI, ספריות לקוח או קריאות ישירות ל-API. Google Cloud
המכסות הבאות חלות על בקשות למוצרי נתונים ולנכסי נתונים:
| מכסה | ערך ברירת המחדל |
|---|---|
| קריאת בקשות למוצרי נתונים לכל פרויקט, לכל אזור, לכל דקה | 500 |
| בקשות קריאה של מוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לכל דקה | 250 |
| יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט לכל אזור לכל דקה | 250 |
| יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט לכל משתמש לכל אזור לדקה | 125 |
| עדכון בקשות למוצרי נתונים בכל פרויקט בכל דקה | 10 |
| עדכון בקשות למוצרי נתונים לכל פרויקט, לכל משתמש ולכל דקה | 5 |
| בקשות קריאה של נכסי נתונים לכל פרויקט לכל אזור לדקה | 500 |
| בקשות קריאה של נכסי נתונים לכל פרויקט לכל משתמש לכל אזור לכל דקה | 250 |
| בקשות כתיבה לנכסי נתונים לכל פרויקט לכל אזור לדקה | 30 |
| בקשות כתיבה של נכסי נתונים לכל פרויקט לכל משתמש לכל אזור לכל דקה | 15 |
מכסות למשאבים
מכסת המשאבים נאכפת ברמת הפרויקט עבור סוגי המשאבים הבאים: אגם, אזור, נכס, משימה לפי דרישה, משימה חוזרת. בדף Quotas במסוף Google Cloud אפשר לבדוק את הניצול הנוכחי של המכסה ב-Knowledge Catalog.
שליחת בקשה להגדלת המכסה
נכנסים לדף Quotas במסוף Google Cloud .
בוחרים את המכסה שרוצים לשנות.
לוחצים על סמל האפשרויות הנוספות > עריכת מכסה.
מזינים את ערך המכסה החדש ותיאור לבקשה.
לוחצים על הבא.
מזינים את הפרטים ליצירת קשר.
לוחצים על Submit request.
כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.
יחסי תלות בין מכסות
יכול להיות שהשימוש שלכם ב-Knowledge Catalog כולל מוצרים אחרים של Google Cloud Google. לדוגמה, כדי לגלות נתונים צריך להפעיל את ממשקי ה-API של Cloud Storage או של BigQuery כדי ליצור אינטראקציה עם המשאבים הבסיסיים. למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Knowledge Catalog.
דפי מידע על מכסות של מוצרים אחרים שאולי תשתמשו בהם עם Knowledge Catalog:
זו רשימה חלקית.
מגבלות
המגבלות הבאות חלות על Knowledge Catalog:
| הגבלה | ערך |
|---|---|
| גודל הבקשה להוספת רשומה והיבטים (כולל היבט הסכימה) | 2 MB |
| אורך מזהה הרשומה | 4,000 תווים |
| האורך של שם שמוגדר במלואו ברשומה | 4,000 תווים |
| אורך השם המוצג של מקור הכניסה בכניסה | 500 תווים |
| אורך התיאור של מקור הכניסה ברשומה | 2,000 תווים |
| האורך של משאב מקור הכניסה בכניסה | 4,000 תווים |
| אורך המערכת של מקור הכניסה ברשומה | 64 תווים |
| האורך של פלטפורמת מקור הכניסה ברשומה | 64 תווים |
| אורך תוויות המקור של רשומה ברשומה | 128 תווים לכל מפתח וערך |
| גודל תוכן ה-JSON בהיבט (למעט היבטים של סכימה ופרופיל נתונים) | 120 KB |
| גודל התוכן בפורמט JSON בהיבט של פרופיל נתונים | 1 MB |
| הגודל הכולל של רשומה | 5 MB |
| המספר המקסימלי של היבטים ברשומה | 10,000 |
| האורך של השם המוצג של סוג הרשומה, סוג ההיבט וקבוצת הרשומות | 256 |
| אורך התיאור של סוג הרשומה, סוג ההיבט וקבוצת הרשומות | 1024 |
| אורך שם השדה בתבנית של סוג מאפיין | 63 |
| מספר מקסימלי של סוגי היבטים נדרשים בסוג רשומה | 20 |
| מספר הערכים המקסימלי של enum בתבנית של סוג היבט | 1024 |
| מספר הפריטים המקסימלי בתוצאות החיפוש ב-Knowledge Catalog | 500 (מצב חיפוש לפי מילות מפתח בלבד במסוף Google Cloud או ב-semanticSearch=false כשמשתמשים ב-API)100 (כל שאר מקרי החיפוש) |
| המספר המקסימלי של סריקות נתונים לכל פרויקט בכל אזור | 1000 |
| המספר המקסימלי של מוצרי נתונים לכל פרויקט בכל אזור | 200 |
| המספר המקסימלי של נכסי נתונים לכל מוצר נתונים | 50 |