מכסות ומגבלות

במאמר הזה מפורטות המכסות שחלות על Knowledge Catalog (לשעבר Dataplex Universal Catalog).

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי Knowledge Catalog יש גם מגבלות מערכת. שאי אפשר לשנות.

ב-Knowledge Catalog יש מכסות על מספר בקשות ה-API שאפשר לשלוח בפרק זמן מסוים, ועל מספר המשאבים שאפשר ליצור בפרויקט. המכסות מגינות עליכם מפני עליות חדות ובלתי צפויות בשימוש ומפני עומס יתר בשירותים. מידע נוסף על הסיבות לאכיפת מכסות

ככל שתשתמשו יותר ב-Knowledge Catalog, יכול להיות שתצטרכו להגדיל את המכסה. אם המכסה נמוכה מדי ולא מתאימה לצרכים שלכם, או אם אתם צופים עלייה בשימוש, אתם יכולים לבקש הגדלה של המכסה.

הסבר על סוגי בקשות ה-API

בקשות API בתכונות שונות של Knowledge Catalog, כמו ניהול משאבים, מטא-נתונים, משימות וסריקות נתונים, מסווגות לקטגוריות כלליות כדי לנהל את השימוש בשירות ולהגן עליו.

בקשות קריאה

בקשות קריאה הן פעולות שנועדו לאחזר מידע על משאבים קיימים, מטא-נתונים או היסטוריית ביצוע, בלי לשנות את ההגדרות או המצב. הפעולות האלה לא משנות את הנתונים ולא מפעילות משימות עיבוד חדשות.

פעולות של בקשות קריאה כוללות את Get, List ו-Describe. לדוגמה, הצגת ההגדרה של סריקת נתונים או הסטטוס של משימת סריקה היא בקשת קריאה.

בקשות כתיבה

בקשות כתיבה כוללות את כל הפעולות שיוצרות, מעדכנות או מוחקות הגדרות של משאבים, וגם את הפעולות שמשנות את מדיניות האבטחה. אלה פעולות שמשנות את מצב הסביבה.

פעולות של בקשות כתיבה כוללות את Create, Update, Delete, Cancel ו-SetIamPolicy. לדוגמה, הגדרה של סריקת איכות נתונים או עדכון של סריקת פרופיל נתונים קיימת הן בקשות כתיבה.

בקשות להרצה

בקשות הפעלה מתייחסות באופן ספציפי להפעלה פעילה של משאב שהוגדר מראש. בניגוד לבקשת כתיבה (שעשויה ליצור לוח זמנים חוזר), בקשת הרצה משמשת לעיתים קרובות להפעלה על פי דרישה של הלוגיקה שהוגדרה.

לדוגמה, הפעלה ידנית של סריקת נתונים היא בקשת הרצה.

מכסות לבקשות Dataplex API

‫Dataplex API אוכף מכסות על בקשות לניהול משאבים ולחיפוש ב-Knowledge Catalog ברמות שונות, בלי קשר למקור שלהן. זה כולל את הבקשות שמגיעות ישירות מקריאות ל-API, מספריות לקוח, מ-Google Cloud CLI וממסוף Google Cloud .

המכסות הבאות חלות על בקשות ל-Knowledge Catalog:

מכסה ברירת מחדל
בקשות קריאה של רשומות והיבטים לכל פרויקט, לכל אזור, לדקה 6,000
בקשות כתיבה של רשומות והיבטים לכל פרויקט, לכל אזור, לדקה 1,500
בקשות קריאה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות, לכל פרויקט, לכל משתמש, לכל אזור, לדקה 100
בקשות קריאה של סוגי מאפיינים, סוגי רשומות וקבוצות של רשומות, לכל פרויקט, לכל אזור, לדקה 200
בקשות כתיבה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות לכל פרויקט, לכל משתמש, לכל אזור, לדקה 10
בקשות כתיבה של סוגי היבטים, סוגי רשומות וקבוצות של רשומות לכל פרויקט, לכל אזור, לדקה 20
בקשות חיפוש לכל פרויקט, לכל משתמש, לדקה 900
בקשות חיפוש לכל פרויקט בדקה 1,200
בקשות חיפוש לארגון לדקה 2,400
בקשות חיפוש לכל ארגון ביום 345,600
בקשות קריאה למשימות של מטא-נתונים לכל פרויקט, לכל אזור, לדקה 400
בקשות קריאה למשימות של מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 200
בקשות כתיבה למשימות של מטא-נתונים לכל פרויקט, לכל אזור, לדקה 20
בקשות כתיבה למשימות של מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 10
בקשות קריאה לסריקות נתונים לדקה לכל פרויקט בכל אזור 1,200
בקשות קריאה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 600
בקשות כתיבה לסריקות נתונים לדקה לכל פרויקט בכל אזור 200
בקשות כתיבה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 100
הפעלת בקשות לסריקות נתונים לדקה לכל פרויקט בכל אזור 60
הפעלת בקשות לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 30
מספר ההפעלות היומי הכולל של סריקות פרופיל נתונים לנתונים לא מובְנים בטבלאות אובייקטים ב-BigQuery לכל פרויקט 140
כמות המטא-נתונים שמיוצאים על ידי משימות לייצוא מטא-נתונים, לכל ארגון ביום ‫10GB

כמות המטא-נתונים שנסרקים לייצוא על ידי משימות ייצוא של מטא-נתונים, לכל ארגון ביום

המכסה הזו מעריכה את הנפח הכולל של המטא-נתונים שקיימים בארגון, בפרויקטים או בקבוצות הרשומות שנכללים בהיקף של משימת הייצוא של המטא-נתונים.

 ‫100GB

לכל בקשה של Knowledge Catalog שמופיעה בטבלה הבאה, המכסה נאכפת גם ברמת הפרויקט וגם ברמת המשתמש בפרויקט.

מכסה דוגמאות
בקשות קריאה לניהול משאבים קבלת אגם, הצגת רשימת אזורים
בקשות כתיבה לניהול משאבים יצירת אגם, מחיקת נכס
בקשות GET למטא-נתונים קבלת ישות, קבלת מחיצה
בקשות להצגת רשימה של מטא-נתונים הצגת רשימה של ישויות, הצגת רשימה של מחיצות
בקשות כתיבה של מטא-נתונים עדכון ישות, מחיקת מחיצה
בקשות קריאה למשאבים של משימות ועבודות קבלת משימה, הצגת רשימת משרות
כתיבת בקשות למשאבים של משימות ועבודות יצירת משימה, ביטול משימה
בקשות להגדרת מדיניות IAM הגדרת מדיניות IAM

מכסות לבקשות Data Lineage API

‫Data Lineage API אוכף מכסות על:

  • בקשות קריאה שמחזירות רק את הנתונים
  • בקשות כתיבה שיוצרות או משנות את הנתונים
  • יצירת Open Lineage

המכסות הבאות חלות על בקשות לשושלת נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה (SearchLinks,‏ BatchSearchLinkProcesses,‏ Get*,‏ List*) לכל פרויקט, לכל אזור (לדוגמה, us-central1) לדקה 2,000
בקשות קריאה (SearchLinks,‏ BatchSearchLinkProcesses,‏ Get*,‏ List*) לכל פרויקט, לכל מספר אזורים (us,‏ eu,‏ asia) לדקה 1,000
בקשות כתיבה (Create*, ‏ Update*, ‏ Delete*) לכל פרויקט בכל אזור (לדוגמה, us-central1) לדקה 12,000
בקשות כתיבה (Create*, ‏ Update*, ‏ Delete*) לכל פרויקט במספר אזורים (us, ‏ eu, ‏ asia) לדקה 6,000
בקשות OpenLineage‏ (ProcessOpenLineageRunEvent) לכל פרויקט בכל אזור (לדוגמה, us-central1) לדקה 2,000
בקשות OpenLineage‏ (ProcessOpenLineageRunEvent) לכל פרויקט בכל אזור (us, ‏ eu, ‏ asia) לדקה 1,000

מכסות לבקשות Dataplex API למוצרי נתונים

Dataplex API אוכף מגבלות קצב של יצירת בקשות על פעולות של מטא-נתונים ובקשות למחזור חיים של מוצרי נתונים ונכסי נתונים. המגבלות האלה חלות גם אם הבקשות מגיעות ממסוף Google Cloud , מ-Google Cloud CLI, מספריות לקוח או מקריאות ישירות ל-API.

המכסות הבאות חלות על בקשות למוצרי נתונים ולנכסי נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה למוצרי נתונים לכל פרויקט, לכל אזור, לדקה 500
בקשות קריאה למוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 250
יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט, לכל אזור, לדקה 250
יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 125
בקשות עדכון למוצרי נתונים לכל פרויקט לדקה 10
בקשות עדכון למוצרי נתונים לכל פרויקט לכל משתמש לדקה 5
בקשות קריאה לנכסי נתונים לכל פרויקט, לכל אזור, לדקה 500
בקשות קריאה לנכסי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לדקה 250
בקשות כתיבה לנכסי נתונים לכל פרויקט, לכל אזור, לדקה 30
בקשות כתיבה לנכסי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לכל דקה 15

מכסות ומגבלות למשימות העשרה ב-Knowledge Studio

‫Dataplex API אוכף מכסות קצב ומכסות משאבים על משימות העשרה של Knowledge Studio (משאבי AgentTask) ועל הפעלות של משימות (משאבי AgentRun).

המכסות הבאות חלות על משימות העשרה ב-Knowledge Studio:

מכסה ערך ברירת המחדל
בקשות קריאה למשאבים של משימות העשרה (כמו Get ו-List למשימות ולהרצות) לכל פרויקט, לכל אזור, לדקה 1,200
בקשות כתיבה למשאבים של משימות העשרה (כמו Create,‏ Update ו-Delete) לכל פרויקט, לכל אזור, לדקה 60
הפעלת בקשות למשאבים של משימות העשרה לכל פרויקט, לכל אזור, לדקה 20
המספר המקסימלי של משימות העשרה (AgentTask משאבים) לכל פרויקט בכל אזור 100

מכסות למשאבים

מכסת המשאבים נאכפת ברמת הפרויקט לסוגי המשאבים הבאים: אגם, אזור, נכס, משימה על פי דרישה, משימה חוזרת. בדף Quotas במסוף Google Cloud אפשר לבדוק את השימוש הנוכחי במכסה של Knowledge Catalog.

שליחת בקשה להגדלת המכסה

  1. נכנסים לדף Quotas במסוף Google Cloud .

    לפתיחת הדף Quotas

  2. בוחרים את המכסה שרוצים לשנות.

  3. לוחצים על More actions > Edit quota.

  4. מזינים את ערך המכסה החדש ותיאור לבקשה.

  5. לוחצים על הבא.

  6. מזינים את הפרטים ליצירת קשר.

  7. לוחצים על Submit request.

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . איך שולחים בקשה לשינוי המכסות

יחסי תלות של מכסות

יכול להיות שהשימוש ב-Knowledge Catalog יהיה כרוך במוצרים אחרים של Google Cloud . לדוגמה, כדי לגלות נתונים צריך להפעיל את Cloud Storage API או את BigQuery API כדי ליצור אינטראקציה עם המשאבים הבסיסיים. למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Knowledge Catalog.

דפי מכסות של מוצרים אחרים שאפשר להשתמש בהם עם Knowledge Catalog:

זו רשימה חלקית בלבד.

מגבלות

המגבלות הבאות חלות על Knowledge Catalog:

הגבלה ערך
גודל הבקשה לרשומה ולהיבטים (כולל היבט הסכימה) ‫2MB
אורך מזהה הרשומה ‫4,000 תווים
אורך השם המלא של רשומה ‫4,000 תווים
אורך השם המוצג של מקור הרשומה ברשומה ‫500 תווים
אורך התיאור של מקור הרשומה ברשומה 2,000 תווים
אורך המשאב של מקור הרשומה ברשומה ‫4,000 תווים
אורך מערכת המקור של הרשומה ברשומה 64 תווים
אורך פלטפורמת המקור של הרשומה ברשומה 64 תווים
אורך תוויות המקור של הרשומה ברשומה ‫128 תווים לכל מפתח וערך
גודל תוכן ה-JSON בהיבט (חוץ מהיבטים של סכימה ופרופיל נתונים) 120KB
גודל תוכן ה-JSON בהיבט של פרופיל הנתונים ‫1MB
הגודל הכולל של רשומה ‫5MB
מספר ההיבטים המקסימלי ברשומה 10,000
אורך השם המוצג של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 256
אורך התיאור של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 1,024
אורך שם השדה בתבנית של סוג היבט 63
מספר מקסימלי של סוגי היבטים נדרשים בסוג רשומה 20
המספר המקסימלי של ערכי enum בתבנית של סוג היבט 1,024
המספר המקסימלי של פריטים בתוצאות החיפוש ב-Knowledge Catalog ‫500 (מצב חיפוש של מילות מפתח בלבד במסוף Google Cloud או ב-semanticSearch=false כשמשתמשים ב-API)

‫100 (כל שאר מקרי החיפוש)
מספר מקסימלי של סריקות נתונים לכל פרויקט בכל אזור 1,000
המספר המקסימלי של מוצרי נתונים לכל פרויקט בכל אזור 1,000
המספר המקסימלי של נכסי נתונים בכל מוצר נתונים 50
מספר מקסימלי של תגי מדיניות לכל טקסונומיה 100