מכסות ומגבלות

במאמר הזה מפורטות המכסות שחלות על Knowledge Catalog (לשעבר Dataplex Universal Catalog).

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

למשאבי Knowledge Catalog יש גם מגבלות מערכת. שאי אפשר לשנות.

ב-Knowledge Catalog יש מכסות על מספר בקשות ה-API במהלך פרק זמן מסוים ועל מספר המשאבים שאפשר ליצור בפרויקט. המכסות מגינות עליכם מפני עלייה חדה ובלתי צפויה בשימוש ועומס יתר בשירותים. מידע נוסף על הסיבות להחלת מכסות

ככל שתשתמשו יותר ב-Knowledge Catalog, יכול להיות שתצטרכו מכסה גדולה יותר. אם מכסה נמוכה מדי ולא מתאימה לצרכים שלכם, או אם אתם צופים עלייה בשימוש בקרוב, תוכלו לבקש הגדלה של המכסה.

הסבר על סוגי בקשות API

בקשות ל-API בתכונות שונות של Knowledge Catalog, כמו ניהול משאבים, מטא-נתונים, משימות וסריקות נתונים, מסווגות לקטגוריות כלליות כדי לנהל את השימוש בשירות ולהגן עליו.

קריאת בקשות

בקשות קריאה הן פעולות שנועדו לאחזר מידע על משאבים קיימים, מטא-נתונים או היסטוריית ביצוע, בלי לשנות הגדרה או מצב. הפעולות האלה לא משנות את הנתונים ולא מפעילות עיבוד של משימות חדשות.

פעולות של בקשות קריאה כוללות את Get,‏ List ו-Describe. לדוגמה, צפייה בהגדרה של סריקת נתונים או בסטטוס של משימת סריקה היא בקשת קריאה.

כתיבת בקשות

בקשות כתיבה כוללות את כל הפעולות שיוצרות, מעדכנות או מוחקות הגדרות של משאבים, וגם את הפעולות שמשנות מדיניות אבטחה. אלה פעולות שמשנות את מצב הסביבה.

פעולות של בקשות כתיבה כוללות Create,‏ Update,‏ Delete,‏ Cancel ו-SetIamPolicy. לדוגמה, הגדרה של סריקת איכות נתונים או עדכון של סריקת פרופיל נתונים קיימת הן בקשות כתיבה.

הרצת בקשות

המונח 'הפעלת בקשות' מתייחס ספציפית להפעלת הביצוע הפעיל של משאב שהוגדר מראש. בניגוד לבקשת כתיבה (שעשויה ליצור לוח זמנים חוזר), בקשת הפעלה משמשת בדרך כלל להפעלה לפי דרישה של הלוגיקה שהוגדרה.

לדוגמה, הפעלה ידנית של סריקת נתונים היא בקשת הפעלה.

מכסות לבקשות Dataplex API

ממשק Dataplex API אוכף מכסות לבקשות ניהול משאבים ולבקשות חיפוש ב-Knowledge Catalog ברמות שונות, ללא קשר למקור שלהן. הבקשות האלה כוללות בקשות שמקורן בקריאות ל-API ישירות, בספריות לקוח, ב-Google Cloud CLI ובמסוף Google Cloud .

המכסות הבאות חלות על בקשות ל-Knowledge Catalog:

מכסה ברירת מחדל
בקשות קריאה של רשומות והיבטים לכל פרויקט, לכל אזור ולכל דקה 6000
בקשות כתיבה של רשומות והיבטים לכל פרויקט, לכל אזור ולכל דקה 1500
בקשות קריאה לסוגי היבטים, לסוגי רשומות ולקבוצות רשומות לכל פרויקט לכל משתמש לדקה 100
קריאת בקשות לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט בכל דקה 200
כתיבת בקשות לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט לכל משתמש לכל דקה 10
כתיבת בקשות לסוגי היבטים, לסוגי רשומות ולקבוצות רשומות לכל פרויקט בכל דקה 20
בקשות חיפוש לכל פרויקט, לכל משתמש ולכל דקה 900
בקשות חיפוש לדקה לכל פרויקט 1200
בקשות חיפוש לארגון לדקה 2400
בקשות חיפוש לכל ארגון ביום 345600
בקשות קריאה של משימות מטא-נתונים לכל פרויקט, לכל אזור ולכל דקה 400
בקשות קריאה של משימות מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 200
בקשות כתיבה למשימות מטא-נתונים לכל פרויקט, לכל אזור ולכל דקה 20
בקשות כתיבה למשימות מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 10
בקשות קריאה לסריקות נתונים בכל פרויקט, בכל אזור ובכל דקה 1200
בקשות קריאה לסריקות נתונים לכל פרויקט לכל משתמש לכל אזור לדקה 600
בקשות כתיבה לסריקות נתונים לכל פרויקט, לכל אזור ולכל דקה 200
בקשות כתיבה לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 100
הפעלת בקשות לסריקות נתונים בכל פרויקט, בכל אזור ובכל דקה 60
הפעלת בקשות לסריקות נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 30
מספר ההפעלות היומי הכולל של סריקות פרופיל נתונים לנתונים לא מובנים בטבלאות של אובייקטים ב-BigQuery לכל פרויקט 140
כמות המטא-נתונים שמיוצאת על ידי משימות ייצוא מטא-נתונים, לכל ארגון ביום ‫10 GB

כמות המטא-נתונים שנסרקים לייצוא על ידי משימות ייצוא מטא-נתונים, לכל ארגון בכל יום

במסגרת המכסה הזו נבדק הנפח הכולל של המטא-נתונים שקיימים בארגון, בפרויקטים או בקבוצות הרשומות שנכללות בהיקף של משימת ייצוא המטא-נתונים.

 ‫100 GB

לכל בקשה של Knowledge Catalog שמפורטת בטבלה הבאה, המכסה נאכפת ברמת הפרויקט וברמת הפרויקט לכל משתמש.

מכסה דוגמאות
קריאת בקשות לניהול משאבים קבלת אגם, רשימת אזורים
כתיבת בקשות לניהול משאבים יצירת אגם, מחיקת נכס
קבלת בקשות GET למטא-נתונים קבלת ישות, קבלת מחיצה
בקשות לרשימה של מטא-נתונים רשימת ישויות, רשימת מחיצות
כתיבת בקשות למטא-נתונים עדכון ישות, מחיקת מחיצה
קריאת בקשות למשאבים של משימות ועבודות קבלת משימה, הצגת רשימת משרות
כתיבת בקשות למשאבים של משימות ועבודות יצירת משימה, ביטול משימה
הגדרת בקשות למדיניות IAM הגדרת מדיניות IAM

מכסות לבקשות Data Lineage API

ב-Data Lineage API יש מכסות ל:

  • בקשות קריאה שמחזירות רק את הנתונים
  • לכתוב בקשות ליצירה או לשינוי של הנתונים
  • יצירת Open Lineage

המכסות הבאות חלות על בקשות למעקב אחר מקורות נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה לכל פרויקט לכל משתמש לכל אזור לדקה 1000
כתיבת בקשות לפרויקט לכל משתמש לכל אזור לדקה 6000
בקשות Open Lineage לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 3000

מכסות לבקשות API של מוצרי נתונים

ה-Dataplex API אוכף הגבלת קצב של יצירת בקשות על פעולות מטא-נתונים ועל בקשות מחזור חיים של מוצרי נתונים ונכסי נתונים. המגבלות האלה חלות ללא קשר למקור הבקשות: מסוף Google Cloud Google Cloud ,‏ Google Cloud CLI, ספריות לקוח או קריאות ישירות ל-API.

המכסות הבאות חלות על בקשות למוצרי נתונים ולנכסי נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה של מוצרי נתונים לכל פרויקט, לכל אזור, לדקה 500
בקשות קריאה של מוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 250
יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט לכל אזור לכל דקה 250
יצירה ומחיקה של בקשות למוצרי נתונים לכל פרויקט, לכל משתמש, לכל אזור, בכל דקה 125
עדכון בקשות למוצרי נתונים לכל פרויקט בכל דקה 10
בקשות לעדכון מוצרי נתונים לכל פרויקט, לכל משתמש ולכל דקה 5
בקשות קריאה לנכסי נתונים לכל פרויקט לכל אזור לדקה 500
בקשות קריאה של נכסי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לכל דקה 250
בקשות כתיבה לנכסי נתונים לכל פרויקט לכל אזור לדקה 30
כתיבת בקשות לנכסי נתונים לכל פרויקט, לכל משתמש, לכל אזור, לכל דקה 15

מכסות למשאבים

מכסת המשאבים נאכפת ברמת הפרויקט עבור סוגי המשאבים הבאים: אגם, אזור, נכס, משימה על פי דרישה, משימה חוזרת. בדף Quotas במסוף Google Cloud אפשר לראות את הניצול הנוכחי של המכסה ב-Knowledge Catalog.

שליחת בקשה להגדלת המכסה

  1. נכנסים לדף Quotas במסוף Google Cloud .

    לפתיחת הדף Quotas

  2. בוחרים את המכסה שרוצים לשנות.

  3. לוחצים על סמל האפשרויות הנוספות > עריכת נפח האחסון.

  4. מזינים את ערך המכסה החדש ותיאור לבקשה.

  5. לוחצים על הבא.

  6. מזינים את הפרטים ליצירת קשר.

  7. לוחצים על Submit request.

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.

יחסי תלות בין מכסות

יכול להיות שהשימוש ב-Knowledge Catalog יכלול מוצרים אחרים Google Cloud . לדוגמה, כדי לגלות נתונים צריך להפעיל את ממשקי ה-API של Cloud Storage או של BigQuery כדי ליצור אינטראקציה עם המשאבים הבסיסיים. למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Knowledge Catalog.

דפי מידע על מכסות של מוצרים אחרים שאולי תשתמשו בהם עם Knowledge Catalog:

זו רשימה חלקית.

מגבלות

המגבלות הבאות חלות על Knowledge Catalog:

הגבלה ערך
גודל בקשה להוספה של היבטים (כולל היבט סכימה) ‫2 MB
אורך מזהה הרשומה ‫4,000 תווים
האורך של שם שמוגדר במלואו ברשומה ‫4,000 תווים
האורך של השם לתצוגה של מקור הכניסה ברשומה ‫500 תווים
אורך התיאור של מקור הרשומה ברשומה ‫2,000 תווים
אורך משאב מקור הכניסה ברשומה ‫4,000 תווים
אורך המערכת של מקור הכניסה בכניסה ‫64 תווים
אורך פלטפורמת מקור הכניסה בכניסה ‫64 תווים
אורך תוויות המקור של רשומה ברשומה ‫128 תווים לכל מפתח וערך
גודל תוכן ה-JSON בהיבט (חוץ מהיבטים של סכימה ופרופיל נתונים) ‫120 KB
הגודל של תוכן ה-JSON בהיבט של פרופיל נתונים ‫1 MB
הגודל הכולל של רשומה ‫5 MB
מספר ההיבטים המקסימלי ברשומה 10,000
האורך של השם המוצג של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 256
אורך התיאור של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 1024
האורך של שם השדה בתבנית של סוג מאפיין 63
מספר סוגי ההיבטים הנדרשים המקסימלי בסוג רשומה 20
מספר הערכים המקסימלי של enum בתבנית של סוג מאפיין 1024
מספר הפריטים המקסימלי בתוצאות החיפוש ב-Knowledge Catalog ‫500 (מצב חיפוש לפי מילות מפתח בלבד במסוף Google Cloud או ב-semanticSearch=false כשמשתמשים ב-API)

‫100 (כל שאר מקרי החיפוש)
המספר המקסימלי של סריקות נתונים בכל פרויקט בכל אזור 1000
המספר המקסימלי של מוצרי נתונים לכל פרויקט בכל אזור 200
המספר המקסימלי של נכסי נתונים לכל מוצר נתונים 50
מספר תגי המדיניות המקסימלי לכל טקסונומיה 100