מכסות ומגבלות

במאמר הזה מפורטות המכסות שחלות על Dataplex Universal Catalog.

המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .

מערכת המכסות ב-Cloud:

ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.

בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.

לסקירה כללית על מכסות ב-Cloud

ל-Dataplex Universal Catalog יש גם מגבלות מערכת. שאי אפשר לשנות.

ב-Dataplex Universal Catalog יש מכסות על מספר בקשות ה-API במהלך תקופה מסוימת ועל מספר המשאבים שאפשר ליצור בפרויקט. המכסות מגינות עליכם מפני עלייה חדה ובלתי צפויה בשימוש ועומס יתר בשירותים. מידע נוסף על הסיבות להחלת מכסות

ככל שתשתמשו יותר ב-Dataplex Universal Catalog, יכול להיות שתצטרכו מכסה גדולה יותר. אם מכסה נמוכה מדי ולא מתאימה לצרכים שלכם, או אם אתם צופים עלייה בשימוש בקרוב, אתם יכולים לבקש הגדלה של המכסה מראש.

מכסות לבקשות Dataplex API

ב-Dataplex API יש מכסות לבקשות ניהול משאבים ולבקשות חיפוש ב-Dataplex Universal Catalog ברמות שונות, ללא קשר למקור שלהן. הבקשות האלה כוללות בקשות שמקורן בקריאות ל-API ישירות, בספריות לקוח, ב-Google Cloud CLI ובמסוף Google Cloud .

המכסות הבאות חלות על בקשות ל-Dataplex Universal Catalog:

מכסה ברירת מחדל
בקשות קריאה של רשומות והיבטים לכל פרויקט, לכל אזור ולכל דקה 6000
בקשות כתיבה של רשומות והיבטים לכל פרויקט, לכל אזור ולכל דקה 1500
בקשות קריאה לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט לכל משתמש לכל דקה 100
קריאת בקשות לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט לדקה 200
כתיבת בקשות לסוגי היבטים, סוגי רשומות וקבוצות רשומות לכל פרויקט לכל משתמש לכל דקה 10
כתיבת בקשות לסוגי היבטים, לסוגי רשומות ולקבוצות רשומות לכל פרויקט לדקה 20
בקשות חיפוש לכל פרויקט לכל משתמש לדקה 900
בקשות חיפוש לדקה לכל פרויקט 1200
בקשות חיפוש לארגון לדקה 2400
בקשות חיפוש לכל ארגון ביום 345600
בקשות קריאה למשימות של מטא-נתונים לכל פרויקט, לכל אזור ולכל דקה 400
בקשות קריאה למשימות מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 200
בקשות כתיבה למשימות מטא-נתונים לכל פרויקט לכל אזור לדקה 20
כתיבת בקשות לעבודות מטא-נתונים לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 10
כמות המטא-נתונים שמיוצאת על ידי משימות ייצוא מטא-נתונים, לכל ארגון ביום ‫10 GB

כמות המטא-נתונים שנסרקים לייצוא על ידי משימות ייצוא מטא-נתונים, לכל ארגון ביום

במסגרת המכסה הזו נבדק הנפח הכולל של המטא-נתונים שקיימים בארגון, בפרויקטים או בקבוצות הרשומות שנכללות בהיקף של משימת ייצוא המטא-נתונים.

 ‫100 GB

לכל בקשה ב-Dataplex Universal Catalog שמופיעה בטבלה הבאה, המכסה נאכפת ברמת הפרויקט וברמת הפרויקט לכל משתמש.

מכסה דוגמאות
בקשות קריאה לניהול משאבים קבלת אגם, רשימת אזורים
כתיבת בקשות לניהול משאבים יצירת אגם, מחיקת נכס
קבלת בקשות למטא-נתונים קבלת ישות, קבלת מחיצה
בקשות לרשימה של מטא-נתונים רשימת ישויות, רשימת מחיצות
כתיבת בקשות למטא נתונים עדכון ישות, מחיקת מחיצה
קריאת בקשות למשאבי משימות ומשרות קבלת משימה, רשימת משרות
כתיבת בקשות למשאבים של משימות ועבודות יצירת משימה, ביטול משימה
הגדרת בקשות למדיניות IAM הגדרת מדיניות IAM

מכסות לבקשות Data Lineage API

ב-Data Lineage API יש מכסות לגבי הפעולות הבאות:

  • בקשות קריאה שמחזירות רק את הנתונים
  • כתיבת בקשות ליצירה או לשינוי של הנתונים
  • יצירת Open Lineage

המכסות הבאות חלות על בקשות של מעקב אחר מקורות נתונים:

מכסה ערך ברירת המחדל
בקשות קריאה לכל פרויקט לכל משתמש לכל אזור לדקה 1000
בקשות כתיבה לפרויקט לכל משתמש לכל אזור לדקה 6000
בקשות Open Lineage לכל פרויקט, לכל משתמש, לכל אזור ולכל דקה 3000

מכסות למשאבים

מכסת המשאבים נאכפת ברמת הפרויקט עבור סוגי המשאבים הבאים: אגם, אזור, נכס, משימה לפי דרישה, משימה חוזרת. בדף Quotas במסוף Google Cloud אפשר לבדוק את השימוש הנוכחי במכסה של Dataplex Universal Catalog.

איך מבקשים להגדיל את המכסות

  1. נכנסים לדף Quotas במסוף Google Cloud .

    לפתיחת הדף Quotas

  2. בוחרים את המכסה שרוצים לשנות.

  3. לוחצים על עוד פעולות > עריכת נפח האחסון.

  4. מזינים את ערך המכסה החדש ותיאור לבקשה.

  5. לוחצים על הבא.

  6. מזינים את הפרטים ליצירת קשר.

  7. לוחצים על Submit request.

כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.

תלות במכסה

יכול להיות שהשימוש שלכם ב-Dataplex Universal Catalog כולל מוצרים אחרים של Google Cloud Google. לדוגמה, כדי לגלות נתונים צריך להפעיל את ממשקי ה-API של Cloud Storage או של BigQuery כדי ליצור אינטראקציה עם המשאבים הבסיסיים. למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Dataplex Universal Catalog.

דפי מידע על מכסות של מוצרים אחרים שאולי תשתמשו בהם עם Dataplex Universal Catalog:

זו רשימה חלקית.

מגבלות

המגבלות הבאות חלות על Dataplex Universal Catalog:

הגבלה ערך
גודל הבקשה להוספת רשומה והיבטים (כולל היבט הסכימה) ‫2 MB
אורך מזהה הרשומה ‫4,000 תווים
האורך של שם שמוגדר במלואו ברשומה ‫4,000 תווים
האורך של השם המוצג של מקור הכניסה ברשומה ‫500 תווים
אורך התיאור של מקור הכניסה ברשומה ‫2,000 תווים
האורך של משאב מקור הכניסה ברשומה ‫4,000 תווים
אורך המערכת של מקור הרשומה ברשומה ‫64 תווים
האורך של פלטפורמת מקור הכניסה ברשומה ‫64 תווים
אורך תוויות המקור של רשומה ברשומה ‫128 תווים לכל מפתח וערך
גודל תוכן ה-JSON בהיבט (למעט היבטים של סכימה ופרופיל נתונים) ‫120 KB
גודל התוכן בפורמט JSON בהיבט של פרופיל נתונים ‫1 MB
הגודל הכולל של רשומה ‫5 MB
מספר ההיבטים המקסימלי ברשומה 10,000
האורך של השם המוצג של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 256
אורך התיאור של סוג הרשומה, סוג ההיבט וקבוצת הרשומות 1024
אורך שם השדה בתבנית של סוג היבט 63
מספר סוגי ההיבטים הנדרשים המקסימלי בסוג רשומה 20
מספר הערכים המקסימלי של enum בתבנית של סוג היבט 1024
מספר הפריטים המקסימלי בתוצאות החיפוש ב-Dataplex Universal Catalog ‫500 (מצב חיפוש מילות מפתח בלבד במסוף Google Cloud או ב-semanticSearch=false כשמשתמשים ב-API)

‫100 (כל שאר מקרי החיפוש)
המספר המקסימלי של מוצרי נתונים לכל פרויקט בכל אזור 50
המספר המקסימלי של נכסי נתונים לכל מוצר נתונים 10