ל-Managed Service for Apache Spark יש מכסות API שמוגבלות ברמת הפרויקט והאזור. המכסות מתאפסות כל שישים שניות (דקה אחת).
בטבלה הבאה מפורטים סוגי המכסות, מגבלות המכסות והשיטות שבהן הן חלות ב-Managed Service for Apache Spark API, לפי פרויקט ספציפי ולפי ברירת מחדל.
| סוג המכסה | הגבלה | שיטות API או תיאור |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (מכסת ביטול פעולות אצווה משותפת עם מכסת ביטול פעולות אשכול). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5,000 | מגבלה על המספר הכולל של פעולות פעילות בו-זמנית מכל הסוגים בפרויקט באזור מסוים. |
מכסות אחרות Google Cloud
חבילות של Managed Service for Apache Spark משתמשות במוצרים אחרים של Google Cloud . למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Managed Service for Apache Spark. כדי להשתמש ב-Managed Service for Apache Spark, חייבים להשתמש בשירותים מסוימים, כמו Compute Engine ו-Cloud Storage. אפשר להשתמש באופן אופציונלי בשירותים אחרים, כמו BigQuery ו-Bigtable, עם Managed Service for Apache Spark.
שירותים נדרשים
כדי ליצור אצווה של Managed Service for Apache Spark, צריך להשתמש בשירותים הבאים, שמוגדרות בהם הגבלות מכסה:
Compute Engine
חבילות (batches) של Managed Service for Apache Spark צורכות את מכסות המשאבים הבאות של Compute Engine:
| רמת מחשוב | מכסה |
|---|---|
| רגילה | CPUS |
| פרימיום | N2_CPUS |
| רמת הדיסק | מכסה |
| רגילה | DISKS_TOTAL_GB |
| פרימיום | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY עם N2 VM Family |
| מאיץ GPU | מכסה |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
המכסות של Compute Engine מחולקות למגבלות אזוריות ולמגבלות גלובליות. המגבלות האלה חלות על חבילות שאתם יוצרים. לדוגמה, כדי להריץ אצווה של Spark עם 4 ליבות של מנהל ההתקן (spark.driver.cores=4) ושני מנהלי הפעלה עם 4 ליבות כל אחד (spark.executor.cores=4), תשתמשו ב-12 מעבדים וירטואליים (4 * 3). השימוש באצווה הזו ייספר במכסת המעבדים הווירטואליים האזורית של 24 מעבדים וירטואליים.
משאבים של קבוצות ברירת מחדל
כשיוצרים חבילת בקשות עם הגדרות ברירת מחדל, נעשה שימוש במשאבים הבאים של Compute Engine:
| פריט | משאבים בשימוש |
|---|---|
| מעבדים וירטואליים | 12 |
| מופעים של מכונות וירטואליות (VM) | 3 |
| דיסק אחסון מתמיד (persistent disk) | 1,200 GiB |
Cloud Logging
ב-Managed Service for Apache Spark, הפלט של אצווה והיומנים נשמרים ב-Cloud Logging. המיכסה של Cloud Logging חלה על אצוות של Managed Service for Apache Spark.
Optional Services
אפשר להשתמש בשירותים הבאים עם מכסות מוגבלות, עם אצוות של Managed Service for Apache Spark.
BigQuery
כשקוראים נתונים מ-BigQuery או כותבים נתונים ל-BigQuery, חלים מכסת BigQuery.
Bigtable
כשקוראים נתונים מ-Bigtable או כותבים נתונים ל-Bigtable, חלה מכסת Bigtable.
זיהוי עומסי עבודה עם מגבלות של מכסת נפח או כתובת IP
אפשר להשתמש בשאילתות הבאות של Cloud Logging כדי לזהות עומסי עבודה של Managed Service for Apache Spark שהגיעו למכסת השימוש או שלא הצליחו להתרחב בגלל מיצוי של כתובות IP.
שאילתת מכסה:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"
שאילתה לגבי מיצוי של כתובות IP:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"