"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

מכסות של Managed Service for Apache Spark serverless

ל-Managed Service for Apache Spark יש מכסות API שמוגבלות ברמת הפרויקט והאזור. המכסות מתאפסות כל 60 שניות (דקה אחת).

בטבלה הבאה מפורטים סוגי המכסות, מגבלות המכסות והשיטות שבהן הן חלות ב-Managed Service for Apache Spark API, לפי פרויקט ספציפי ולפי ברירת מחדל.

סוג המכסה	הגבלה	שיטות API או תיאור
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	‫CancelOperation (המיכסה לביטול פעולות באצווה משותפת עם המיכסה לביטול פעולות באשכול).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, ‏ DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, ‏ DeleteSession, ‏ TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	‫7,500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5,000	מגבלה על המספר הכולל של פעולות פעילות בו-זמנית מכל הסוגים בפרויקט באזור מסוים.

מכסות אחרות Google Cloud

אצוות של Managed Service for Apache Spark משתמשות במוצרים אחרים של Google Cloud . למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Managed Service for Apache Spark. כדי להשתמש ב-Managed Service for Apache Spark, חייבים להשתמש בשירותים מסוימים, כמו Compute Engine ו-Cloud Storage. אפשר להשתמש באופן אופציונלי בשירותים אחרים, כמו BigQuery ו-Bigtable, עם Managed Service for Apache Spark.

שירותים נדרשים

כדי ליצור אצווה של Managed Service for Apache Spark, צריך להשתמש בשירותים הבאים, שמוגדרות בהם הגבלות מכסה:

Compute Engine

עומסי עבודה של אצווה ב-Managed Service for Apache Spark יכולים לבחור מגוון משאבים של Compute Engine:

כדי לצמצם את הבעיות שקשורות לזמינות של מעבדים ודיסקים, שירות Managed Service for Apache Spark תומך במעבר אוטומטי בין כמה משפחות של מכונות וסוגים של דיסקים. לדוגמה, ברמת Premium, עומס עבודה של אצווה יכול לעבור חזרה ל-N2 עם SSD מתמיד, ל-N2D עם SSD מקומי, ל-N2D עם דיסק מתמיד, ל-N4 עם hyperdisk מאוזן או ל-N4D עם hyperdisk מאוזן.
עומס עבודה של אצווה נכשל אם אין לו מכסה מספיקה לשימוש במשאבי הבחירה של הגיבוי.

בטבלה הבאה מפורטות מכסות של משאבי Compute Engine שחלות על עומסי עבודה של אצווה ב-Managed Service for Apache Spark.

רמת מחשוב	מכסה
רגילה	`CPUS`
פרימיום	`N2_CPUS` `N2D_CPUS` ‫`CPUS_PER_VM_FAMILY` עם N4 VM Family ‫`CPUS_PER_VM_FAMILY` עם N4D VM Family
רמת הדיסק	מכסה
רגילה	`DISKS_TOTAL_GB`
פרימיום	`DISKS_TOTAL_GB` ‫`LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY` עם קבוצות מכונות וירטואליות מסוג N2 ו-N2D `SSD-TOTAL-GB` או `Persistent Disk SSD (GB)` `HDB-TOTAL-GB` או `Hyperdisk Balanced Capacity (GB)`
מאיץ GPU	מכסה
L4	`NVIDIA_L4_GPUS`
A100 40GB	`NVIDIA_A100_GPUS`
A100 80GB	`NVIDIA_A100_80GB_GPUS`

המיכסות של Compute Engine מחולקות למגבלות אזוריות ולמגבלות גלובליות. המגבלות האלה חלות על חבילות שאתם יוצרים. לדוגמה, כדי להריץ Spark batch עם 4 ליבות של מנהל ההתקן (spark.driver.cores=4) ושני מפעילים עם 4 ליבות כל אחד (spark.executor.cores=4), צריך להשתמש ב-12 מעבדים וירטואליים (4 * 3). השימוש הזה ב-batch נספר במכסת המעבדים הווירטואליים האזורית, שהיא 24.

משאבים של קבוצות ברירת מחדל

כשיוצרים חבילת בקשות עם הגדרות ברירת מחדל, נעשה שימוש במשאבים הבאים של Compute Engine:

פריט	משאבים בשימוש
מעבדים וירטואליים	12
מופעים של מכונות וירטואליות (VM)	3
דיסק אחסון מתמיד (persistent disk)	‫1,200 GiB

Cloud Logging

ב-Managed Service for Apache Spark, הפלט של אצווה והיומנים נשמרים ב-Cloud Logging. המיכסה של Cloud Logging חלה על אצוות של Managed Service for Apache Spark.

Optional Services

אפשר להשתמש בשירותים הבאים עם מכסות מוגבלות, עם אצוות של Managed Service for Apache Spark.

BigQuery

כשקוראים נתונים מ-BigQuery או כותבים נתונים ל-BigQuery, חלים מכסת BigQuery.

Bigtable

כשקוראים נתונים מ-Bigtable או כותבים נתונים ל-Bigtable, חלה מכסת Bigtable.

זיהוי עומסי עבודה עם מגבלות של מכסת נפח או כתובת IP

אפשר להשתמש בשאילתות הבאות של Cloud Logging כדי לזהות עומסי עבודה של Managed Service for Apache Spark שהגיעו למכסת השימוש או שלא הצליחו להתרחב בגלל מיצוי של כתובות IP.

שאילתת מכסה:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.recommendation.outputs.constraintsReached="SCALING_CAPPED_DUE_TO_LACK_OF_QUOTA"

שאילתה לגבי מיצוי של כתובות IP:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"
jsonPayload.status.details =~".*Insufficient free IP addresses.*"