"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

מכסות של אשכולות Managed Service for Apache Spark

בדף הזה מפורטות מגבלות המכסה של Managed Service for Apache Spark API, שנאכפות ברמת הפרויקט והאזור. המכסות מתאפסות כל שישים שניות (דקה אחת).

במאמר זמינות משאבים ואסטרטגיות אזורים מוסבר על אסטרטגיות לאופטימיזציה של אשכולות שיעזרו לכם להימנע מבעיות שקשורות למכסות ולזמינות משאבים.

בטבלה הבאה מפורטים סוגי המכסות של Managed Service for Apache Spark API, מגבלות המכסות והשיטות שבהן הן חלות, לפי פרויקט וגם כברירת מחדל.

סוג המכסה	הגבלה	שיטות API רלוונטיות
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, ‏ DeleteCluster, ‏ UpdateCluster, ‏ StopCluster, ‏ StartCluster, ‏ DiagnoseCluster, ‏ RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, ‏ DeleteNodeGroup, ‏ ResizeNodeGroup, ‏ RepairNodeGroup, ‏ UpdateLabelsNodeGroup, ‏ StartNodeGroup, ‏ StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, ‏ UpdateJob, ‏ CancelJob, ‏ DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7500	כל הפעולות האחרות (בעיקר פעולות Get)

בטבלה הבאה מפורטות מגבלות נוספות על מספר הפעולות והמשימות הפעילות הכולל ברמת הפרויקט והאזור.

סוג המכסה	הגבלה	תיאור
ActiveOperationsPerProjectPerRegion	5,000	מגבלה על המספר הכולל של פעולות פעילות בו-זמניות מכל הסוגים בפרויקט יחיד במסד נתונים אזורי יחיד
ActiveJobsPerProjectPerRegion	5,000	מגבלה על המספר הכולל של משימות פעילות במצב `NON_TERMINAL` בפרויקט יחיד במסד נתונים אזורי יחיד

מכסות אחרות Google Cloud

שירות מנוהל לאשכולות Apache Spark משתמש במוצרים אחרים של Google Cloud . למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Managed Service for Apache Spark. כדי להשתמש ב-Managed Service for Apache Spark, חייבים להשתמש בשירותים מסוימים, כמו Compute Engine ו-Cloud Storage. שירותים אחרים, כמו BigQuery ו-Bigtable, יכולים להשתמש באופן אופציונלי ב-Managed Service for Apache Spark.

שירותי אשכול נדרשים

כדי ליצור אשכולות של Managed Service for Apache Spark, צריך להשתמש בשירותים הבאים, שמוגדרות בהם מכסות:

Compute Engine

אשכולות של Managed Service for Apache Spark משתמשים במכונות וירטואליות של Compute Engine. המכסות של Compute Engine מחולקות למגבלות אזוריות ולמגבלות גלובליות. המגבלות האלה חלות על אשכולות שאתם יוצרים. לדוגמה, יצירה של אשכול עם צומת אחד מסוג n1-standard-4 ‎-m ושני צמתים מסוג n1-standard-4 ‎-w משתמשת ב-12 מעבדים וירטואליים (4 * 3). השימוש באשכול הזה נספר במסגרת מכסת המעבדים הווירטואליים האזורית של 24 מעבדים וירטואליים.

משאבי אשכולות שמוגדרים כברירת מחדל

כשיוצרים אשכול של Managed Service for Apache Spark עם הגדרות ברירת מחדל, נעשה שימוש במשאבי Compute Engine הבאים.

משאב	שימוש
מעבדים וירטואליים	12
מופעים של מכונות וירטואליות (VM)	3
דיסק אחסון מתמיד (persistent disk)	‫1,500GB

Cloud Logging

שירות מנוהל ל-Apache Spark שומר את הפלט של מנהל ההתקן ואת יומני האשכול ב-Cloud Logging. מכסת רישום ביומן חלה על אשכולות של Managed Service for Apache Spark.

שירותים אופציונליים של אשכול

אפשר להשתמש בשירותים הבאים, שיש להם מכסות, עם אשכולות של Managed Service for Apache Spark.

BigQuery

כשקוראים נתונים מ-BigQuery או כותבים נתונים ל-BigQuery, חלים מכסת BigQuery.

Bigtable

כשקוראים נתונים מ-Bigtable או כותבים נתונים ל-Bigtable, חלה מכסת Bigtable.

זמינות משאבים ואסטרטגיות של אזורים

כדי לבצע אופטימיזציה של אשכולות לזמינות משאבים ולצמצם את הסיכון לשגיאות של חוסר במלאי, כדאי להשתמש בשיטות הבאות:

מיקום אוטומטי של אזור: כשיוצרים אשכולות, משתמשים במיקום אוטומטי של אזור. כך, Managed Service for Apache Spark יכול לבחור אזור אופטימלי באזור שצוין, ולשפר את הסיכויים ליצירת אשכול מוצלחת.
מכסות אזוריות: צריך לוודא שהמכסות האזוריות של Compute Engine מספיקות, כי יכול להיות שהמכסות ינוצלו במלואן גם אם המיקום של האזורים הוא אוטומטי, אם הקיבולת האזורית הכוללת לא מספיקה לבקשות שלכם.
גמישות בסוג המכונה: אם אתם נתקלים באופן קבוע במצב של חוסר במלאי של סוג מכונה מסוים, אתם יכולים להשתמש בסוג מכונה אחר שזמין יותר עבור האשכול.