בדף הזה מפורטות מגבלות המכסות של Dataproc API, שמיושמות ברמת הפרויקט והאזור. המכסות מתאפסות כל שישים שניות (דקה אחת).
במאמר זמינות משאבים ואסטרטגיות של אזורים מוסבר על אסטרטגיות לאופטימיזציה של אשכולות שיעזרו לכם להימנע מבעיות שקשורות למכסות ולזמינות משאבים.
בטבלה הבאה מפורטים סוגי המכסות הספציפיות והמוגדרות כברירת מחדל של Dataproc API לכל פרויקט, מגבלות המכסות והשיטות שבהן הן חלות.
| סוג המכסה | הגבלה | שיטות API רלוונטיות |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | כל הפעולות האחרות (בעיקר פעולות Get) |
בטבלה הבאה מפורטות מגבלות נוספות על מספר הפעולות והמשימות הפעילות הכולל ברמת הפרויקט והאזור.
| סוג המכסה | הגבלה | תיאור |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5,000 | מגבלה על המספר הכולל של פעולות פעילות בו-זמנית מכל הסוגים בפרויקט יחיד במסד נתונים אזורי יחיד |
| ActiveJobsPerProjectPerRegion | 5,000 | מגבלה על המספר הכולל של משימות פעילות במצב NON_TERMINAL בפרויקט יחיד במסד נתונים אזורי יחיד |
מכסות אחרות Google Cloud
אשכולות Dataproc משתמשים במוצרים אחרים Google Cloud . למוצרים האלה יש מכסות ברמת הפרויקט, כולל מכסות שחלות על השימוש ב-Dataproc. כדי להשתמש ב-Dataproc, חובה להשתמש בשירותים מסוימים, כמו Compute Engine ו-Cloud Storage. שירותים אחרים, כמו BigQuery ו-Bigtable, יכולים להשתמש ב-Dataproc באופן אופציונלי.
שירותי אשכול נדרשים
כדי ליצור אשכולות Dataproc, צריך להשתמש בשירותים הבאים, שמוגדרות בהם מכסות:
Compute Engine
אשכולות Dataproc משתמשים במכונות וירטואליות של Compute Engine. המכסות של Compute Engine מחולקות למגבלות אזוריות ולמגבלות גלובליות. המגבלות האלה חלות על אשכולות שאתם יוצרים. לדוגמה, כשיוצרים אשכול עם צומת אחד מסוג n1-standard-4 -m ושני צמתים מסוג n1-standard-4 -w, המערכת משתמשת ב-12 מעבדים וירטואליים (4 * 3). השימוש באשכול הזה נספר במסגרת מכסת המעבדים הווירטואליים האזורית, שעומדת על 24.
משאבי אשכולות שמוגדרים כברירת מחדל
כשיוצרים אשכול Dataproc עם הגדרות ברירת מחדל, נעשה שימוש במשאבי Compute Engine הבאים.
| משאב | שימוש |
|---|---|
| מעבדים וירטואליים | 12 |
| מופעים של מכונות וירטואליות (VM) | 3 |
| דיסק אחסון מתמיד (persistent disk) | 1,500GB |
Cloud Logging
Dataproc שומר את פלט הדרייבר ואת יומני האשכול ב-Cloud Logging. מכסת הרישום ביומן חלה על אשכולות Dataproc.
שירותים אופציונליים של אשכול
אפשר להשתמש בשירותים הבאים, שיש להם מכסות, עם אשכולות Dataproc.
BigQuery
כשקוראים נתונים מ-BigQuery או כותבים נתונים ל-BigQuery, חלות מכסות BigQuery.
Bigtable
כשקוראים נתונים מ-Bigtable או כותבים נתונים ל-Bigtable, חלה מכסת Bigtable.
זמינות משאבים ואסטרטגיות של אזורים
כדי לבצע אופטימיזציה של אשכולות מבחינת זמינות משאבים ולצמצם את הסיכון לשגיאות של חוסר במלאי, כדאי להשתמש באסטרטגיות הבאות:
בחירת תחום אוטומטית: כשיוצרים אשכולות, משתמשים בבחירת תחום אוטומטית. כך Dataproc יכול לבחור אזור אופטימלי באזור שצוין, ולשפר את הסיכויים ליצירת אשכול מוצלחת.
מכסות אזוריות: צריך לוודא שהמכסות האזוריות של Compute Engine מספיקות, כי יכול להיות שהמכסות ינוצלו במלואן גם אם המיקום של האזורים הוא אוטומטי, אם הקיבולת האזורית הכוללת לא מספיקה לבקשות שלכם.
גמישות בסוג המכונה: אם אתם נתקלים באופן קבוע במצב של חוסר במלאי של סוג מכונה מסוים, אתם יכולים להשתמש בסוג מכונה אחר שזמין יותר עבור האשכול.