במאמר הזה מוסבר על מכסות ומגבלות המערכת של השירות המנוהל של Google Cloud ל-Apache Kafka.
- המכסות נקבעות כברירת מחדל, אבל בדרך כלל אפשר לבקש לשנות אותן.
- מגבלות המערכת קבועות ואי אפשר לשנות אותן.
המכסות שלGoogle Cloud עוזרות לשמור על הוגנות ולצמצם עליות חדות בשימוש במשאבים ובזמינות שלהם. הן מגבילות את כמות המשאבים שלGoogle Cloud שאפשר להשתמש בהם בפרויקט ב- Google Cloud . המכסות רלוונטיות למגוון רחב של סוגי משאבים, כולל רכיבי חומרה, תוכנה ורשתות. לדוגמה, המכסות יכולות להגביל את מספר הקריאות ל-API בשירות מסוים, את מספר מאזני העומסים שאפשר להשתמש בהם בו-זמנית בפרויקט או את מספר הפרויקטים שאפשר ליצור. בשורה התחתונה, המכסות מגינות על משתמשיGoogle Cloud בכך שהן מונעות עומס יתר על השירותים, אבל גם עוזרות לשלוט על השימוש במשאבי Google Cloud .
מערכת המכסות ב-Cloud:
- עוקבת אחרי השימוש במוצרים ובשירותים של Google Cloud
- מגבילה את השימוש במשאבים האלה
- כוללת כלי שבאמצעותו אפשר לשלוח בקשות לשינוי המכסות ולשנות אותן אוטומטית
ברוב המקרים, כשאתם מנסים להשתמש ביותר משאבים מהמכסה, הגישה למשאב נחסמת ומה שאתם מנסים לעשות נכשל.
בדרך כלל, המכסות ב- Google Cloud הן ברמת הפרויקט. כלומר, השימוש במשאב מסוים בפרויקט כלשהו לא משפיע על המכסה שלכם בפרויקטים אחרים. ברמת הפרויקט ב- Google Cloud , המכסות משותפות לכל האפליקציות וכתובות ה-IP.
למשאבים של השירות המנוהל ל-Apache Kafka יש גם מגבלות מערכת. שאי אפשר לשנות.
הצגה וניהול של מכסות
במרכז הבקרה Quotas & System Limits אפשר לראות את מגבלות המכסות וניצול המכסות הנוכחיות של פרויקט מסוים. אפשר גם להשתמש בלוח הבקרה הזה כדי:
- הקטנת המגבלות במכסות
- איך מתחילים תהליך להגדלת המכסות
מכסות בשירות מנוהל ל-Apache Kafka
אפשר לראות ולערוך את המכסות שמפורטות בטבלה הבאה לכל פרויקט בלוח הבקרה Quotas & System Limits.
| מכסה | מגבלת ברירת המחדל של המכסה | תיאור |
|---|---|---|
| אשכולות לכל פרויקט בכל אזור | 5 | המספר המקסימלי של אשכולות שאפשר ליצור בכל פרויקט באזור נתון. |
| קיבולת המעבד (CPU) לכל פרויקט בכל אזור | 750 | קיבולת המעבד המקסימלית שמותרת לברוקרים בפרויקט באזור נתון. |
| נפח הזיכרון לכל פרויקט בכל אזור | 6,000 GiB | קיבולת הזיכרון המקסימלית שמותרת למתווכים בפרויקט באזור נתון. |
| קיבולת של דיסק מקומי של ברוקר לכל פרויקט לכל אזור | 200 TiB | קיבולת האחסון המקסימלית שמותרת לדיסקים המקומיים של המתווכים בפרויקט באזור נתון. |
| בקשות כתיבה באשכול לדקה לכל פרויקט לכל אזור | 100 | מספר הבקשות לכתיבה באשכולות, כמו UpdateCluster ו-DeleteCluster, שמותרות בכל דקה בכל פרויקט באזור נתון. המכסה הזו לא מגבילה את הקצב שבו מפיקים יכולים לפרסם רשומות. |
| בקשות ליצירת אשכולות לדקה לכל פרויקט בכל אזור | 1 | מספר הבקשות ל-CreateCluster שאפשר לשלוח בכל דקה בכל פרויקט באזור נתון. |
| בקשות קריאה לאשכול לדקה לכל פרויקט לכל אזור. | 600 | מספר בקשות הקריאה לאשכולות, כמו GetCluster ו-ListClusters, שמותרות בכל דקה לכל פרויקט באזור נתון. המכסה הזו לא מגבילה את הקצב שבו הצרכנים יכולים לקרוא רשומות. |
| בקשות אימות לאשכול לדקה לכל פרויקט לכל אזור. | 1200 | מספר החיבורים של הלקוחות שאפשר לאמת, לדקה לכל פרויקט באזור נתון. |
| בקשות כתיבה של נושאים לדקה לכל פרויקט בכל אזור. | 100 | מספר בקשות הכתיבה לנושאים, כמו CreateTopic, UpdateTopic ו-DeleteTopic, שמותרות לדקה לכל פרויקט באזור נתון. |
| בקשות קריאה של נושאים לדקה לכל פרויקט לכל אזור. | 600 | מספר בקשות הקריאה לנושאים, כמו GetTopic ו-ListTopics, שמותר לשלוח בכל דקה לכל פרויקט באזור נתון. |
| בקשות כתיבה של קבוצת צרכנים לדקה לכל פרויקט לכל אזור. | 100 | מספר בקשות הכתיבה לקבוצות של צרכנים, כמו UpdateConsumerGroup ו-DeleteConsumerGroup, שמותרות לדקה לכל פרויקט באזור נתון. |
| בקשות קריאה של קבוצת צרכנים לדקה לכל פרויקט בכל אזור. | 600 | מספר בקשות הקריאה לקבוצות צרכנים, כמו GetConsumerGroup ו-ListConsumerGroups, שמותרות בדקה לכל פרויקט באזור נתון. |
| בקשות לפעולות לדקה לכל פרויקט בכל אזור | 1200 | מספר הבקשות לפעולות ארוכות טווח שמותר לשלוח בכל דקה בכל פרויקט באזור נתון. |
| חיבור אשכולות לכל אזור | 5 | המספר המקסימלי של אשכולות Connect שמותרים לכל פרויקט באזור נתון. |
| נפח הזיכרון של אשכול Connect לפי אזור | 800 GiB | קיבולת הזיכרון המקסימלית המותרת לאשכולות Connect בפרויקט באזור נתון. |
| קיבולת המעבד (CPU) של אשכולות Connect לפי אזור | 800 | קיבולת המעבד (CPU) המקסימלית המותרת לאשכולות Connect בפרויקט באזור נתון. |
| בקשות ליצירת אשכולות ב-Connect לדקה, לכל אזור | 1 | מספר הבקשות ל-CreateConnectCluster שאפשר לשלוח בכל דקה בכל פרויקט באזור נתון. |
| בקשות קריאה של אשכול לדקה, לכל אזור | 600 | מספר בקשות הקריאה לאשכולות Connect, כמו GetConnectCluster ו-ListConnectClusters, שמותרות בכל דקה לכל פרויקט באזור נתון. |
| בקשות כתיבה של אשכולות Connect לדקה, לכל אזור | 100 | מספר בקשות הכתיבה לאשכולות Connect, כמו UpdateConnectCluster ו-DeleteConnectCluster, שמותרות בכל דקה לכל פרויקט באזור נתון. |
| בקשות קריאה של מחבר לדקה, לכל אזור | 600 | מספר בקשות הקריאה למחברים, כמו GetConnector ו-ListConnectors, שמותרות בכל דקה לכל פרויקט באזור נתון. |
| בקשות כתיבה של מחבר לדקה, לכל אזור | 100 | מספר בקשות הכתיבה למחברים, כמו CreateConnector, UpdateConnector, DeleteConnector, PauseConnector, ResumeConnector ו-RestartConnector, שמותרות לדקה לכל פרויקט באזור נתון. |
שליחת בקשה להגדלת המכסה
כדי לשנות את רוב המכסות, משתמשים במסוף Google Cloud . מידע נוסף זמין במאמר בנושא שליחת בקשה לשינוי המכסות.
המגבלות של השירות המנוהל ל-Apache Kafka
לשירות המנוהל ל-Apache Kafka יש את המגבלות הבאות:
- קיבולת הדיסק: לפחות 100 GiB לכל vCPU, ולכל היותר 32,768 GiB (32 TiB) לכל ברוקר.
- גודל ההודעה המקסימלי שמוגדר כברירת מחדל (
message.max.bytes) הוא 10MiB - מספר ברירת המחדל של המחיצות לכל נושא הוא 1.