אפשר לערוך אשכול Connect כדי לעדכן מאפיינים כמו מספר המעבדים הווירטואליים, הזיכרון, הרשת והתוויות.
כדי לערוך אשכול Connect, אתם יכולים להשתמש במסוף Google Cloud , ב-CLI של gcloud, בספריית הלקוח או ב-Managed Kafka API. אי אפשר להשתמש ב-API של Apache Kafka בקוד פתוח כדי לעדכן אשכול Connect.
לפני שמתחילים
אי אפשר לערוך את כל המאפיינים של אשכול Connect. בודקים את המאפיינים של אשכול Connect לפני שמעדכנים.
תפקידים והרשאות נדרשים
כדי לקבל את ההרשאות שנדרשות לעריכת אשכול Connect, בקשו מהאדמין להקצות לכם את התפקיד עריכת אשכולות מנוהלים של Kafka Connect (roles/managedkafka.connectClusterEditor) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות לעריכת אשכול Connect. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לערוך אשכול Connect, צריך את ההרשאות הבאות:
-
עדכון אשכול Connect:
managedkafka.connectClusters.update -
צפייה במחברים כשמשתמשים במסוף Google Cloud כדי לעדכן אשכול Connect:
managedkafka.connectors.list
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
הרשאות של רשתות משנה באשכולות
אם מעדכנים את רשת המשנה של ה-worker באשכול Connect, סוכן השירות המנוהל של Kafka מצרף את רשת המשנה במהלך פעולת העדכון.
ההרשאה managedkafka.connectClusters.update מאפשרת לישות מורשית לצרף באופן עקיף כל תת-רשת שלסוכן השירות יש הרשאה להשתמש בה, גם אם לישות המורשית אין הרשאה ישירה להשתמש בתת-הרשת.
עריכת אשכול Connect
כדי לעדכן מאפיינים מסוימים, כמו מעבד (CPU) וזיכרון, צריך להפעיל מחדש את האשכול.
הפעלה מחדש של אשכולות שומרת על הנתונים, אבל עלולה להגדיל את זמן האחזור. משך ההפעלה מחדש נקבע לפי מספר ה-workers הראשוני באשכול.
אפשר לעדכן את המאפיינים הבאים של אשכול Connect:
| מאפיין (property) | ניתן לעריכה |
|---|---|
| מעבדים וירטואלים | כן |
| זיכרון | כן |
| רשת | כן |
| תת-רשת של Worker | כן |
| דומיינים של DNS שניתנים לפענוח | כן (הוספה/מחיקה) |
| שם האשכול ב-Connect | לא |
| אשכול Kafka | לא |
| מיקום | לא |
| תוויות | כן (הוספה/עריכה/מחיקה) |
| סודות | כן (הוספה/מחיקה) |
המסוף
נכנסים לדף Connect Clusters במסוף Google Cloud .
לוחצים על אשכול Connect שרוצים לעדכן.
הדף Connect cluster details מוצג.
לוחצים על Edit.
מופיע הדף Edit Kafka Connect cluster.
מבצעים את השינויים הנדרשים במאפיינים שאפשר לערוך.
לוחצים על Save.
gcloud
-
מפעילים את Cloud Shell במסוף Google Cloud .
בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
מריצים את הפקודה
gcloud managed-kafka connect-clusters update:gcloud managed-kafka connect-clusters update CONNECT_CLUSTER_ID \ --location=LOCATION \ [--cpu=CPU --memory=MEMORY | --clear-dns-names \ | --dns-name=DNS_NAME --clear-labels \ | --labels=LABELS --clear-secrets \ | --secret=SECRET [--primary-subnet=WORKER_SUBNET \ [--async]מחליפים את מה שכתוב בשדות הבאים:
- CONNECT_CLUSTER_ID: המזהה או השם של אשכול Connect. אי אפשר לשנות את השם של אשכול Connect.
- LOCATION: המיקום של אשכול Connect. אי אפשר לשנות את המיקום של אשכול Connect.
- CPU: מספר ה-vCPU של אשכול Connect. הערך המינימלי הוא 3 מעבדי vCPU.
- MEMORY: כמות הזיכרון של אשכול Connect. צריך להשתמש ביחידות "MB", "MiB", "GB", "GiB", "TB" או "TiB". לדוגמה, "10GiB". צריך להקצות בין 1GiB ל-8GiB לכל vCPU.
- DNS_NAME: שם דומיין DNS מרשת המשנה שיהיה גלוי ל-Connect Cluster.
- LABELS: (אופציונלי) תוויות לשיוך לאשכול. מידע נוסף על הפורמט של תוויות רשימה של צמדי KEY=VALUE של תוויות להוספה. המפתחות צריכים להתחיל באות קטנה, ויכולים להכיל רק מקפים (-), קווים תחתונים (_), אותיות קטנות ומספרים. הערכים יכולים להכיל רק מקפים (-), קווים תחתונים (_), אותיות קטנות ומספרים.
- SECRET: (אופציונלי) סודות לטעינה ב-workers.
צריך לספק גרסאות סודיות מדויקות מ-Secret Manager, אין תמיכה בשמות סודיים. אפשר לטעון עד 32 סודות באשכול אחד. פורמט:
projects/PROJECT_ID/secrets/SECRET_NAME/versions/VERSION_ID WORKER_SUBNET: רשת המשנה של ה-worker של אשכול Connect. רשת המשנה של ה-worker צריכה להיות באותו אזור כמו אשכול Connect.
הפורמט של רשת המשנה הוא
projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_ID.
המשך
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי ההוראות להגדרת Go בקטע התקנת ספריות הלקוח. מידע נוסף מופיע במאמרי העזרה של ה-API של Go עבור שירות מנוהל ל-Apache Kafka.
כדי לבצע אימות בשירות המנוהל ל-Apache Kafka, צריך להגדיר את Application Default Credentials (ADC). מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההתקנה של Java בקטע התקנת ספריות הלקוח. מידע נוסף מופיע במאמרי העזרה של Managed Service for Apache Kafka Java API.
כדי לבצע אימות בשירות המנוהל ל-Apache Kafka, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.
Python
לפני שתנסו את הדוגמה הזו, פעלו לפי הוראות ההגדרה של Python בקטע התקנת ספריות הלקוח. מידע נוסף מופיע במאמרי העזרה של ה-API בשפת Python של שירות מנוהל ל-Apache Kafka.
כדי לבצע אימות בשירות המנוהל ל-Apache Kafka, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.