כדי לראות אשכול, אתם יכולים להשתמש במסוף Google Cloud , ב-Google Cloud CLI, בספריית הלקוח או ב-Managed Kafka API. אי אפשר להשתמש ב-API של Apache Kafka בקוד פתוח כדי להציג אשכול.
התפקידים וההרשאות שנדרשים כדי לראות אשכול
כדי לקבל את ההרשאות שנדרשות לצפייה באשכול, בקשו מהאדמין להקצות לכם את התפקיד צפייה ב-Managed Kafka (roles/managedkafka.viewer) ב-IAM בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות לצפייה באשכול. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לראות אשכול, צריך את ההרשאות הבאות:
-
רשימת האשכולות:
managedkafka.clusters.list -
מציגים את פרטי האשכול:
managedkafka.clusters.get
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
הצגת אשכול
כדי להציג אשכול, פועלים לפי השלבים הבאים:
המסוף
נכנסים לדף Clusters במסוף Google Cloud .
מוצגת רשימה של האשכולות שיצרתם בפרויקט.
כדי לראות אשכול ספציפי, לוחצים על שם האשכול.
דף הפרטים של האשכול נפתח. הדף הזה כולל את הכרטיסיות הבאות:
- Resources: רשימת הנושאים וקבוצות הצרכנים שמשויכים לאשכול.
- בקרת גישה: הצגת רשומות ה-ACL של האשכול.
- Configurations: הצגת ההגדרות של האשכול, כולל רשימת רשתות המשנה שמשויכות לאשכול.
- Monitoring: הצגת התראות המעקב שמשויכות לאשכול.
- יומנים: הצגת היומנים שקשורים לאשכולות מ-Logs Explorer.
- מקורות: מספק קיצורי דרך ליצירת מחברי מקור של Kafka Connect או ליצירת נתוני בדיקה סינתטיים.
- Sinks: קיצורי דרך ליצירת מחברי sink של Kafka Connect.
gcloud
-
מפעילים את Cloud Shell במסוף Google Cloud .
בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט. -
LOCATION: המיקום של האשכול. -
CLUSTER_ID: מזהה האשכול.
מריצים את הפקודה הבאה:
Linux, macOS או Cloud Shell
gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --project=PROJECT_ID
Windows (PowerShell)
gcloud managed-kafka clusters describe CLUSTER_ID ` --location=LOCATION ` --project=PROJECT_ID
Windows (cmd.exe)
gcloud managed-kafka clusters describe CLUSTER_ID ^ --location=LOCATION ^ --project=PROJECT_ID
אמורים לקבל תגובה שדומה לזו:
bootstrapAddress: bootstrap.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog:9092 bootstrapAddressMTLS: bootstrap.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog:9192 brokerCapacityConfig: {} capacityConfig: memoryBytes: 'MEMORY' vcpuCount: 'CPU_COUNT' createTime: 'CREATE_TIME' gcpConfig: accessConfig: networkConfigs: - subnet: projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET_ID publicClusterConfig: allowedSourceIpRanges: - 203.0.113.5/32 labels: goog-terraform-provisioned: 'true' name: projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID publicClusterDetails: discoveryDnsRecords: - discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog externalIpAddresses: - 203.0.113.1 - 203.0.113.2 - 203.0.113.3 - 203.0.113.4 rebalanceConfig: mode: AUTO_REBALANCE_ON_SCALE_UP satisfiesPzi: false satisfiesPzs: false state: ACTIVE tlsConfig: trustConfig: {} updateOptions: {} updateTime: 'UPDATE_TIME'-
REST
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
LOCATION: המיקום של האשכול. -
CLUSTER_ID: מזהה האשכול. -
CLUSTER_VIEW: כמות המטא-נתונים שרוצים להחזיר. מציינים את אחד מהערכים הבאים:-
CLUSTER_VIEW_BASIC: החזרת המטא-נתונים הבסיסיים של האשכול. -
CLUSTER_VIEW_FULL: החזרת כל המטא-נתונים של האשכול, כולל מידע על ה-brokers של האשכול ומספר הגרסה של Kafka שפועלת באשכול.
אם לא מציינים שיטה, ברירת המחדל היא
CLUSTER_VIEW_BASIC. -
ה-method של ה-HTTP וכתובת ה-URL:
GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
אתם אמורים לקבל תגובת JSON שדומה לזו:
{
"name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"createTime": "CREATE_TIME",
"updateTime": "UPDATE_TIME",
"capacityConfig": {
"vcpuCount": "CPU_COUNT",
"memoryBytes": "MEMORY"
},
"rebalanceConfig": {},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
}
],
"publicClusterConfig": {
"allowedSourceIpRanges": [
"203.0.113.5/32"
]
}
}
},
"state": "ACTIVE",
"satisfiesPzi": false,
"satisfiesPzs": false,
"tlsConfig": {
"trustConfig": {}
},
"updateOptions": {},
"publicClusterDetails": {
"discoveryDnsRecords": [
"discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
],
"externalIpAddresses": [
"203.0.113.1",
"203.0.113.2",
"203.0.113.3",
"203.0.113.4"
]
}
}
המשך
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go בקטע התקנת ספריות הלקוח. מידע נוסף מופיע ב מאמרי העזרה של ה-API של Go עבור שירות מנוהל ל-Apache Kafka.
כדי לבצע אימות בשירות המנוהל ל-Apache Kafka, צריך להגדיר את Application Default Credentials(ADC). מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java בקטע התקנת ספריות הלקוח. מידע נוסף מופיע ב מאמרי העזרה של Managed Service for Apache Kafka Java API.
כדי לבצע אימות בשירות המנוהל ל-Apache Kafka, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python שמפורטות במאמר התקנת ספריות הלקוח. מידע נוסף מופיע ב מאמרי העזרה של ה-API בשפת Python של שירות מנוהל ל-Apache Kafka.
כדי לבצע אימות בשירות המנוהל ל-Apache Kafka, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת ADC לסביבת פיתוח מקומית.
הצגת המאפיינים והמשאבים של האשכול
בקטעים הבאים מוסבר איך לקבל פרטים על מאפיינים ומשאבים שונים שמשויכים לאשכול של השירות המנוהל של Google Cloud ל-Apache Kafka.
כתובת התחלתית
לקוחות Kafka משתמשים בכתובת ה-bootstrap של האשכול כדי ליצור חיבור לאשכול. הכתובת ההתחלתית קבועה לכל משך החיים של האשכול, אבל הפורמט של כתובת ה-URL ההתחלתית עשוי להיות שונה בין אשכולות.
אם באשכול מופעלת גישה ציבורית, כתובת ה-bootstrap פותרת באופן אוטומטי כתובות IP ציבוריות או פרטיות, בהתאם למקום שממנו הלקוח מתחבר (באמצעות split-horizon DNS). גם לקוחות פנימיים וגם לקוחות חיצוניים צריכים להשתמש באותה כתובת של תהליך האתחול כדי להתחבר לאשכול. אל תגדירו לקוחות Kafka להתחבר לרשומות DNS של גילוי, ששמורות רק להגדרת חומות אש לתעבורת נתונים יוצאת (egress) חיצונית.
כדי לקבל את כתובת ה-bootstrap, מבצעים את השלבים הבאים:
המסוף
נכנסים לדף Managed Service for Apache Kafka > Clusters.
לוחצים על שם האשכול.
לוחצים על הכרטיסייה Configurations.
אם אתם משתמשים ב-SASL לאימות, כתובת ה-URL ההתחלתית מופיעה בקטע Bootstrap URL.
אם אתם משתמשים ב-Mutual TLS (mTLS) לאימות, כתובת ה-URL ההתחלתית מופיעה בקטע mTLS Bootstrap URL.
לוחצים על Copy כדי להעתיק את הערך.
gcloud
כדי לקבל את כתובת ה-URL ההתחלתית, משתמשים בפקודה managed-kafka clusters
describe.
אם אתם משתמשים ב-SASL לאימות, הריצו את הפקודה הבאה:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION \
--format="value(bootstrapAddress)"
אם אתם משתמשים ב-Mutual TLS (mTLS) לאימות, הריצו את הפקודה הבאה:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION \
--format="value(bootstrapAddressMTLS)"
מחליפים את מה שכתוב בשדות הבאים:
- CLUSTER_ID: המזהה או השם של האשכול.
- LOCATION: המיקום של האשכול.
אם יש לכם כתובת של שרת Bootstrap ואתם רוצים למצוא את האשכול המתאים, אתם יכולים לסנן את רשימת האשכולות במסוף Google Cloud או להריץ את gcloud
managed-kafka clusters list עם --filter="bootstrapAddress:BOOTSTRAP_ADDRESS". למידע נוסף, קראו את המאמר הצגת רשימת האשכולות.
למידע נוסף על אימות SASL ו-mTLS, קראו את המאמר סוגי אימות לברוקרים של Kafka.
ברוקרים
כדי לראות את ה-brokers באשכול, קראו את המאמר הצגת ה-brokers באשכול של השירות המנוהל ל-Apache Kafka.
קבוצות צרכנים
קבוצת צרכנים היא קבוצה של צרכנים שמשתפים פעולה כדי לצרוך נתונים מנושאים שונים. כדי לראות את קבוצות הצרכנים של אשכול, אפשר להיעזר בדפים הבאים:
רשתות משנה
כדי לראות את רשתות המשנה שמחוברות לאשכול:
המסוף
נכנסים לדף Clusters במסוף Google Cloud .
לוחצים על שם האשכול.
בדף הפרטים של האשכול, לוחצים על הכרטיסייה Configurations. רשתות המשנה המחוברות מופיעות בקטע Subnetworks.
gcloud
מריצים את הפקודה
gcloud managed-kafka clusters describe:gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --format="yaml(gcpConfig.accessConfig.networkConfigs)"מחליפים את מה שכתוב בשדות הבאים:
- CLUSTER_ID: המזהה או השם של האשכול.
- LOCATION: המיקום של האשכול.
מידע נוסף מופיע במאמר הגדרת הרשת לשירות המנוהל ל-Apache Kafka.
טווחי כתובות IP מותרים של מקורות
כדי לראות את טווחי כתובות ה-IP המותרים של המקור באשכול ציבורי:
המסוף
נכנסים לדף Clusters במסוף Google Cloud .
לוחצים על שם האשכול.
לוחצים על הכרטיסייה Configurations. טווחי ה-IP המותרים של המקור מפורטים בטבלה Allowed source IP ranges בעמודה IP range.
gcloud
כדי לראות את טווחי כתובות ה-IP המותרים של המקור באמצעות
gcloud, בודקים את השדהgcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRangesבתשובה של הפקודהgcloud managed-kafka clusters describe:gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --format="yaml(gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges)"מחליפים את מה שכתוב בשדות הבאים:
- CLUSTER_ID: המזהה או השם של האשכול.
- LOCATION: המיקום של האשכול.
REST
כדי לראות את טווחי כתובות ה-IP המותרים של המקור באמצעות ה-API בארכיטקטורת REST, בודקים את השדה gcpConfig.accessConfig.publicClusterConfig.allowedSourceIpRanges בתגובה לבקשת GET:
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
LOCATION: המיקום של האשכול. -
CLUSTER_ID: מזהה האשכול. -
CLUSTER_VIEW: כמות המטא-נתונים שרוצים להחזיר. מציינים את אחד מהערכים הבאים:-
CLUSTER_VIEW_BASIC: החזרת המטא-נתונים הבסיסיים של האשכול. -
CLUSTER_VIEW_FULL: החזרת כל המטא-נתונים של האשכול, כולל מידע על ה-brokers של האשכול ומספר הגרסה של Kafka שפועלת באשכול.
אם לא מציינים שיטה, ברירת המחדל היא
CLUSTER_VIEW_BASIC. -
ה-method של ה-HTTP וכתובת ה-URL:
GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
אתם אמורים לקבל תגובת JSON שדומה לזו:
{
"name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"createTime": "CREATE_TIME",
"updateTime": "UPDATE_TIME",
"capacityConfig": {
"vcpuCount": "CPU_COUNT",
"memoryBytes": "MEMORY"
},
"rebalanceConfig": {},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
}
],
"publicClusterConfig": {
"allowedSourceIpRanges": [
"203.0.113.5/32"
]
}
}
},
"state": "ACTIVE",
"satisfiesPzi": false,
"satisfiesPzs": false,
"tlsConfig": {
"trustConfig": {}
},
"updateOptions": {},
"publicClusterDetails": {
"discoveryDnsRecords": [
"discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
],
"externalIpAddresses": [
"203.0.113.1",
"203.0.113.2",
"203.0.113.3",
"203.0.113.4"
]
}
}
למידע נוסף על טווחי כתובות ה-IP המותרים של המקור, קראו את המאמר אשכולות ציבוריים.
פרטי האשכול הציבורי
כדי לראות את פרטי האשכול הציבורי, כולל כתובות ה-IP החיצוניות ורשומות ה-DNS לזיהוי, מבצעים את השלבים הבאים:
המסוף
נכנסים לדף Clusters במסוף Google Cloud .
לוחצים על שם האשכול.
לוחצים על הכרטיסייה Configurations. כתובות ה-IP החיצוניות ורשומות ה-DNS לזיהוי מופיעות בשדות External IP Addresses ו-DNS Discovery Records.
gcloud
מריצים את הפקודה
gcloud managed-kafka clusters describe:gcloud managed-kafka clusters describe CLUSTER_ID \ --location=LOCATION \ --format="yaml(publicClusterDetails)"מחליפים את מה שכתוב בשדות הבאים:
- CLUSTER_ID: המזהה או השם של האשכול.
- LOCATION: המיקום של האשכול.
REST
כדי לראות את פרטי האשכול הציבורי באמצעות ה-API בארכיטקטורת REST, בודקים את השדה publicClusterDetails בתגובה לבקשת GET:
לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud -
LOCATION: המיקום של האשכול. -
CLUSTER_ID: מזהה האשכול. -
CLUSTER_VIEW: כמות המטא-נתונים שרוצים להחזיר. מציינים את אחד מהערכים הבאים:-
CLUSTER_VIEW_BASIC: החזרת המטא-נתונים הבסיסיים של האשכול. -
CLUSTER_VIEW_FULL: החזרת כל המטא-נתונים של האשכול, כולל מידע על ה-brokers של האשכול ומספר הגרסה של Kafka שפועלת באשכול.
אם לא מציינים שיטה, ברירת המחדל היא
CLUSTER_VIEW_BASIC. -
ה-method של ה-HTTP וכתובת ה-URL:
GET https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?view=CLUSTER_VIEW
כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:
אתם אמורים לקבל תגובת JSON שדומה לזו:
{
"name": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"createTime": "CREATE_TIME",
"updateTime": "UPDATE_TIME",
"capacityConfig": {
"vcpuCount": "CPU_COUNT",
"memoryBytes": "MEMORY"
},
"rebalanceConfig": {},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/locations/LOCATION/subnetworks/SUBNET_ID"
}
],
"publicClusterConfig": {
"allowedSourceIpRanges": [
"203.0.113.5/32"
]
}
}
},
"state": "ACTIVE",
"satisfiesPzi": false,
"satisfiesPzs": false,
"tlsConfig": {
"trustConfig": {}
},
"updateOptions": {},
"publicClusterDetails": {
"discoveryDnsRecords": [
"discovery-1.CLUSTER_ID.LOCATION.managedkafka.PROJECT_ID.cloud.goog"
],
"externalIpAddresses": [
"203.0.113.1",
"203.0.113.2",
"203.0.113.3",
"203.0.113.4"
]
}
}
נושאים
כדי לראות את הנושאים באשכול, אפשר לעיין בדפים הבאים: