יצירה והצגה של אשכול שירות מנוהל ל-Apache Kafka

יצירה והצגה של אשכול שירות מנוהל ל-Apache Kafka

איך יוצרים אשכול של שירות מנוהל ל-Apache Kafka עם נושא, ואיך צופים בפרטים על האשכול. כדי להשלים את המדריך הזה, אפשר להשתמש במסוף Google Cloud או ב-Google Cloud CLI.

לפני שמתחילים

המסוף

נכנסים לחשבון Google.

אם עדיין אין חשבון, יוצרים חשבון חדש.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

gcloud

נכנסים לחשבון Google.

אם עדיין אין חשבון, יוצרים חשבון חדש.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

אם משתמשים בפרויקט קיים, מוודאים שיש את ההרשאות הנדרשות כדי להשלים את ההדרכה. אם משתמשים בפרויקט חדש, לא צריך לוודא כי כבר יש את ההרשאות הנדרשות.

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Managed Kafka API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

gcloud services enable managedkafka.googleapis.com

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

אם משתמשים בפרויקט קיים, מוודאים שיש את ההרשאות הנדרשות כדי להשלים את ההדרכה. אם משתמשים בפרויקט חדש, לא צריך לוודא כי כבר יש את ההרשאות הנדרשות.

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Managed Kafka API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

gcloud services enable managedkafka.googleapis.com

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת האשכול, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• עריכה של אשכול Managed Kafka (roles/managedkafka.clusterEditor)
• עורך נושאים של Managed Kafka (roles/managedkafka.topicEditor)
• משתמש ברשת Compute (roles/compute.networkUser)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת אשכול

המסוף

1. עוברים אל הדף שירות מנוהל ל-Apache Kafka > Clusters.

   מעבר אל Clusters

2. לוחצים על יצירה.
3. בתיבה שם האשכול, מזינים שם לאשכול.
4. ברשימה Region, בוחרים מיקום לאשכול.
5. בקטע Network configuration (תצורת רשת), מגדירים את רשת המשנה שבה אפשר לגשת לאשכול:
   1. בקטע Project (פרויקט), בוחרים את הפרויקט.
   2. בקטע רשת, בוחרים את רשת ה-VPC.
   3. בקטע רשת משנה, בוחרים את רשת המשנה.
   4. לוחצים על סיום.
6. לוחצים על יצירה.

אחרי שלוחצים על יצירה, מצב האשכול הוא Creating. כשהאשכול מוכן, הסטטוס שלו הוא Active.

gcloud

כדי ליצור אשכול Kafka, מריצים את הפקודה managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

מחליפים את מה שכתוב בשדות הבאים:

• ‫KAFKA_CLUSTER: שם לאשכול Kafka
• ‫REGION: המיקום של האשכול
• ‫PROJECT_ID: מזהה הפרויקט
• ‫SUBNET_NAME: תת-הרשת שבה רוצים ליצור את האשכול, לדוגמה default

מידע על מיקומים נתמכים זמין במאמר בנושא מיקומים של שירות מנוהל ל-Apache Kafka.

הפקודה פועלת באופן אסינכרוני ומחזירה מזהה פעולה:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

כדי לעקוב אחרי ההתקדמות של פעולת היצירה, משתמשים בפקודה gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

כשהאשכול מוכן, הפלט מהפקודה הזו כולל את הרשומה state: ACTIVE. מידע נוסף זמין במאמר בנושא מעקב אחרי פעולת יצירת האשכול.

אחרי שמבצעים את השלבים האלה, יכולות לעבור עד 30 דקות עד שהאשכול יהיה מוכן.

בזמן שמחכים שהפעולה הזו תסתיים, אפשר לעיין במדריכים שמפורטים בקטע השלבים הבאים. הם מראים איך ליצור הודעות לאשכול באמצעות שיטות שונות. אחרי שהאשכול מוכן, אפשר להשלים כל אחד מהמדריכים האלה.

יצירת נושא

כשהאשכול של השירות המנוהל ל-Apache Kafka מוכן, יוצרים נושא.

המסוף

1. עוברים לדף שירות מנוהל ל-Apache Kafka > Clusters (אשכולות).

   מעבר אל Clusters

2. לוחצים על שם האשכול.

3. בדף הפרטים של האשכול, לוחצים על יצירת נושא.

4. בתיבה שם הנושא, מזינים שם לנושא.

5. לוחצים על יצירה.

gcloud

כדי ליצור נושא Kafka, מריצים את הפקודה managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

מחליפים את מה שכתוב בשדות הבאים:

• ‫KAFKA_TOPIC_NAME: השם של נושא Kafka שרוצים ליצור
• ‫KAFKA_CLUSTER: השם של אשכול Kafka
• ‫REGION: האזור שבו יצרתם את אשכול Kafka

הצגת האשכול

אחרי שהאשכול מוכן, אפשר לראות מידע על האשכול, כולל הנושאים, קבוצות הצרכנים, הרשתות ופרטים אחרים.

המסוף

1. עוברים לדף שירות מנוהל ל-Apache Kafka > Clusters (אשכולות).

   מעבר אל Clusters

2. לוחצים על שם האשכול. בדף Cluster details מוצג מידע על האשכול. בכרטיסייה משאבים מוצגים המשאבים שמשויכים לאשכול, כולל נושאים.

3. כדי לראות פרטים על נושא מסוים, בוחרים בכרטיסייה משאבים ולוחצים על שם הנושא. בדף פרטי הנושא מוצג מידע על הנושא, כמו מספר המחיצות וההעתקים.

4. כדי לחזור לדף פרטי האשכול, לוחצים על חזרה לדף האב.

gcloud

1. כדי לראות מידע על האשכול, מריצים את הפקודה gcloud managed-kafka clusters describe.

   gcloud managed-kafka clusters describe KAFKA_CLUSTER \
     --location=REGION
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫KAFKA_CLUSTER: שם האשכול
   • ‫REGION: האזור שבו יצרתם את האשכול

   הפלט של הפקודה הזו הוא רשימה של מאפייני האשכול, שדומה לרשימה הבאה:

   bootstrapAddress: BOOTSTRAP_ADDRESS
   capacityConfig:
     memoryBytes: '3221225472'
     vcpuCount: '3'
   createTime: 'TIMESTAMP'
   

2. כדי לקבל רשימה של נושאים באשכול, מריצים את הפקודה gcloud managed-kafka topics list.

   gcloud managed-kafka topics list KAFKA_CLUSTER \
     --location=REGION \
     --format="value(name)"
   

   הפלט כולל את הנושאים שיצרתם, וגם נושאים שהשירות המנוהל ל-Apache Kafka יוצר לשימוש פנימי.

3. כדי לראות מידע על נושא, מריצים את הפקודה gcloud managed-kafka topics describe.

   gcloud managed-kafka topics describe TOPIC_NAME \
     --cluster=KAFKA_CLUSTER \
     --location=REGION
   

   מחליפים את TOPIC_NAME בשם הנושא.

   הפלט של הפקודה הזו הוא רשימה של מאפייני נושא, כמו בדוגמה הבאה:

    name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
    partitionCount: 10
    replicationFactor: 3
   

קבלת כתובת ה-bootstrap

לקוחות Kafka משתמשים בכתובת ה-bootstrap של האשכול כדי ליצור חיבור לאשכול. כדי לקבל את כתובת ה-bootstrap, מבצעים את השלבים הבאים:

המסוף

1. עוברים לדף שירות מנוהל ל-Apache Kafka > Clusters (אשכולות).

   מעבר אל Clusters

2. לוחצים על שם האשכול.

3. בוחרים בכרטיסייה Configurations.

4. כתובת ה-URL של האתחול מופיעה בקטע כתובת ה-URL של האתחול. לוחצים על העתקה כדי להעתיק את הערך.

gcloud

כדי לקבל את כתובת ה-URL של האתחול, מריצים את הפקודה managed-kafka clusters describe.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

מחליפים את מה שכתוב בשדות הבאים:

• ‫KAFKA_CLUSTER: שם האשכול
• ‫REGION: האזור שבו יצרתם את האשכול

עכשיו אפשר לשלוח הודעות לאשכול. מידע נוסף זמין בקטע מה עושים עכשיו במסמך הזה.

הסרת המשאבים

כדי לא לצבור חיובים בחשבון על המשאבים שבהם השתמשתם בדף הזה, אתם צריכים למחוק את הפרויקט יחד עם המשאבים. Google Cloud Google Cloud

המסוף

למחוק את האשכול.

1. עוברים לדף שירות מנוהל ל-Apache Kafka > Clusters (אשכולות).

   מעבר אל Clusters

2. בוחרים את אשכול Kafka ולוחצים על מחיקה.

gcloud

1. כדי למחוק את האשכול, משתמשים בפקודה gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete KAFKA_CLUSTER \
     --location=REGION --async
   

המאמרים הבאים

יוצרים הודעות ל-Kafka באמצעות כלי שורת הפקודה של Kafka או באמצעות יצירת אפליקציית לקוח:

• שימוש בכלי שורת הפקודה של Kafka

• פיתוח אפליקציית הפקה ב-Java

• פיתוח אפליקציית הפקה ב-Python