Membuat dan melihat cluster Managed Service for Apache Kafka

Membuat dan melihat cluster Managed Service for Apache Kafka

Pelajari cara membuat cluster Managed Service for Apache Kafka dengan topik, dan melihat detail tentang cluster. Anda dapat menggunakan konsol Google Cloud atau Google Cloud CLI untuk menyelesaikan tutorial ini.

Sebelum memulai

Konsol

Login ke Akun Google Anda.

Jika Anda belum memilikinya, Daftar untuk membuat akun baru.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

gcloud

Login ke Akun Google Anda.

Jika Anda belum memilikinya, Daftar untuk membuat akun baru.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Buat atau pilih Google Cloud project.

Peran yang diperlukan untuk memilih atau membuat project

• Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
• Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

• Buat Google Cloud project:

  gcloud projects create PROJECT_ID

  Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

• Pilih project Google Cloud yang Anda buat:

  gcloud config set project PROJECT_ID

  Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Jika Anda menggunakan project yang sudah ada untuk panduan ini, pastikan Anda memiliki izin yang diperlukan untuk menyelesaikan panduan ini. Jika berhasil membuat project baru, berarti Anda sudah memiliki izin yang diperlukan.

Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

Aktifkan Managed Kafka API:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

gcloud services enable managedkafka.googleapis.com

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

gcloud init

Buat atau pilih Google Cloud project.

Peran yang diperlukan untuk memilih atau membuat project

• Pilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project mana pun yang telah diberi peran.
• Membuat project: Untuk membuat project, Anda memerlukan peran Pembuat Project (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

• Buat Google Cloud project:

  gcloud projects create PROJECT_ID

  Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

• Pilih project Google Cloud yang Anda buat:

  gcloud config set project PROJECT_ID

  Ganti PROJECT_ID dengan nama project Google Cloud Anda.

Jika Anda menggunakan project yang sudah ada untuk panduan ini, pastikan Anda memiliki izin yang diperlukan untuk menyelesaikan panduan ini. Jika berhasil membuat project baru, berarti Anda sudah memiliki izin yang diperlukan.

Verifikasi bahwa penagihan diaktifkan untuk project Google Cloud Anda.

Aktifkan Managed Kafka API:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

gcloud services enable managedkafka.googleapis.com

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat cluster, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Editor Managed Kafka Cluster (roles/managedkafka.clusterEditor)
• Editor Topik Kafka Terkelola (roles/managedkafka.topicEditor)
• Compute Network User (roles/compute.networkUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat cluster

Konsol

1. Buka halaman Managed Service for Apache Kafka > Clusters.

   Buka Cluster

2. Klik Create.
3. Di kotak Nama cluster, masukkan nama untuk cluster.
4. Dalam daftar Region, pilih lokasi untuk cluster.
5. Untuk Network configuration, konfigurasikan subnet tempat cluster dapat diakses:
   1. Untuk Project, pilih project Anda.
   2. Untuk Network, pilih jaringan VPC.
   3. Untuk Subnet, pilih subnet.
   4. Klik Done.
6. Klik Create.

Setelah Anda mengklik Create, status cluster adalah Creating. Jika cluster sudah siap, statusnya adalah Active.

gcloud

Untuk membuat cluster Kafka, jalankan perintah managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Ganti kode berikut:

• KAFKA_CLUSTER: nama untuk cluster Kafka
• REGION: lokasi cluster
• PROJECT_ID: project ID Anda
• SUBNET_NAME: subnet tempat Anda ingin membuat cluster, misalnya default

Untuk mengetahui informasi tentang lokasi yang didukung, lihat Lokasi Managed Service for Apache Kafka.

Perintah berjalan secara asinkron dan menampilkan ID operasi:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Untuk melacak progres operasi pembuatan, gunakan perintah gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Setelah cluster siap, output dari perintah ini akan menyertakan entri state: ACTIVE. Untuk mengetahui informasi selengkapnya, lihat Memantau operasi pembuatan cluster.

Setelah Anda mengikuti langkah-langkah ini, perlu waktu hingga 30 menit agar cluster siap.

Atau, sambil menunggu operasi ini selesai, lihat tutorial yang tercantum di bagian Langkah berikutnya. Contoh ini menunjukkan cara membuat pesan untuk cluster menggunakan berbagai metode. Setelah cluster siap, Anda dapat menyelesaikan salah satu tutorial tersebut.

Membuat topik

Setelah cluster Managed Service for Apache Kafka siap, buat topik.

Konsol

1. Buka halaman Managed Service for Apache Kafka > Clusters.

   Buka Cluster

2. Klik nama cluster.

3. Di halaman detail cluster, klik Create Topic.

4. Di kotak Nama topik, masukkan nama untuk topik.

5. Klik Create.

gcloud

Untuk membuat topik Kafka, jalankan perintah managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Ganti kode berikut:

• KAFKA_TOPIC_NAME: nama topik Kafka yang akan dibuat
• KAFKA_CLUSTER: nama cluster Kafka
• REGION: region tempat Anda membuat cluster Kafka

Melihat cluster

Setelah cluster siap, Anda dapat melihat informasi tentang cluster, termasuk topik, grup konsumen, jaringan, dan detail lainnya.

Konsol

1. Buka halaman Managed Service for Apache Kafka > Clusters.

   Buka Cluster

2. Klik nama cluster. Halaman Cluster details menampilkan informasi tentang cluster. Tab Resources menampilkan resource yang terkait dengan cluster, termasuk topik.

3. Untuk melihat detail tentang topik, pilih tab Referensi dan klik nama topik. Halaman Detail topik menampilkan informasi tentang topik, seperti jumlah partisi dan replika.

4. Untuk kembali ke halaman Cluster details, klik Back to parent page.

gcloud

1. Untuk melihat informasi tentang cluster, jalankan perintah gcloud managed-kafka clusters describe.

   gcloud managed-kafka clusters describe KAFKA_CLUSTER \
     --location=REGION
   

   Ganti kode berikut:

   • KAFKA_CLUSTER: nama cluster
   • REGION: region tempat Anda membuat cluster

   Output perintah ini adalah daftar properti cluster, yang mirip dengan berikut:

   bootstrapAddress: BOOTSTRAP_ADDRESS
   capacityConfig:
     memoryBytes: '3221225472'
     vcpuCount: '3'
   createTime: 'TIMESTAMP'
   

2. Untuk mendapatkan daftar topik di cluster, jalankan perintah gcloud managed-kafka topics list.

   gcloud managed-kafka topics list KAFKA_CLUSTER \
     --location=REGION \
     --format="value(name)"
   

   Output mencakup topik yang Anda buat, serta topik yang dibuat Managed Service for Apache Kafka untuk penggunaan internal.

3. Untuk melihat informasi tentang topik, jalankan perintah gcloud managed-kafka topics describe.

   gcloud managed-kafka topics describe TOPIC_NAME \
     --cluster=KAFKA_CLUSTER \
     --location=REGION
   

   Ganti TOPIC_NAME dengan nama topik.

   Output perintah ini adalah daftar properti topik, yang mirip dengan berikut:

    name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
    partitionCount: 10
    replicationFactor: 3
   

Mendapatkan alamat bootstrap

Klien Kafka menggunakan alamat bootstrap cluster untuk membuat koneksi dengan cluster. Untuk mendapatkan alamat bootstrap, lakukan langkah-langkah berikut:

Konsol

1. Buka halaman Managed Service for Apache Kafka > Clusters.

   Buka Cluster

2. Klik nama cluster.

3. Pilih tab Configurations.

4. URL bootstrap tercantum di bagian Bootstrap URL. Klik Salin untuk menyalin nilai.

gcloud

Untuk mendapatkan URL bootstrap, jalankan perintah managed-kafka clusters describe.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

Ganti kode berikut:

• KAFKA_CLUSTER: nama cluster
• REGION: region tempat Anda membuat cluster

Sekarang Anda siap mengirim pesan ke cluster. Untuk mengetahui informasi selengkapnya, lihat Langkah berikutnya dalam dokumen ini.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, hapus project Google Cloud yang berisi resource tersebut.

Konsol

Menghapus cluster.

1. Buka halaman Managed Service for Apache Kafka > Clusters.

   Buka Cluster

2. Pilih cluster Kafka, lalu klik Hapus.

gcloud

1. Untuk menghapus cluster, gunakan perintah gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete KAFKA_CLUSTER \
     --location=REGION --async
   

Langkah berikutnya

Buat pesan untuk Kafka, baik dengan menggunakan alat command line Kafka, atau dengan membuat aplikasi klien:

• Menggunakan alat command line Kafka

• Mengembangkan aplikasi produser Java

• Mengembangkan aplikasi produser Python