Tutorial ini menunjukkan cara menulis pesan dari cluster Managed Service untuk Apache Kafka ke Cloud Storage menggunakan Kafka Connect.
Kafka Connect mengelola pergerakan data antara cluster Kafka Anda dan sistem lainnya. Dalam tutorial ini, Anda akan membuat cluster Connect dan konektor Cloud Storage Sink. Konektor Cloud Storage Sink membaca pesan dari Kafka dan menulisnya ke bucket Cloud Storage.
Anda juga dapat menggunakan Dataflow untuk skenario ini. Untuk mengetahui informasi tentang cara memilih antara Kafka Connect dan Dataflow, lihat Mengintegrasikan Managed Service untuk Apache Kafka dengan layanan Google Cloud lain.
Sebelum memulai
Konsol
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Pastikan Anda memiliki peran berikut di project: Managed Kafka Cluster Editor, Managed Kafka Connect Cluster Editor, Managed Kafka Connector Editor, Managed Kafka Topic Editor, Storage Admin
Memeriksa peran
-
Di konsol Google Cloud , buka halaman IAM.
Buka IAM - Pilih project.
-
Di kolom Principal, temukan semua baris yang mengidentifikasi Anda atau grup yang mencakup Anda. Untuk mengetahui grup tempat Anda disertakan, hubungi administrator Anda.
- Untuk semua baris yang menentukan atau menyertakan Anda, periksa kolom Peran untuk melihat apakah daftar peran menyertakan peran yang diperlukan.
Memberikan peran
-
Di konsol Google Cloud , buka halaman IAM.
Buka IAM - Pilih project.
- Klik Grant access.
-
Di kolom New principals, masukkan ID pengguna Anda. Biasanya, ini adalah alamat email untuk Akun Google.
- Klik Select a role, lalu telusuri peran.
- Untuk memberikan peran tambahan, klik Add another role, lalu tambahkan tiap peran tambahan.
- Klik Simpan.
-
gcloud
- Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
-
Instal Google Cloud CLI.
-
Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.
-
Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:
gcloud init -
Buat atau pilih project Google Cloud .
Peran yang diperlukan untuk memilih atau membuat project
- Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
-
Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator
(
roles/resourcemanager.projectCreator), yang berisi izinresourcemanager.projects.create. Pelajari cara memberikan peran.
-
Buat project Google Cloud :
gcloud projects create PROJECT_ID
Ganti
PROJECT_IDdengan nama untuk Google Cloud project yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_IDdengan nama project Google Cloud Anda.
-
Pastikan penagihan diaktifkan untuk project Google Cloud Anda.
Aktifkan Managed Kafka API, jika belum diaktifkan:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.gcloud services enable managedkafka.googleapis.com
-
Instal Google Cloud CLI.
-
Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.
-
Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:
gcloud init -
Buat atau pilih project Google Cloud .
Peran yang diperlukan untuk memilih atau membuat project
- Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
-
Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator
(
roles/resourcemanager.projectCreator), yang berisi izinresourcemanager.projects.create. Pelajari cara memberikan peran.
-
Buat project Google Cloud :
gcloud projects create PROJECT_ID
Ganti
PROJECT_IDdengan nama untuk Google Cloud project yang Anda buat. -
Pilih project Google Cloud yang Anda buat:
gcloud config set project PROJECT_ID
Ganti
PROJECT_IDdengan nama project Google Cloud Anda.
-
Pastikan penagihan diaktifkan untuk project Google Cloud Anda.
Aktifkan Managed Kafka API, jika belum diaktifkan:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.gcloud services enable managedkafka.googleapis.com
-
Berikan peran ke akun pengguna Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut:
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admingcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Ganti kode berikut:
PROJECT_ID: Project ID Anda.USER_IDENTIFIER: ID untuk akun pengguna Anda. Misalnya,myemail@example.com.ROLE: Peran IAM yang Anda berikan ke akun pengguna Anda.
Membuat bucket Cloud Storage
Pada langkah ini, Anda akan membuat bucket Cloud Storage. Bucket ini menyimpan data yang dibaca oleh konektor Cloud Storage Sink dari Kafka.
Konsol
Buka halaman Cloud Storage > Buckets.
Klik Create.
Di halaman Create a bucket, masukkan nama yang memenuhi persyaratan penamaan bucket. Nama bucket Cloud Storage harus unik secara global.
Klik Create.
gcloud
Untuk membuat bucket Cloud Storage, jalankan perintah
gcloud storage buckets create.
gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION
Ganti kode berikut:
BUCKET_NAME: nama untuk bucket Cloud Storage Anda yang memenuhi persyaratan penamaan bucket. Nama bucket Cloud Storage harus unik secara global.
BUCKET_LOCATION: lokasi untuk bucket. Contoh,
US.
Membuat resource Managed Service untuk Apache Kafka
Di bagian ini, Anda akan membuat resource Managed Service untuk Apache Kafka berikut:
- Cluster Kafka dengan topik.
- Cluster Connect dengan konektor Cloud Storage Sink.
Membuat cluster Kafka
Pada langkah ini, Anda akan membuat cluster Managed Service untuk Apache Kafka. Pembuatan cluster dapat memerlukan waktu hingga 30 menit.
Konsol
- Buka halaman Managed Service for Apache Kafka > Clusters.
- Klik Create.
- Di kotak Cluster name, masukkan nama untuk cluster.
- Dalam daftar Region, pilih lokasi untuk cluster.
-
Untuk Network configuration, konfigurasikan subnet tempat cluster dapat diakses:
- Untuk Project, pilih project Anda.
- Untuk Network, pilih jaringan VPC.
- Untuk Subnet, pilih subnet.
- Klik Done.
- Klik Create.
Setelah Anda mengklik Create, status cluster adalah Creating. Saat cluster
sudah siap, statusnya adalah Active.
gcloud
Untuk membuat cluster Kafka, jalankan perintah managed-kafka clusters
create.
gcloud managed-kafka clusters create KAFKA_CLUSTER \ --location=REGION \ --cpu=3 \ --memory=3GiB \ --subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --async
Ganti kode berikut:
KAFKA_CLUSTER: nama untuk cluster KafkaREGION: lokasi clusterPROJECT_ID: project ID AndaSUBNET_NAME: subnet tempat Anda ingin membuat cluster, misalnyadefault
Untuk mengetahui informasi tentang lokasi yang didukung, lihat Lokasi Managed Service untuk Apache Kafka.
Perintah ini berjalan secara asinkron dan menampilkan ID operasi:
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
Untuk melacak progres operasi pembuatan, gunakan perintah gcloud managed-kafka
operations describe:
gcloud managed-kafka operations describe OPERATION_ID \ --location=REGION
Jika cluster sudah siap, output dari perintah ini akan menyertakan entri state:
ACTIVE. Untuk mengetahui informasi selengkapnya, lihat
Memantau
operasi pembuatan cluster.
Membuat topik Kafka
Setelah cluster Managed Service untuk Apache Kafka dibuat, buat topik Kafka.
Konsol
Buka halaman Managed Service for Apache Kafka > Clusters.
Klik nama cluster.
Di halaman detail cluster, klik Create Topic.
Di kotak Topic name, masukkan nama untuk topik.
Klik Create.
gcloud
Untuk membuat topik Kafka, jalankan perintah managed-kafka topics create.
gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3
Ganti kode berikut:
KAFKA_TOPIC_NAME: nama topik Kafka yang akan dibuatKAFKA_CLUSTER: nama cluster KafkaREGION: region tempat Anda membuat cluster Kafka
Membuat cluster Connect
Pada langkah ini, Anda akan membuat cluster Connect. Pembuatan cluster Connect dapat memerlukan waktu hingga 30 menit.
Sebelum memulai langkah ini, pastikan cluster Managed Service untuk Apache Kafka telah dibuat sepenuhnya.
Konsol
Buka halaman Managed Service for Apache Kafka > Connect Clusters.
Klik Create.
Untuk Connect cluster name, masukkan string. Contoh:
my-connect-cluster.Untuk Primary Kafka cluster, pilih Kafka yang Anda buat sebelumnya.
Klik Create.
Saat cluster sedang dibuat, status cluster adalah Creating. Setelah
cluster selesai dibuat, statusnya adalah Active.
gcloud
Untuk membuat cluster Connect, jalankan perintah
gcloud managed-kafka connect-clusters create.
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--kafka-cluster=KAFKA_CLUSTER \
--async
Ganti kode berikut:
CONNECT_CLUSTER: nama untuk cluster ConnectREGION: region tempat Anda membuat cluster KafkaPROJECT_ID: project ID AndaSUBNET_NAME: subnet tempat Anda membuat cluster KafkaKAFKA_CLUSTER: nama cluster Kafka Anda
Perintah ini berjalan secara asinkron dan menampilkan ID operasi:
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
Untuk melacak progres operasi pembuatan, gunakan perintah
gcloud managed-kafka operations describe:
gcloud managed-kafka operations describe OPERATION_ID \
--location=REGION
Untuk mengetahui informasi selengkapnya, lihat Memantau operasi pembuatan cluster.
Memberikan peran IAM
Berikan peran Identity and Access Management (IAM) Storage Object Creator ke akun layanan Managed Kafka. Peran ini memungkinkan konektor menulis file ke Cloud Storage.
Konsol
Di konsol Google Cloud , buka halaman IAM.
Pilih Sertakan pemberian peran yang disediakan Google.
Temukan baris Managed Kafka Service Account, lalu klik Edit principal.
Klik Add another role dan pilih peran Storage Object Creator.
Klik Simpan.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Memberikan peran IAM menggunakan konsol.
gcloud
Untuk memberikan peran IAM ke akun layanan, jalankan perintah gcloud projects add-iam-policy-binding.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/storage.objectCreator
Ganti kode berikut:
PROJECT_ID: project ID AndaPROJECT_NUMBER: nomor project Anda
Untuk menemukan nomor project Anda, gunakan perintah
gcloud projects describe.
Membuat konektor Cloud Storage Sink
Pada langkah ini, Anda akan membuat konektor Cloud Storage Sink. Konektor ini membaca pesan dari satu atau beberapa topik Kafka dan menulisnya ke Cloud Storage.
Konsol
Buka halaman Managed Service for Apache Kafka > Connect Clusters.
Klik nama cluster Connect.
Klik Create connector.
Untuk Connector name, masukkan string. Contoh:
pubsub-source.Di daftar Plugin konektor, pilih
Cloud Storage Source.Untuk Topics, pilih topik Kafka yang Anda buat sebelumnya, lalu klik OK.
Untuk GCS Bucket, klik Browse.
Pilih bucket Cloud Storage yang Anda buat sebelumnya, lalu klik Select.
Klik Create.
gcloud
Untuk membuat konektor Cloud Storage Sink, jalankan perintah
gcloud managed-kafka connectors create.
gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
--location=REGION \
--connect-cluster=CONNECT_CLUSTER \
--configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false
Ganti kode berikut:
STORAGE_CONNECTOR_NAME: nama untuk konektor, sepertistorage-sink-connectorCONNECT_CLUSTER: nama cluster Connect AndaREGION: region tempat Anda membuat cluster ConnectPROJECT_ID: project ID AndaBUCKET_NAME: nama bucket Cloud Storage AndaKAFKA_TOPIC_NAME: nama topik Kafka Anda
Melihat hasilnya
Untuk melihat hasilnya, kirim pesan ke topik Kafka. Ada berbagai cara untuk mengirim pesan ke Managed Service untuk Apache Kafka, termasuk:
- Gunakan alat command line Kafka.
- Menggunakan produsen Java.
- Menggunakan produsen Python
- Melakukan streaming pesan dari Pub/Sub menggunakan Kafka Connect
Konektor Cloud Storage Sink membaca pesan Kafka dan menulisnya ke file di Cloud Storage. Mungkin perlu waktu beberapa menit hingga file pertama ditulis.
Untuk melihat file output, lakukan langkah-langkah berikut.
Konsol
- Buka halaman Cloud Storage > Buckets.
Dalam daftar bucket, klik nama bucket yang Anda buat sebelumnya.
Jika konektor Cloud Storage Sink berhasil menulis file, file tersebut akan tercantum di halaman Bucket details. Pilih satu atau beberapa file.
Klik Download untuk mendownload file yang dipilih.
gcloud
Untuk mencantumkan file output, jalankan perintah gcloud storage ls:
gcloud storage ls gs://BUCKET_NAME
Untuk mendownload file, jalankan perintah gcloud storage cp.
gcloud storage cp --recursive gs://BUCKET_NAME .
Ganti BUCKET_NAME dengan nama bucket Cloud Storage Anda.
Pembersihan
Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.
Konsol
Hapus bucket Cloud Storage.
Buka halaman Cloud Storage > Buckets.
Pilih bucket, lalu klik Delete.
Hapus cluster Connect.
Buka halaman Managed Service for Apache Kafka > Connect Clusters.
Pilih cluster Connect, lalu klik Delete.
Hapus cluster Kafka.
Buka halaman Managed Service for Apache Kafka > Clusters.
Pilih cluster Kafka, lalu klik Delete.
gcloud
Untuk menghapus bucket Cloud Storage dan objeknya, gunakan perintah
gcloud storage rm.gcloud storage rm gs://BUCKET_NAME --recursiveUntuk menghapus cluster Connect, gunakan perintah
gcloud managed-kafka connect-clusters delete.gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=REGION --asyncUntuk menghapus cluster Kafka, gunakan perintah
gcloud managed-kafka clusters delete.gcloud managed-kafka clusters delete KAFKA_CLUSTER \ --location=REGION --async
Langkah berikutnya
- Memecahkan masalah konektor Cloud Storage Sink.
- Pelajari lebih lanjut konektor Cloud Storage Sink.
- Pelajari lebih lanjut Kafka Connect.