Mencadangkan pesan Kafka ke Cloud Storage

Tutorial ini menunjukkan cara menulis pesan dari cluster Managed Service untuk Apache Kafka ke Cloud Storage menggunakan Kafka Connect.

Kafka Connect mengelola pergerakan data antara cluster Kafka Anda dan sistem lainnya. Dalam tutorial ini, Anda akan membuat cluster Connect dan konektor Cloud Storage Sink. Konektor Cloud Storage Sink membaca pesan dari Kafka dan menulisnya ke bucket Cloud Storage.

Anda juga dapat menggunakan Dataflow untuk skenario ini. Untuk mengetahui informasi tentang cara memilih antara Kafka Connect dan Dataflow, lihat Mengintegrasikan Managed Service untuk Apache Kafka dengan layanan Google Cloud lain.

Sebelum memulai

Konsol

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Pastikan Anda memiliki peran berikut di project: Managed Kafka Cluster Editor, Managed Kafka Connect Cluster Editor, Managed Kafka Connector Editor, Managed Kafka Topic Editor, Storage Admin

    Memeriksa peran

    1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM
    2. Pilih project.
    3. Di kolom Principal, temukan semua baris yang mengidentifikasi Anda atau grup yang mencakup Anda. Untuk mengetahui grup tempat Anda disertakan, hubungi administrator Anda.

    4. Untuk semua baris yang menentukan atau menyertakan Anda, periksa kolom Peran untuk melihat apakah daftar peran menyertakan peran yang diperlukan.

    Memberikan peran

    1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM
    2. Pilih project.
    3. Klik Grant access.
    4. Di kolom New principals, masukkan ID pengguna Anda. Biasanya, ini adalah alamat email untuk Akun Google.

    5. Klik Select a role, lalu telusuri peran.
    6. Untuk memberikan peran tambahan, klik Add another role, lalu tambahkan tiap peran tambahan.
    7. Klik Simpan.

gcloud

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. Instal Google Cloud CLI.

  3. Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  4. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

    gcloud init
  5. Buat atau pilih project Google Cloud .

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
    • Buat project Google Cloud :

      gcloud projects create PROJECT_ID

      Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

    • Pilih project Google Cloud yang Anda buat:

      gcloud config set project PROJECT_ID

      Ganti PROJECT_ID dengan nama project Google Cloud Anda.

  6. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

  7. Aktifkan Managed Kafka API, jika belum diaktifkan:

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    gcloud services enable managedkafka.googleapis.com
  8. Instal Google Cloud CLI.

  9. Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

  10. Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

    gcloud init
  11. Buat atau pilih project Google Cloud .

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.
    • Buat project Google Cloud :

      gcloud projects create PROJECT_ID

      Ganti PROJECT_ID dengan nama untuk Google Cloud project yang Anda buat.

    • Pilih project Google Cloud yang Anda buat:

      gcloud config set project PROJECT_ID

      Ganti PROJECT_ID dengan nama project Google Cloud Anda.

  12. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

  13. Aktifkan Managed Kafka API, jika belum diaktifkan:

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    gcloud services enable managedkafka.googleapis.com
  14. Berikan peran ke akun pengguna Anda. Jalankan perintah berikut satu kali untuk setiap peran IAM berikut: roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/storage.admin

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Ganti kode berikut:

    • PROJECT_ID: Project ID Anda.
    • USER_IDENTIFIER: ID untuk akun pengguna Anda. Misalnya, myemail@example.com.
    • ROLE: Peran IAM yang Anda berikan ke akun pengguna Anda.

Membuat bucket Cloud Storage

Pada langkah ini, Anda akan membuat bucket Cloud Storage. Bucket ini menyimpan data yang dibaca oleh konektor Cloud Storage Sink dari Kafka.

Konsol

  1. Buka halaman Cloud Storage > Buckets.

    Buka Buckets

  2. Klik Create.

  3. Di halaman Create a bucket, masukkan nama yang memenuhi persyaratan penamaan bucket. Nama bucket Cloud Storage harus unik secara global.

  4. Klik Create.

gcloud

Untuk membuat bucket Cloud Storage, jalankan perintah gcloud storage buckets create.

gcloud storage buckets create gs://BUCKET_NAME --location=BUCKET_LOCATION

Ganti kode berikut:

  • BUCKET_NAME: nama untuk bucket Cloud Storage Anda yang memenuhi persyaratan penamaan bucket. Nama bucket Cloud Storage harus unik secara global.

  • BUCKET_LOCATION: lokasi untuk bucket. Contoh, US.

Membuat resource Managed Service untuk Apache Kafka

Di bagian ini, Anda akan membuat resource Managed Service untuk Apache Kafka berikut:

  • Cluster Kafka dengan topik.
  • Cluster Connect dengan konektor Cloud Storage Sink.

Membuat cluster Kafka

Pada langkah ini, Anda akan membuat cluster Managed Service untuk Apache Kafka. Pembuatan cluster dapat memerlukan waktu hingga 30 menit.

Konsol

  1. Buka halaman Managed Service for Apache Kafka > Clusters.

    Buka Cluster

  2. Klik Create.
  3. Di kotak Cluster name, masukkan nama untuk cluster.
  4. Dalam daftar Region, pilih lokasi untuk cluster.
  5. Untuk Network configuration, konfigurasikan subnet tempat cluster dapat diakses:
    1. Untuk Project, pilih project Anda.
    2. Untuk Network, pilih jaringan VPC.
    3. Untuk Subnet, pilih subnet.
    4. Klik Done.
  6. Klik Create.

Setelah Anda mengklik Create, status cluster adalah Creating. Saat cluster sudah siap, statusnya adalah Active.

gcloud

Untuk membuat cluster Kafka, jalankan perintah managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Ganti kode berikut:

  • KAFKA_CLUSTER: nama untuk cluster Kafka
  • REGION: lokasi cluster
  • PROJECT_ID: project ID Anda
  • SUBNET_NAME: subnet tempat Anda ingin membuat cluster, misalnya default

Untuk mengetahui informasi tentang lokasi yang didukung, lihat Lokasi Managed Service untuk Apache Kafka.

Perintah ini berjalan secara asinkron dan menampilkan ID operasi:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Untuk melacak progres operasi pembuatan, gunakan perintah gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Jika cluster sudah siap, output dari perintah ini akan menyertakan entri state: ACTIVE. Untuk mengetahui informasi selengkapnya, lihat Memantau operasi pembuatan cluster.

Membuat topik Kafka

Setelah cluster Managed Service untuk Apache Kafka dibuat, buat topik Kafka.

Konsol

  1. Buka halaman Managed Service for Apache Kafka > Clusters.

    Buka Cluster

  2. Klik nama cluster.

  3. Di halaman detail cluster, klik Create Topic.

  4. Di kotak Topic name, masukkan nama untuk topik.

  5. Klik Create.

gcloud

Untuk membuat topik Kafka, jalankan perintah managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Ganti kode berikut:

  • KAFKA_TOPIC_NAME: nama topik Kafka yang akan dibuat
  • KAFKA_CLUSTER: nama cluster Kafka
  • REGION: region tempat Anda membuat cluster Kafka

Membuat cluster Connect

Pada langkah ini, Anda akan membuat cluster Connect. Pembuatan cluster Connect dapat memerlukan waktu hingga 30 menit.

Sebelum memulai langkah ini, pastikan cluster Managed Service untuk Apache Kafka telah dibuat sepenuhnya.

Konsol

  1. Buka halaman Managed Service for Apache Kafka > Connect Clusters.

    Buka Connect Clusters

  2. Klik Create.

  3. Untuk Connect cluster name, masukkan string. Contoh: my-connect-cluster.

  4. Untuk Primary Kafka cluster, pilih Kafka yang Anda buat sebelumnya.

  5. Klik Create.

Saat cluster sedang dibuat, status cluster adalah Creating. Setelah cluster selesai dibuat, statusnya adalah Active.

gcloud

Untuk membuat cluster Connect, jalankan perintah gcloud managed-kafka connect-clusters create.

gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
  --location=REGION \
  --cpu=12 \
  --memory=12GiB \
  --primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
  --kafka-cluster=KAFKA_CLUSTER \
  --async

Ganti kode berikut:

  • CONNECT_CLUSTER: nama untuk cluster Connect
  • REGION: region tempat Anda membuat cluster Kafka
  • PROJECT_ID: project ID Anda
  • SUBNET_NAME: subnet tempat Anda membuat cluster Kafka
  • KAFKA_CLUSTER: nama cluster Kafka Anda

Perintah ini berjalan secara asinkron dan menampilkan ID operasi:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Untuk melacak progres operasi pembuatan, gunakan perintah gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Untuk mengetahui informasi selengkapnya, lihat Memantau operasi pembuatan cluster.

Memberikan peran IAM

Berikan peran Identity and Access Management (IAM) Storage Object Creator ke akun layanan Managed Kafka. Peran ini memungkinkan konektor menulis file ke Cloud Storage.

Konsol

  1. Di konsol Google Cloud , buka halaman IAM.

    Buka IAM

  2. Pilih Sertakan pemberian peran yang disediakan Google.

  3. Temukan baris Managed Kafka Service Account, lalu klik Edit principal.

  4. Klik Add another role dan pilih peran Storage Object Creator.

  5. Klik Simpan.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Memberikan peran IAM menggunakan konsol.

gcloud

Untuk memberikan peran IAM ke akun layanan, jalankan perintah gcloud projects add-iam-policy-binding.

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
    --role=roles/storage.objectCreator

Ganti kode berikut:

  • PROJECT_ID: project ID Anda
  • PROJECT_NUMBER: nomor project Anda

Untuk menemukan nomor project Anda, gunakan perintah gcloud projects describe.

Membuat konektor Cloud Storage Sink

Pada langkah ini, Anda akan membuat konektor Cloud Storage Sink. Konektor ini membaca pesan dari satu atau beberapa topik Kafka dan menulisnya ke Cloud Storage.

Konsol

  1. Buka halaman Managed Service for Apache Kafka > Connect Clusters.

    Buka Connect Clusters

  2. Klik nama cluster Connect.

  3. Klik Create connector.

  4. Untuk Connector name, masukkan string. Contoh: pubsub-source.

  5. Di daftar Plugin konektor, pilih Cloud Storage Source.

  6. Untuk Topics, pilih topik Kafka yang Anda buat sebelumnya, lalu klik OK.

  7. Untuk GCS Bucket, klik Browse.

  8. Pilih bucket Cloud Storage yang Anda buat sebelumnya, lalu klik Select.

  9. Klik Create.

gcloud

Untuk membuat konektor Cloud Storage Sink, jalankan perintah gcloud managed-kafka connectors create.

gcloud managed-kafka connectors create STORAGE_CONNECTOR_NAME \
  --location=REGION \
  --connect-cluster=CONNECT_CLUSTER \
  --configs=connector.class=io.aiven.kafka.connect.gcs.GcsSinkConnector,\
file.name.prefix=,\
format.output.type=json,\
gcs.bucket.name=BUCKET_NAME,\
gcs.credentials.default=true,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
topics=KAFKA_TOPIC_NAME,\
value.converter=org.apache.kafka.connect.json.JsonConverter,\
value.converter.schemas.enable=false

Ganti kode berikut:

  • STORAGE_CONNECTOR_NAME: nama untuk konektor, seperti storage-sink-connector
  • CONNECT_CLUSTER: nama cluster Connect Anda
  • REGION: region tempat Anda membuat cluster Connect
  • PROJECT_ID: project ID Anda
  • BUCKET_NAME: nama bucket Cloud Storage Anda
  • KAFKA_TOPIC_NAME: nama topik Kafka Anda

Melihat hasilnya

Untuk melihat hasilnya, kirim pesan ke topik Kafka. Ada berbagai cara untuk mengirim pesan ke Managed Service untuk Apache Kafka, termasuk:

Konektor Cloud Storage Sink membaca pesan Kafka dan menulisnya ke file di Cloud Storage. Mungkin perlu waktu beberapa menit hingga file pertama ditulis.

Untuk melihat file output, lakukan langkah-langkah berikut.

Konsol

  1. Buka halaman Cloud Storage > Buckets.

Buka Buckets

  1. Dalam daftar bucket, klik nama bucket yang Anda buat sebelumnya.

  2. Jika konektor Cloud Storage Sink berhasil menulis file, file tersebut akan tercantum di halaman Bucket details. Pilih satu atau beberapa file.

  3. Klik Download untuk mendownload file yang dipilih.

gcloud

Untuk mencantumkan file output, jalankan perintah gcloud storage ls:

gcloud storage ls gs://BUCKET_NAME

Untuk mendownload file, jalankan perintah gcloud storage cp.

gcloud storage cp --recursive gs://BUCKET_NAME .

Ganti BUCKET_NAME dengan nama bucket Cloud Storage Anda.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Konsol

  1. Hapus bucket Cloud Storage.

    1. Buka halaman Cloud Storage > Buckets.

      Buka Buckets

    2. Pilih bucket, lalu klik Delete.

  2. Hapus cluster Connect.

    1. Buka halaman Managed Service for Apache Kafka > Connect Clusters.

      Buka Connect Clusters

    2. Pilih cluster Connect, lalu klik Delete.

  3. Hapus cluster Kafka.

    1. Buka halaman Managed Service for Apache Kafka > Clusters.

      Buka Cluster

    2. Pilih cluster Kafka, lalu klik Delete.

gcloud

  1. Untuk menghapus bucket Cloud Storage dan objeknya, gunakan perintah gcloud storage rm.

    gcloud storage rm gs://BUCKET_NAME --recursive
    
  2. Untuk menghapus cluster Connect, gunakan perintah gcloud managed-kafka connect-clusters delete.

    gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \
      --location=REGION --async
    
  3. Untuk menghapus cluster Kafka, gunakan perintah gcloud managed-kafka clusters delete.

    gcloud managed-kafka clusters delete KAFKA_CLUSTER \
      --location=REGION --async
    

Langkah berikutnya