Mengembangkan aplikasi produsen Java

Mengembangkan aplikasi produsen Java

Pelajari cara mengembangkan aplikasi produsen Java yang melakukan autentikasi dengan cluster Managed Service untuk Apache Kafka menggunakan Kredensial Default Aplikasi (ADC). ADC memungkinkan aplikasi yang berjalan di Google Cloud untuk otomatis menemukan dan menggunakan kredensial yang tepat untuk melakukan autentikasi ke Google Cloud layanan.

Sebelum memulai

Sebelum memulai tutorial ini, buat cluster Managed Service untuk Apache Kafka baru. Jika sudah memiliki cluster, Anda dapat melewati langkah ini.

Cara membuat cluster

Konsol

1. Buka halaman Managed Service untuk Apache Kafka > Clusters.

   Buka Cluster

2. Klik Create.
3. Di kotak Cluster name, masukkan nama untuk cluster.
4. Dalam daftar Region, pilih lokasi untuk cluster.
5. Untuk Network configuration, konfigurasi subnet tempat cluster dapat diakses:
   1. Untuk Project, pilih project Anda.
   2. Untuk Network, pilih jaringan VPC.
   3. Untuk Subnet, pilih subnet.
   4. Klik Done.
6. Klik Create.

Setelah Anda mengklik Create, status cluster adalah Creating. Saat cluster siap, statusnya adalah Active.

gcloud

Untuk membuat cluster Kafka, jalankan perintah managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Ganti kode berikut:

• KAFKA_CLUSTER: nama untuk cluster Kafka
• REGION: lokasi cluster
• PROJECT_ID: project ID Anda
• SUBNET_NAME: subnet tempat Anda ingin membuat cluster, misalnya default

Untuk mengetahui informasi tentang lokasi yang didukung, lihat Lokasi Managed Service untuk Apache Kafka.

Perintah ini berjalan secara asinkron dan menampilkan ID operasi:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Untuk melacak progres operasi pembuatan, gunakan perintah gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Saat cluster siap, output dari perintah ini akan menyertakan entri state: ACTIVE. Untuk mengetahui informasi selengkapnya, lihat Memantau operasi pembuatan cluster.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat dan mengonfigurasi VM klien, minta administrator untuk memberi Anda peran IAM berikut pada project:

• Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1)
• Project IAM Admin (roles/resourcemanager.projectIamAdmin)
• Role Viewer (roles/iam.roleViewer)
• Service Account User (roles/iam.serviceAccountUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat VM klien

Buat instance virtual machine (VM) Linux di Compute Engine yang dapat mengakses cluster Kafka. Saat mengonfigurasi VM, tetapkan opsi berikut:

• Region. Buat VM di region yang sama dengan cluster Kafka Anda.

• Subnet. Buat VM di jaringan VPC yang sama dengan subnet yang Anda gunakan dalam konfigurasi cluster Kafka. Untuk mengetahui informasi selengkapnya, lihat Melihat subnet cluster.

• Access scopes. Tetapkan https://www.googleapis.com/auth/cloud-platform cakupan akses ke VM. Cakupan ini mengotorisasi VM untuk mengirim permintaan ke Managed Kafka API.

Langkah-langkah berikut menunjukkan cara menetapkan opsi ini.

Konsol

1. Di Google Cloud konsol, buka halaman Create an instance.

   Membuat instance

2. Di panel Machine configuration, lakukan hal berikut:

   1. Di kolom Name, tentukan nama untuk instance Anda. Untuk mengetahui informasi selengkapnya, lihat Konvensi penamaan resource.

   2. Dalam daftar Region, pilih region yang sama dengan cluster Kafka Anda.

   3. Dalam daftar Zone, pilih zona.

3. Di menu navigasi, klik Networking. Di panel Networking yang muncul, lakukan hal berikut:

   1. Buka bagian Network interfaces.

   2. Untuk meluaskan antarmuka jaringan default, klik the arrow.

   3. Di kolom Network, pilih jaringan VPC.

   4. Dalam daftar Subnetwork, pilih subnet.

   5. Klik Done.

4. Di menu navigasi, klik Security. Di panel Security yang muncul, lakukan hal berikut:

   1. Untuk Access scopes, pilih Set access for each API.

   2. Dalam daftar cakupan akses, temukan menu drop-down Cloud Platform dan pilih Enabled.

5. Klik Create untuk membuat VM.

gcloud

Untuk membuat instance VM, gunakan gcloud compute instances create perintah.

gcloud compute instances create VM_NAME \
  --scopes=https://www.googleapis.com/auth/cloud-platform \
  --subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET \
  --zone=ZONE

Ganti kode berikut:

• VM_NAME: nama VM
• PROJECT_ID: project ID Anda
• REGION: region tempat Anda membuat cluster Kafka, misalnya us-central1
• SUBNET: subnet di jaringan VPC yang sama dengan subnet yang Anda gunakan dalam konfigurasi cluster
• ZONE: zona di region tempat Anda membuat cluster, misalnya us-central1-c

Untuk mengetahui informasi selengkapnya tentang cara membuat VM, lihat Membuat instance VM di subnet tertentu.

Memberikan peran IAM

Berikan peran Identity and Access Management (IAM) berikut ke akun layanan default Compute Engine:

• Managed Kafka Client (roles/managedkafka.client)
• Service Account Token Creator (roles/iam.serviceAccountTokenCreator)

• Service Account OpenID Token Creator (roles/iam.serviceAccountOpenIdTokenCreator)

Konsol

1. Di Google Cloud konsol, buka halaman IAM.

   Buka IAM

2. Temukan baris untuk Compute Engine default service account , lalu klik Edit principal.

3. Klik Add another role , lalu pilih peran Managed Kafka Client. Ulangi langkah ini untuk peran Service Account Token Creator dan Service Account OpenID Token Creator.

4. Klik Save.

gcloud

Untuk memberikan peran IAM, gunakan gcloud projects add-iam-policy-binding perintah.

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:[e-mail]" \
  --role=roles/managedkafka.client

gcloud projects add-iam-policy-binding PROJECT_ID\
  --member="serviceAccount:[e-mail]" \
  --role=roles/iam.serviceAccountTokenCreator

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:[e-mail]" \
  --role=roles/iam.serviceAccountOpenIdTokenCreator

Ganti kode berikut:

• PROJECT_ID: project ID Anda

• PROJECT_NUMBER: nomor project Anda

Untuk mendapatkan nomor project, jalankan perintah gcloud projects describe:

gcloud projects describe PROJECT_ID

Untuk mengetahui informasi selengkapnya, lihat Menemukan nama, nomor, dan ID project.

Terhubung ke VM

Gunakan SSH untuk terhubung ke instance VM.

Konsol

1. Buka halaman VM instances.

   Buka instance VM

2. Dalam daftar instance VM, temukan nama VM, lalu klik SSH.

gcloud

Untuk terhubung ke VM, gunakan perintah gcloud compute ssh.

gcloud compute ssh VM_NAME \
  --project=PROJECT_ID \
  --zone=ZONE

Ganti kode berikut:

• VM_NAME: nama VM
• PROJECT_ID: project ID Anda
• ZONE: zona tempat Anda membuat VM

Konfigurasi tambahan mungkin diperlukan untuk penggunaan SSH pertama kali. Untuk mengetahui informasi selengkapnya, lihat Tentang koneksi SSH.

Menyiapkan project Apache Maven

Dari sesi SSH Anda, jalankan perintah berikut untuk menyiapkan project Maven.

1. Instal Java dan Maven dengan perintah: sudo apt-get install maven openjdk-17-jdk.

   Catatan: Penginstalan OpenJDK mungkin memerlukan waktu lebih dari 5 menit, dan mungkin tampak macet. Anda dapat mencoba menghentikan penginstalan dengan Ctrl+C. Dalam sebagian besar kasus, paket yang diperlukan akan diinstal meskipun prosesnya terganggu. Untuk mengonfirmasi penginstalan berhasil, lanjutkan ke langkah berikutnya.

2. Siapkan project Apache Maven.

   Perintah ini akan membuat paket com.google.example di direktori bernama demo.

   mvn archetype:generate -DartifactId=demo -DgroupId=com.google.example\
      -DarchetypeArtifactId=maven-archetype-quickstart\
      -DarchetypeVersion=1.5 -DinteractiveMode=false
   

3. Ubah ke direktori project dengan cd demo.

Membuat aplikasi produsen Java

Bagian ini memandu Anda membuat aplikasi Java yang menghasilkan pesan ke topik Kafka. Tulis dan kompilasi kode Java menggunakan Maven, konfigurasi parameter yang diperlukan dalam file kafka-client.properties, lalu jalankan aplikasi Anda untuk mengirim pesan.

Menulis kode Produsen

Ganti kode di src/main/java/com/google/example/App.java dengan kode berikut:

  package com.google.example;

  import java.util.Properties;
  import org.apache.kafka.clients.producer.KafkaProducer;
  import org.apache.kafka.clients.producer.ProducerRecord;
  import org.apache.kafka.clients.producer.RecordMetadata;
  import org.apache.kafka.clients.producer.Callback;


  class SendCallback implements Callback {
          public void onCompletion(RecordMetadata m, Exception e){
              if (e == null){
                System.out.println("Produced a message successfully.");
              } else {
                System.out.println(e.getMessage());
              }
          }
  }

  public class App {
      public static void main(String[] args) throws Exception {
          Properties p = new Properties();
          p.load(new java.io.FileReader("kafka-client.properties"));

          KafkaProducer producer = new KafkaProducer(p);
          ProducerRecord message = new ProducerRecord("topicName", "key", "value");
          SendCallback callback = new SendCallback();
          producer.send(message,callback);
          producer.close();
      }
  }

Mengompilasi aplikasi

Untuk mengompilasi aplikasi ini, Anda memerlukan paket yang terkait dengan klien Kafka secara umum dan logika autentikasi khusus untuk Google Cloud.

1. Di direktori project demo, Anda akan menemukan pom.xml dengan konfigurasi Maven untuk project ini. Tambahkan baris berikut ke <dependencies> bagian dari pom.xml.

   <dependency>
       <groupId>org.apache.kafka</groupId>
       <artifactId>kafka-clients</artifactId>
       <version>3.7.2</version>
   </dependency>
   <dependency>
       <groupId>com.google.cloud.hosted.kafka</groupId>
       <artifactId>managed-kafka-auth-login-handler</artifactId>
       <version>1.0.5</version>
   </dependency>
   

2. Kompilasi aplikasi dengan mvn compile.

Mengonfigurasi dan menjalankan aplikasi

1. Produsen mengharapkan parameter konfigurasi klien dalam file bernama kafka-client.properties. Buat file ini di direktori project demo (direktori yang berisi pom.xml) dengan konten berikut:

   bootstrap.servers=bootstrap.CLUSTER_ID.REGION.managedkafka.PROJECT_ID.cloud.goog:9092
   value.serializer=org.apache.kafka.common.serialization.StringSerializer
   key.serializer=org.apache.kafka.common.serialization.StringSerializer
   security.protocol=SASL_SSL
   sasl.mechanism=OAUTHBEARER
   sasl.login.callback.handler.class=com.google.cloud.hosted.kafka.auth.GcpLoginCallbackHandler
   sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;
   

2. Sekarang Anda siap menjalankan aplikasi:

   mvn exec:java -Dexec.mainClass="com.google.example.App" --quiet
   

Pembersihan

Agar akunAnda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut. Google Cloud

Konsol

1. Hapus instance VM.

   1. Buka halaman VM instances.

      Buka instance VM

   2. Pilih VM, lalu klik Delete.

2. Hapus cluster Kafka.

   1. Buka halaman Managed Service untuk Apache Kafka > Clusters.

      Buka Cluster

   2. Pilih cluster Kafka, lalu klik Delete.

gcloud

1. Untuk menghapus VM, gunakan gcloud compute instances delete perintah.

   gcloud compute instances delete VM_NAME --zone=ZONE
   

2. Untuk menghapus cluster Kafka, gunakan gcloud managed-kafka clusters delete perintah.

   gcloud managed-kafka clusters delete CLUSTER_ID \
     --location=REGION --async
   

Langkah berikutnya

• Menggunakan registry skema untuk menghasilkan pesan Avro.

• Ringkasan Managed Service untuk Apache Kafka.

• Melakukan autentikasi ke Managed Kafka API.

Apache Kafka® adalah merek dagang terdaftar dari The Apache Software Foundation atau afiliasinya di Amerika Serikat dan/atau negara lain.