Sviluppare un'applicazione producer Java

Scopri come sviluppare un'applicazione producer Java che esegue l'autenticazione con un cluster Managed Service per Apache Kafka utilizzando le credenziali predefinite dell'applicazione (ADC). Le credenziali predefinite dell'applicazione consentono alle applicazioni in esecuzione su Google Cloud di trovare e utilizzare automaticamente le credenziali giuste per l'autenticazione ai servizi Google Cloud .

Prima di iniziare

Prima di iniziare questo tutorial, crea un nuovo cluster Managed Service per Apache Kafka. Se hai già un cluster, puoi saltare questo passaggio.

Come creare un cluster

Console

Vai alla pagina Managed Service per Apache Kafka > Cluster.
Vai a Cluster
Fai clic su Crea.
Nella casella Nome del cluster, inserisci un nome per il cluster.
Nell'elenco Regione, seleziona una località per il cluster.
Per Configurazione di rete, configura la subnet in cui è accessibile il cluster:
1. Per Progetto, seleziona il tuo progetto.
2. In Rete, seleziona la rete VPC.
3. In Subnet, seleziona la subnet.
4. Fai clic su Fine.
Fai clic su Crea.

Dopo aver fatto clic su Crea, lo stato del cluster è Creating. Quando il cluster è pronto, lo stato è Active.

gcloud

Per creare un cluster Kafka, esegui il comando managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Sostituisci quanto segue:

KAFKA_CLUSTER: un nome per il cluster Kafka
REGION: la posizione del cluster
PROJECT_ID: il tuo ID progetto
SUBNET_NAME: la subnet in cui vuoi creare il cluster, ad esempio default

Per informazioni sulle località supportate, consulta Località di Managed Service per Apache Kafka.

Il comando viene eseguito in modo asincrono e restituisce un ID operazione:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Per monitorare l'avanzamento dell'operazione di creazione, utilizza il comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Quando il cluster è pronto, l'output di questo comando include la voce state: ACTIVE. Per saperne di più, consulta Monitorare l'operazione di creazione del cluster.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare e configurare una VM client, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1)
Project IAM Admin (roles/resourcemanager.projectIamAdmin)
Role Viewer (roles/iam.roleViewer)
Utente Service Account (roles/iam.serviceAccountUser)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea una VM client

Crea un'istanza di macchina virtuale (VM) Linux in Compute Engine che possa accedere al cluster Kafka. Quando configuri la VM, imposta le seguenti opzioni:

Regione. Crea la VM nella stessa regione del cluster Kafka.
Subnet. Crea la VM nella stessa rete VPC della subnet che hai utilizzato nella configurazione del cluster Kafka. Per saperne di più, consulta Visualizzare le subnet di un cluster.
Ambiti di accesso. Assegna l'https://www.googleapis.com/auth/cloud-platform ambito di accesso alla VM. Questo ambito autorizza la VM a inviare richieste all'API Managed Kafka.

I seguenti passaggi mostrano come impostare queste opzioni.

Console

Nella console Google Cloud , vai alla pagina Crea un'istanza.

Crea un'istanza
Nel riquadro Configurazione macchina, segui questi passaggi:
1. Nel campo Nome, specifica un nome per l'istanza. Per ulteriori informazioni, consulta le convenzioni per la denominazione delle risorse.
2. Nell'elenco Regione, seleziona la stessa regione del cluster Kafka.
3. Nell'elenco Zona, seleziona una zona.
Nel menu di navigazione, fai clic su Networking. Nel riquadro Networking visualizzato, segui questi passaggi:
1. Vai alla sezione Interfacce di rete.
2. Per espandere l'interfaccia di rete predefinita, fai clic sulla freccia .
3. Nel campo Rete, scegli la rete VPC.
4. Nell'elenco Subnet, seleziona la subnet.
5. Fai clic su Fine.
Nel menu di navigazione, fai clic su Sicurezza. Nel riquadro Sicurezza visualizzato, segui questi passaggi:
1. Per Ambiti di accesso, seleziona Imposta l'accesso per ogni API.
2. Nell'elenco degli ambiti di accesso, trova l'elenco a discesa Cloud Platform e seleziona Attivato.
Fai clic su Crea per creare la VM.

gcloud

Per creare l'istanza VM, utilizza il comando gcloud compute instances create.

gcloud compute instances create VM_NAME \
  --scopes=https://www.googleapis.com/auth/cloud-platform \
  --subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET \
  --zone=ZONE

Sostituisci quanto segue:

VM_NAME: il nome della VM
PROJECT_ID: il tuo ID progetto
REGION: la regione in cui hai creato il cluster Kafka, ad esempio us-central1
SUBNET: una subnet nella stessa rete VPC della subnet che hai utilizzato nella configurazione del cluster
ZONE: una zona nella regione in cui hai creato il cluster, ad esempio us-central1-c

Per saperne di più sulla creazione di una VM, consulta Crea un'istanza VM in una subnet specifica.

Concedi ruoli IAM

Concedi i seguenti ruoli Identity and Access Management (IAM) all'account di servizio predefinito di Compute Engine:

Managed Kafka Client (roles/managedkafka.client)
Creatore token service account (roles/iam.serviceAccountTokenCreator)
Service Account OpenID Token Creator (roles/iam.serviceAccountOpenIdTokenCreator)

Console

Nella console Google Cloud , vai alla pagina IAM.

Vai a IAM
Trova la riga relativa all'account di servizio predefinito di Compute Engine e fai clic su Modifica entità.
Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Client Kafka gestito. Ripeti questo passaggio per i ruoli Creatore token account di servizio e Creatore token OpenID per account di servizio.
Fai clic su Salva.

gcloud

Per concedere ruoli IAM, utilizza il comando gcloud projects add-iam-policy-binding.

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
  --role=roles/managedkafka.client

gcloud projects add-iam-policy-binding PROJECT_ID\
  --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
  --role=roles/iam.serviceAccountTokenCreator

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
  --role=roles/iam.serviceAccountOpenIdTokenCreator

Sostituisci quanto segue:

PROJECT_ID: il tuo ID progetto
PROJECT_NUMBER: il numero di progetto

Per ottenere il numero di progetto, esegui il comando gcloud projects describe:

gcloud projects describe PROJECT_ID

Per saperne di più, consulta Trovare il nome, il numero e l'ID del progetto.

Connettiti alla VM

Utilizza SSH per connetterti all'istanza VM.

Console

Vai alla pagina Istanze VM.

Vai a Istanze VM
Nell'elenco delle istanze VM, individua il nome della VM e fai clic su SSH.

gcloud

Per connetterti alla VM, utilizza il comando gcloud compute ssh.

gcloud compute ssh VM_NAME \
  --project=PROJECT_ID \
  --zone=ZONE

Sostituisci quanto segue:

VM_NAME: il nome della VM
PROJECT_ID: il tuo ID progetto
ZONE: la zona in cui hai creato la VM

Potrebbe essere necessaria una configurazione aggiuntiva per il primo utilizzo di SSH. Per saperne di più, consulta Informazioni sulle connessioni SSH.

Configura un progetto Apache Maven

Dalla sessione SSH, esegui questi comandi per configurare un progetto Maven.

Installa Java e Maven con il comando: sudo apt-get install maven openjdk-17-jdk.

Nota: l'installazione di OpenJDK potrebbe richiedere più di 5 minuti e potrebbe sembrare bloccata. Puoi provare a interrompere l'installazione con Ctrl+C. Nella maggior parte dei casi, i pacchetti necessari vengono installati anche se il processo viene interrotto. Per confermare l'installazione corretta, vai al passaggio successivo.

Configura un progetto Apache Maven.

Questo comando crea un pacchetto com.google.example in una directory denominata demo.

mvn archetype:generate -DartifactId=demo -DgroupId=com.google.example\
   -DarchetypeArtifactId=maven-archetype-quickstart\
   -DarchetypeVersion=1.5 -DinteractiveMode=false

Passa alla directory del progetto con cd demo.

Crea un'applicazione di produzione Java

Questa sezione ti guida nella creazione di un'applicazione Java che produce messaggi in un argomento Kafka. Scrivi e compila il codice Java utilizzando Maven, configura i parametri necessari in un file kafka-client.properties, quindi esegui l'applicazione per inviare i messaggi.

Scrivi il codice del produttore

Sostituisci il codice in src/main/java/com/google/example/App.java con il seguente:

  package com.google.example;

  import java.util.Properties;
  import org.apache.kafka.clients.producer.KafkaProducer;
  import org.apache.kafka.clients.producer.ProducerRecord;
  import org.apache.kafka.clients.producer.RecordMetadata;
  import org.apache.kafka.clients.producer.Callback;


  class SendCallback implements Callback {
          public void onCompletion(RecordMetadata m, Exception e){
              if (e == null){
                System.out.println("Produced a message successfully.");
              } else {
                System.out.println(e.getMessage());
              }
          }
  }

  public class App {
      public static void main(String[] args) throws Exception {
          Properties p = new Properties();
          p.load(new java.io.FileReader("kafka-client.properties"));

          KafkaProducer producer = new KafkaProducer(p);
          ProducerRecord message = new ProducerRecord("topicName", "key", "value");
          SendCallback callback = new SendCallback();
          producer.send(message,callback);
          producer.close();
      }
  }

Compilare l'applicazione

Per compilare questa applicazione, hai bisogno di pacchetti correlati ai client Kafka in generale e alla logica di autenticazione specifica per Google Cloud.

Nella directory del progetto demo, trovi pom.xml con le configurazioni Maven per questo progetto. Aggiungi le seguenti righe alla sezione <dependencies> di pom.xml.

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.7.2</version>
</dependency>
<dependency>
    <groupId>com.google.cloud.hosted.kafka</groupId>
    <artifactId>managed-kafka-auth-login-handler</artifactId>
    <version>1.0.5</version>
</dependency>

Compila l'applicazione con mvn compile.

Configura ed esegui l'applicazione

Il produttore prevede parametri di configurazione del client in un file denominato kafka-client.properties. Crea questo file nella directory del progetto demo (la directory contenente pom.xml) con il seguente contenuto:

bootstrap.servers=bootstrap.CLUSTER_ID.REGION.managedkafka.PROJECT_ID.cloud.goog:9092
value.serializer=org.apache.kafka.common.serialization.StringSerializer
key.serializer=org.apache.kafka.common.serialization.StringSerializer
security.protocol=SASL_SSL
sasl.mechanism=OAUTHBEARER
sasl.login.callback.handler.class=com.google.cloud.hosted.kafka.auth.GcpLoginCallbackHandler
sasl.jaas.config=org.apache.kafka.common.security.oauthbearer.OAuthBearerLoginModule required;

Ora puoi eseguire l'applicazione:

mvn exec:java -Dexec.mainClass="com.google.example.App" --quiet

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Console

Elimina l'istanza VM.
1. Vai alla pagina Istanze VM.
  
  Vai a Istanze VM
2. Seleziona la VM e fai clic su Elimina.
Elimina il cluster Kafka.
1. Vai alla pagina Managed Service per Apache Kafka > Cluster.
  
  Vai a Cluster
2. Seleziona il cluster Kafka e fai clic su Elimina.

gcloud

Per eliminare la VM, utilizza il comando gcloud compute instances delete.
```
gcloud compute instances delete VM_NAME --zone=ZONE
```

Per eliminare il cluster Kafka, utilizza il comando gcloud managed-kafka clusters delete.

gcloud managed-kafka clusters delete CLUSTER_ID \
  --location=REGION --async

Passaggi successivi

Apache Kafka® è un marchio registrato di Apache Software Foundation o delle sue affiliate negli Stati Uniti e/o in altri paesi.