Crea e visualizza un cluster Managed Service per Apache Kafka

Crea e visualizza un cluster Managed Service per Apache Kafka

Scopri come creare un cluster Managed Service per Apache Kafka con un argomento e visualizzare i dettagli del cluster. Per completare questo tutorial, puoi utilizzare la console Google Cloud o Google Cloud CLI.

Prima di iniziare

Console

Accedi al tuo Account Google.

Se non ne hai già uno, registrati per creare un nuovo account.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Managed Kafka API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

gcloud

Accedi al tuo Account Google.

Se non ne hai già uno, registrati per creare un nuovo account.

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

• Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
• Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

• Creare un progetto Google Cloud :

  gcloud projects create PROJECT_ID

  Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

• Seleziona il progetto Google Cloud che hai creato:

  gcloud config set project PROJECT_ID

  Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

Se utilizzi un progetto esistente per questa guida, verifica di disporre delle autorizzazioni necessarie per completare la guida. Se hai creato un nuovo progetto, disponi già delle autorizzazioni necessarie.

Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .

Abilita l'API Managed Kafka:

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

gcloud services enable managedkafka.googleapis.com

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

• Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
• Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

• Creare un progetto Google Cloud :

  gcloud projects create PROJECT_ID

  Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

• Seleziona il progetto Google Cloud che hai creato:

  gcloud config set project PROJECT_ID

  Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

Se utilizzi un progetto esistente per questa guida, verifica di disporre delle autorizzazioni necessarie per completare la guida. Se hai creato un nuovo progetto, disponi già delle autorizzazioni necessarie.

Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .

Abilita l'API Managed Kafka:

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo dei servizi (roles/serviceusage.serviceUsageAdmin), che include l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

gcloud services enable managedkafka.googleapis.com

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare il cluster, chiedi all'amministratore di concederti i seguenti ruoli IAM per il progetto:

• Managed Kafka Cluster Editor (roles/managedkafka.clusterEditor)
• Managed Kafka Topic Editor (roles/managedkafka.topicEditor)
• Compute Network User (roles/compute.networkUser)

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un cluster

Console

1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

   Vai a Cluster

2. Fai clic su Crea.
3. Nella casella Nome del cluster, inserisci un nome per il cluster.
4. Nell'elenco Regione, seleziona una località per il cluster.
5. Per Configurazione di rete, configura la subnet in cui è accessibile il cluster:
   1. Per Progetto, seleziona il tuo progetto.
   2. In Rete, seleziona la rete VPC.
   3. In Subnet, seleziona la subnet.
   4. Fai clic su Fine.
6. Fai clic su Crea.

Dopo aver fatto clic su Crea, lo stato del cluster è Creating. Quando il cluster è pronto, lo stato è Active.

gcloud

Per creare un cluster Kafka, esegui il comando managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Sostituisci quanto segue:

• KAFKA_CLUSTER: un nome per il cluster Kafka
• REGION: la posizione del cluster
• PROJECT_ID: il tuo ID progetto
• SUBNET_NAME: la subnet in cui vuoi creare il cluster, ad esempio default

Per informazioni sulle località supportate, consulta Località di Managed Service per Apache Kafka.

Il comando viene eseguito in modo asincrono e restituisce un ID operazione:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Per monitorare l'avanzamento dell'operazione di creazione, utilizza il comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Quando il cluster è pronto, l'output di questo comando include la voce state: ACTIVE. Per saperne di più, consulta Monitorare l'operazione di creazione del cluster.

Dopo aver seguito questi passaggi, potrebbero essere necessari fino a 30 minuti prima che il cluster sia pronto.

Se vuoi, mentre aspetti il completamento dell'operazione, dai un'occhiata ai tutorial elencati nella sezione Passaggi successivi. Mostrano come produrre messaggi per il cluster utilizzando vari metodi. Una volta pronto il cluster, puoi completare uno qualsiasi di questi tutorial.

Crea un argomento

Quando il cluster Managed Service per Apache Kafka è pronto, crea un argomento.

Console

1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

   Vai a Cluster

2. Fai clic sul nome del cluster.

3. Nella pagina dei dettagli del cluster, fai clic su Crea argomento.

4. Nella casella Nome argomento, inserisci un nome per l'argomento.

5. Fai clic su Crea.

gcloud

Per creare un argomento Kafka, esegui il comando managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Sostituisci quanto segue:

• KAFKA_TOPIC_NAME: il nome dell'argomento Kafka da creare
• KAFKA_CLUSTER: il nome del cluster Kafka
• REGION: la regione in cui hai creato il cluster Kafka

Visualizzare il cluster

Una volta pronto, puoi visualizzare le informazioni sul cluster, inclusi argomenti, gruppi di consumatori, emittenti e altri dettagli.

Console

1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

   Vai a Cluster

2. Fai clic sul nome del cluster. La pagina Dettagli cluster mostra le informazioni sul cluster. La scheda Risorse mostra le risorse associate al cluster, inclusi gli argomenti.

3. Per visualizzare i dettagli di un argomento, seleziona la scheda Risorse e fai clic sul nome dell'argomento. La pagina Dettagli argomento mostra informazioni sull'argomento, ad esempio il numero di partizioni e repliche.

4. Per tornare alla pagina Dettagli cluster, fai clic su Torna alla pagina principale.

gcloud

1. Per visualizzare informazioni sul cluster, esegui il comando gcloud managed-kafka clusters describe.

   gcloud managed-kafka clusters describe KAFKA_CLUSTER \
     --location=REGION
   

   Sostituisci quanto segue:

   • KAFKA_CLUSTER: il nome del cluster
   • REGION: la regione in cui hai creato il cluster

   L'output di questo comando è un elenco di proprietà del cluster, simile al seguente:

   bootstrapAddress: BOOTSTRAP_ADDRESS
   capacityConfig:
     memoryBytes: '3221225472'
     vcpuCount: '3'
   createTime: 'TIMESTAMP'
   

2. Per ottenere un elenco degli argomenti nel cluster, esegui il comando gcloud managed-kafka topics list.

   gcloud managed-kafka topics list KAFKA_CLUSTER \
     --location=REGION \
     --format="value(name)"
   

   L'output include gli argomenti che hai creato, nonché quelli che Managed Service per Apache Kafka crea per uso interno.

3. Per visualizzare le informazioni su un argomento, esegui il comando gcloud managed-kafka topics describe.

   gcloud managed-kafka topics describe TOPIC_NAME \
     --cluster=KAFKA_CLUSTER \
     --location=REGION
   

   Sostituisci TOPIC_NAME con il nome dell'argomento.

   L'output di questo comando è un elenco di proprietà dell'argomento, simile al seguente:

    name: projects/PROJECT_ID/locations//clusters/KAFKA_CLUSTER/topics/TOPIC_NAME
    partitionCount: 10
    replicationFactor: 3
   

Ottieni l'indirizzo di bootstrap

I client Kafka utilizzano l'indirizzo di bootstrap del cluster per stabilire una connessione con il cluster. Per ottenere l'indirizzo di bootstrap, segui questi passaggi:

Console

1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

   Vai a Cluster

2. Fai clic sul nome del cluster.

3. Seleziona la scheda Configurazioni.

4. L'URL di bootstrap è elencato in URL di bootstrap. Fai clic su Copia per copiare il valore.

gcloud

Per ottenere l'URL di bootstrap, esegui il comando managed-kafka clusters describe.

gcloud managed-kafka clusters describe KAFKA_CLUSTER \
  --location=REGION \
  --format="value(bootstrapAddress)"

Sostituisci quanto segue:

• KAFKA_CLUSTER: il nome del cluster
• REGION: la regione in cui hai creato il cluster

Ora puoi inviare messaggi al cluster. Per maggiori informazioni, consulta la sezione Passaggi successivi di questo documento.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, elimina il progetto Google Cloud con le risorse.

Console

Elimina il cluster.

1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

   Vai a Cluster

2. Seleziona il cluster Kafka e fai clic su Elimina.

gcloud

1. Per eliminare il cluster, utilizza il comando gcloud managed-kafka clusters delete.

   gcloud managed-kafka clusters delete KAFKA_CLUSTER \
     --location=REGION --async
   

Passaggi successivi

Produci messaggi per Kafka utilizzando gli strumenti a riga di comando Kafka o creando un'applicazione client:

• Utilizzare gli strumenti a riga di comando di Kafka

• Sviluppare un'applicazione producer Java

• Sviluppa un'applicazione producer Python