Replica i messaggi Pub/Sub in Kafka

Questo tutorial mostra come importare i messaggi da Pub/Sub nel tuo cluster Managed Service per Apache Kafka utilizzando Kafka Connect.

Kafka Connect gestisce lo spostamento dei dati tra il cluster Kafka e altri sistemi. In questo tutorial creerai un cluster Connect e un connettore di origine Pub/Sub. Il connettore di origine Pub/Sub legge i messaggi dall'argomento Pub/Sub e li scrive in un argomento Kafka.

Puoi anche utilizzare Dataflow per questo scenario. Per informazioni su come scegliere tra Kafka Connect e Dataflow, consulta Integra Managed Service per Apache Kafka con altri servizi Google Cloud .

Prima di iniziare

Console

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Managed Kafka API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  8. Assicurati di disporre dei seguenti ruoli nel progetto: Managed Kafka Cluster Editor, Managed Kafka Connect Cluster Editor, Managed Kafka Connector Editor, Managed Kafka Topic Editor, Pub/Sub Editor

    Controlla i ruoli

    1. Nella console Google Cloud vai alla pagina IAM.

      Vai a IAM
    2. Seleziona il progetto.
    3. Nella colonna Entità, individua tutte le righe che identificano te o un gruppo di cui fai parte. Per scoprire in quali gruppi sei incluso, contatta l'amministratore.

    4. Per tutte le righe che ti specificano o ti includono, controlla la colonna Ruolo per verificare se l'elenco dei ruoli include i ruoli richiesti.

    Concedi i ruoli

    1. Nella console Google Cloud vai alla pagina IAM.

      Vai a IAM
    2. Seleziona il progetto.
    3. Fai clic su Concedi l'accesso.
    4. Nel campo Nuove entità, inserisci il tuo identificatore dell'utente. In genere si tratta dell'indirizzo email di un Account Google.

    5. Fai clic su Seleziona un ruolo, quindi cerca il ruolo.
    6. Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo successivo.
    7. Fai clic su Salva.

gcloud

  1. Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
  2. Installa Google Cloud CLI.

  3. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  4. Per inizializzare gcloud CLI, esegui questo comando:

    gcloud init
  5. Crea o seleziona un progetto Google Cloud .

    Ruoli richiesti per selezionare o creare un progetto

    • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per cui ti è stato concesso un ruolo.
    • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.
    • Crea un progetto Google Cloud :

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

    • Seleziona il progetto Google Cloud che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

  6. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .

  7. Se non è già abilitata, abilita l'API Managed Kafka:

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore di Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

    gcloud services enable managedkafka.googleapis.com
  8. Installa Google Cloud CLI.

  9. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

  10. Per inizializzare gcloud CLI, esegui questo comando:

    gcloud init
  11. Crea o seleziona un progetto Google Cloud .

    Ruoli richiesti per selezionare o creare un progetto

    • Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per cui ti è stato concesso un ruolo.
    • Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.
    • Crea un progetto Google Cloud :

      gcloud projects create PROJECT_ID

      Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

    • Seleziona il progetto Google Cloud che hai creato:

      gcloud config set project PROJECT_ID

      Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

  12. Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .

  13. Se non è già abilitata, abilita l'API Managed Kafka:

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore di Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

    gcloud services enable managedkafka.googleapis.com
  14. Concedi i ruoli al tuo account utente. Esegui il seguente comando una volta per ciascuno dei seguenti ruoli IAM: roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/pubsub.editor

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • USER_IDENTIFIER: l'identificatore del tuo account utente. Ad esempio: myemail@example.com.
    • ROLE: il ruolo IAM che concedi al tuo account utente.

Crea un argomento e una sottoscrizione Pub/Sub

In questo passaggio, creerai un argomento Pub/Sub con una sottoscrizione.

Console

  1. Vai alla pagina Pub/Sub > Argomenti.

    Vai ad Argomenti

  2. Fai clic su Crea argomento.

  3. Nella casella ID argomento, inserisci un nome per l'argomento.

  4. Assicurati che la casella di controllo Aggiungi una sottoscrizione predefinita sia selezionata.

  5. Fai clic su Crea.

gcloud

  1. Per creare un argomento Pub/Sub, esegui il comando gcloud pubsub topics create.

    gcloud pubsub topics create TOPIC_ID
    

    Sostituisci TOPIC_ID con un nome per l'argomento Pub/Sub.

  2. Per creare una sottoscrizione per l'argomento, esegui il comando gcloud pubsub subscriptions create:

    gcloud pubsub subscriptions create --topic TOPIC_ID SUBSCRIPTION_ID
    

    Sostituisci SUBSCRIPTION_ID con un nome per la tua sottoscrizione Pub/Sub.

Per informazioni su come assegnare un nome agli argomenti e alle sottoscrizioni Pub/Sub, consulta Linee guida per assegnare un nome a un argomento o a una sottoscrizione.

Crea risorse Managed Service per Apache Kafka

In questa sezione creerai le seguenti risorse di Managed Service per Apache Kafka:

  • Un cluster Kafka con un argomento.
  • Un cluster Connect con un connettore Pub/Sub.

Crea un cluster Kafka

In questo passaggio, crei un cluster Managed Service per Apache Kafka. La creazione di un cluster può richiedere fino a 30 minuti.

Console

  1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

    Vai a Cluster

  2. Fai clic su Crea.
  3. Nella casella Nome del cluster, inserisci un nome per il cluster.
  4. Nell'elenco Regione, seleziona una località per il cluster.
  5. In Configurazione di rete, configura la subnet in cui è accessibile il cluster:
    1. In Progetto, seleziona il tuo progetto.
    2. In Rete, seleziona la rete VPC.
    3. In Subnet, seleziona la subnet.
    4. Fai clic su Fine.
  6. Fai clic su Crea.

Dopo aver fatto clic su Crea, lo stato del cluster è Creating. Quando il cluster è pronto, lo stato è Active.

gcloud

Per creare un cluster Kafka, esegui il comando managed-kafka clusters create.

gcloud managed-kafka clusters create KAFKA_CLUSTER \
--location=REGION \
--cpu=3 \
--memory=3GiB \
--subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--async

Sostituisci quanto segue:

  • KAFKA_CLUSTER: un nome per il cluster Kafka
  • REGION: la località del cluster
  • PROJECT_ID: il tuo ID progetto
  • SUBNET_NAME: la subnet in cui vuoi creare il cluster, ad esempio default

Per informazioni sulle località supportate, consulta Località di Managed Service per Apache Kafka.

Il comando viene eseguito in modo asincrono e restituisce un ID operazione:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

To track the progress of the create operation, use the gcloud managed-kafka operations describe command:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Quando il cluster è pronto, l'output di questo comando include la voce state: ACTIVE. Per saperne di più, consulta Monitora l'operazione di creazione del cluster.

Crea un argomento Kafka

Dopo aver creato il cluster Managed Service per Apache Kafka, crea un argomento Kafka.

Console

  1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

    Vai a Cluster

  2. Fai clic sul nome del cluster.

  3. Nella pagina dei dettagli del cluster, fai clic su Crea argomento.

  4. Nella casella Nome argomento, inserisci un nome per l'argomento.

  5. Fai clic su Crea.

gcloud

Per creare un argomento Kafka, esegui il comando managed-kafka topics create.

gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3

Sostituisci quanto segue:

  • KAFKA_TOPIC_NAME: il nome dell'argomento Kafka da creare
  • KAFKA_CLUSTER: il nome del cluster Kafka
  • REGION: la regione in cui hai creato il cluster Kafka

Crea un cluster di connessione

In questo passaggio, creerai un cluster di connessione. La creazione di un cluster Connect può richiedere fino a 30 minuti.

Prima di iniziare questo passaggio, assicurati che il cluster Managed Service per Apache Kafka sia stato creato completamente.

Console

  1. Vai alla pagina Managed Service per Apache Kafka > Cluster di connessione.

    Vai a Cluster connessi

  2. Fai clic su Crea.

  3. In Nome del cluster di connessione, inserisci una stringa. Esempio: my-connect-cluster.

  4. Per Cluster Kafka principale, seleziona il cluster Kafka che hai creato in precedenza.

  5. Fai clic su Crea.

Durante la creazione del cluster, lo stato del cluster è Creating. Al termine della creazione del cluster, lo stato è Active.

gcloud

Per creare un cluster di connessione, esegui il comando gcloud managed-kafka connect-clusters create.

gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
  --location=REGION \
  --cpu=12 \
  --memory=12GiB \
  --primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
  --kafka-cluster=KAFKA_CLUSTER \
  --async

Sostituisci quanto segue:

  • CONNECT_CLUSTER: un nome per il cluster Connect
  • REGION: la regione in cui hai creato il cluster Kafka
  • PROJECT_ID: il tuo ID progetto
  • SUBNET_NAME: la subnet in cui hai creato il cluster Kafka
  • KAFKA_CLUSTER: il nome del tuo cluster Kafka

Il comando viene eseguito in modo asincrono e restituisce un ID operazione:

Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.

Per monitorare l'avanzamento dell'operazione di creazione, utilizza il comando gcloud managed-kafka operations describe:

gcloud managed-kafka operations describe OPERATION_ID \
  --location=REGION

Per saperne di più, consulta Monitora l'operazione di creazione del cluster.

Concedi ruoli IAM

Concedi i seguenti ruoli IAM (Identity and Access Management) al account di servizio Managed Kafka:

  • Pub/Sub Subscriber
  • Pub/Sub Viewer

Questi ruoli consentono ai connettori di leggere i messaggi da Pub/Sub.

Console

  1. Nella console Google Cloud vai alla pagina IAM.

    Vai a IAM

  2. Seleziona Includi concessioni di ruoli fornite da Google.

  3. Trova la riga Service account Kafka gestito e fai clic su Modifica entità.

  4. Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Sottoscrittore Pub/Sub. Ripeti questo passaggio per il ruolo Pub/Sub Viewer.

  5. Fai clic su Salva.

Per saperne di più sulla concessione dei ruoli, consulta Concedi un ruolo IAM utilizzando la console.

gcloud

Per concedere i ruoli IAM al account di servizio, esegui il comando gcloud projects add-iam-policy-binding.

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
    --role=roles/pubsub.subscriber

gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
    --role=roles/pubsub.viewer

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto
  • PROJECT_NUMBER: il numero del tuo progetto

Per trovare il numero di progetto, utilizza il comando gcloud projects describe.

Crea un connettore di origine Pub/Sub

In questo passaggio, creerai un connettore di origine Pub/Sub. Questo connettore legge i messaggi da Pub/Sub e li scrive in un argomento Kafka.

Console

  1. Vai alla pagina Managed Service per Apache Kafka > Cluster di connessione.

    Vai a Cluster connessi

  2. Fai clic sul nome del cluster di connessione.

  3. Fai clic su Crea connettore.

  4. In Nome connettore, inserisci una stringa. Esempio: pubsub-source.

  5. Nell'elenco Plug-in connettore, seleziona Pub/Sub Source.

  6. In Sottoscrizione Cloud Pub/Sub, seleziona l'argomento Pub/Sub predefinito creato quando hai creato l'argomento Pub/Sub.

  7. In Argomento Kafka, seleziona l'argomento Kafka che hai creato in precedenza.

  8. Fai clic su Crea.

gcloud

Per creare un connettore di origine Pub/Sub, esegui il comando gcloud managed-kafka connectors create.

gcloud managed-kafka connectors create PUBSUB_CONNECTOR_NAME \
  --connect-cluster=CONNECT_CLUSTER \
  --location=REGION \
  --configs=connector.class=com.google.pubsub.kafka.source.CloudPubSubSourceConnector,\
cps.project=PROJECT_ID,\
cps.streamingPull.enabled=true,\
cps.subscription=SUBSCRIPTION_ID,\
kafka.topic=KAFKA_TOPIC_NAME,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter

Sostituisci quanto segue:

  • PUBSUB_CONNECTOR_NAME: un nome per il connettore, ad esempio pubsub-source-connector
  • CONNECT_CLUSTER: il nome del tuo cluster Connect
  • REGION: la regione in cui hai creato il cluster Connect
  • PROJECT_ID: il tuo ID progetto
  • KAFKA_TOPIC_NAME: il nome dell'argomento Kafka
  • SUBSCRIPTION_ID: il nome della tua sottoscrizione Pub/Sub

Visualizza risultati

Per visualizzare i risultati, pubblica alcuni messaggi su Pub/Sub.

Console

  1. Nella console Google Cloud , vai alla pagina Pub/Sub > Argomenti.

    Vai ad Argomenti

  2. Nell'elenco degli argomenti, fai clic sul nome dell'argomento Pub/Sub.

  3. Fai clic su Messaggi.

  4. Fai clic su Pubblica messaggi.

  5. In Numero di messaggi, inserisci 10.

  6. In Corpo del messaggio, inserisci {"name": "Alice", "customer_id": 1}.

  7. Fai clic su Pubblica.

gcloud

Per pubblicare messaggi nell'argomento Pub/Sub, utilizza il comando gcloud pubsub topics publish.

for run in {1..10}; do
  gcloud pubsub topics publish TOPIC_ID --message='{"name": "Alice", "customer_id": 1}'
done

Sostituisci TOPIC_ID con il nome dell'argomento Pub/Sub.

Ora puoi utilizzare i messaggi dell'argomento Kafka. Per saperne di più, consulta Produci e consuma messaggi con l'interfaccia a riga di comando.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Console

  1. Elimina l'argomento Pub/Sub.

    1. Vai alla pagina Pub/Sub > Argomenti.

      Vai ad Argomenti

    2. Seleziona l'argomento e fai clic su Elimina.

  2. Elimina la sottoscrizione Pub/Sub.

    1. Vai alla pagina Pub/Sub > Sottoscrizioni.

      Vai ad Abbonamenti

    2. Seleziona la sottoscrizione creata con l'argomento e fai clic su Elimina.

  3. Elimina il cluster di connessione.

    1. Vai alla pagina Managed Service per Apache Kafka > Cluster di connessione.

      Vai a Cluster connessi

    2. Seleziona il cluster Connect e fai clic su Elimina.

  4. Elimina il cluster Kafka.

    1. Vai alla pagina Managed Service per Apache Kafka > Cluster.

      Vai a Cluster

    2. Seleziona il cluster Kafka e fai clic su Elimina.

gcloud

  1. Per eliminare la sottoscrizione e l'argomento Pub/Sub, utilizza i comandi gcloud pubsub subscriptions delete e gcloud pubsub topics delete.

    gcloud pubsub subscriptions delete SUBSCRIPTION_ID
    gcloud pubsub topics delete TOPIC_ID
    
  2. Per eliminare il cluster di Connect, utilizza il comando gcloud managed-kafka connect-clusters delete.

    gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \
      --location=REGION --async
    
  3. Per eliminare il cluster Kafka, utilizza il comando gcloud managed-kafka clusters delete.

    gcloud managed-kafka clusters delete KAFKA_CLUSTER \
      --location=REGION --async
    

Passaggi successivi