Questo tutorial mostra come importare i messaggi da Pub/Sub nel tuo cluster Managed Service per Apache Kafka utilizzando Kafka Connect.
Kafka Connect gestisce lo spostamento dei dati tra il cluster Kafka e altri sistemi. In questo tutorial creerai un cluster Connect e un connettore di origine Pub/Sub. Il connettore di origine Pub/Sub legge i messaggi dall'argomento Pub/Sub e li scrive in un argomento Kafka.
Puoi anche utilizzare Dataflow per questo scenario. Per informazioni su come scegliere tra Kafka Connect e Dataflow, consulta Integra Managed Service per Apache Kafka con altri servizi Google Cloud .
Prima di iniziare
Console
- Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Managed Kafka API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Assicurati di disporre dei seguenti ruoli nel progetto: Managed Kafka Cluster Editor, Managed Kafka Connect Cluster Editor, Managed Kafka Connector Editor, Managed Kafka Topic Editor, Pub/Sub Editor
Controlla i ruoli
-
Nella console Google Cloud vai alla pagina IAM.
Vai a IAM - Seleziona il progetto.
-
Nella colonna Entità, individua tutte le righe che identificano te o un gruppo di cui fai parte. Per scoprire in quali gruppi sei incluso, contatta l'amministratore.
- Per tutte le righe che ti specificano o ti includono, controlla la colonna Ruolo per verificare se l'elenco dei ruoli include i ruoli richiesti.
Concedi i ruoli
-
Nella console Google Cloud vai alla pagina IAM.
Vai a IAM - Seleziona il progetto.
- Fai clic su Concedi l'accesso.
-
Nel campo Nuove entità, inserisci il tuo identificatore dell'utente. In genere si tratta dell'indirizzo email di un Account Google.
- Fai clic su Seleziona un ruolo, quindi cerca il ruolo.
- Per concedere altri ruoli, fai clic su Aggiungi un altro ruolo e aggiungi ogni ruolo successivo.
- Fai clic su Salva.
-
gcloud
- Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.
-
Installa Google Cloud CLI.
-
Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.
-
Per inizializzare gcloud CLI, esegui questo comando:
gcloud init -
Crea o seleziona un progetto Google Cloud .
Ruoli richiesti per selezionare o creare un progetto
- Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per cui ti è stato concesso un ruolo.
-
Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (
roles/resourcemanager.projectCreator), che contiene l'autorizzazioneresourcemanager.projects.create. Scopri come concedere i ruoli.
-
Crea un progetto Google Cloud :
gcloud projects create PROJECT_ID
Sostituisci
PROJECT_IDcon un nome per il progetto Google Cloud che stai creando. -
Seleziona il progetto Google Cloud che hai creato:
gcloud config set project PROJECT_ID
Sostituisci
PROJECT_IDcon il nome del progetto Google Cloud .
-
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .
Se non è già abilitata, abilita l'API Managed Kafka:
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione
serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore di Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.gcloud services enable managedkafka.googleapis.com
-
Installa Google Cloud CLI.
-
Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.
-
Per inizializzare gcloud CLI, esegui questo comando:
gcloud init -
Crea o seleziona un progetto Google Cloud .
Ruoli richiesti per selezionare o creare un progetto
- Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per cui ti è stato concesso un ruolo.
-
Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (
roles/resourcemanager.projectCreator), che contiene l'autorizzazioneresourcemanager.projects.create. Scopri come concedere i ruoli.
-
Crea un progetto Google Cloud :
gcloud projects create PROJECT_ID
Sostituisci
PROJECT_IDcon un nome per il progetto Google Cloud che stai creando. -
Seleziona il progetto Google Cloud che hai creato:
gcloud config set project PROJECT_ID
Sostituisci
PROJECT_IDcon il nome del progetto Google Cloud .
-
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud .
Se non è già abilitata, abilita l'API Managed Kafka:
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione
serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore di Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.gcloud services enable managedkafka.googleapis.com
-
Concedi i ruoli al tuo account utente. Esegui il seguente comando una volta per ciascuno dei seguenti ruoli IAM:
roles/managedkafka.clusterEditor, roles/managedkafka.connectClusterEditor, roles/managedkafka.connectorEditor, roles/managedkafka.topicEditor, roles/pubsub.editorgcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
Sostituisci quanto segue:
PROJECT_ID: il tuo ID progetto.USER_IDENTIFIER: l'identificatore del tuo account utente. Ad esempio:myemail@example.com.ROLE: il ruolo IAM che concedi al tuo account utente.
Crea un argomento e una sottoscrizione Pub/Sub
In questo passaggio, creerai un argomento Pub/Sub con una sottoscrizione.
Console
Vai alla pagina Pub/Sub > Argomenti.
Fai clic su Crea argomento.
Nella casella ID argomento, inserisci un nome per l'argomento.
Assicurati che la casella di controllo Aggiungi una sottoscrizione predefinita sia selezionata.
Fai clic su Crea.
gcloud
Per creare un argomento Pub/Sub, esegui il comando
gcloud pubsub topics create.gcloud pubsub topics create TOPIC_IDSostituisci
TOPIC_IDcon un nome per l'argomento Pub/Sub.Per creare una sottoscrizione per l'argomento, esegui il comando
gcloud pubsub subscriptions create:gcloud pubsub subscriptions create --topic TOPIC_ID SUBSCRIPTION_IDSostituisci
SUBSCRIPTION_IDcon un nome per la tua sottoscrizione Pub/Sub.
Per informazioni su come assegnare un nome agli argomenti e alle sottoscrizioni Pub/Sub, consulta Linee guida per assegnare un nome a un argomento o a una sottoscrizione.
Crea risorse Managed Service per Apache Kafka
In questa sezione creerai le seguenti risorse di Managed Service per Apache Kafka:
- Un cluster Kafka con un argomento.
- Un cluster Connect con un connettore Pub/Sub.
Crea un cluster Kafka
In questo passaggio, crei un cluster Managed Service per Apache Kafka. La creazione di un cluster può richiedere fino a 30 minuti.
Console
- Vai alla pagina Managed Service per Apache Kafka > Cluster.
- Fai clic su Crea.
- Nella casella Nome del cluster, inserisci un nome per il cluster.
- Nell'elenco Regione, seleziona una località per il cluster.
-
In Configurazione di rete, configura la subnet in cui è accessibile il cluster:
- In Progetto, seleziona il tuo progetto.
- In Rete, seleziona la rete VPC.
- In Subnet, seleziona la subnet.
- Fai clic su Fine.
- Fai clic su Crea.
Dopo aver fatto clic su Crea, lo stato del cluster è Creating. Quando il cluster è pronto, lo stato è Active.
gcloud
Per creare un cluster Kafka, esegui il comando managed-kafka clusters
create.
gcloud managed-kafka clusters create KAFKA_CLUSTER \ --location=REGION \ --cpu=3 \ --memory=3GiB \ --subnets=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --async
Sostituisci quanto segue:
KAFKA_CLUSTER: un nome per il cluster KafkaREGION: la località del clusterPROJECT_ID: il tuo ID progettoSUBNET_NAME: la subnet in cui vuoi creare il cluster, ad esempiodefault
Per informazioni sulle località supportate, consulta Località di Managed Service per Apache Kafka.
Il comando viene eseguito in modo asincrono e restituisce un ID operazione:
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
To track the progress of the create operation, use the
gcloud managed-kafka
operations describe command:
gcloud managed-kafka operations describe OPERATION_ID \ --location=REGION
Quando il cluster è pronto, l'output di questo comando include la voce state:
ACTIVE. Per saperne di più, consulta Monitora l'operazione di creazione del cluster.
Crea un argomento Kafka
Dopo aver creato il cluster Managed Service per Apache Kafka, crea un argomento Kafka.
Console
Vai alla pagina Managed Service per Apache Kafka > Cluster.
Fai clic sul nome del cluster.
Nella pagina dei dettagli del cluster, fai clic su Crea argomento.
Nella casella Nome argomento, inserisci un nome per l'argomento.
Fai clic su Crea.
gcloud
Per creare un argomento Kafka, esegui il comando managed-kafka topics create.
gcloud managed-kafka topics create KAFKA_TOPIC_NAME \
--cluster=KAFKA_CLUSTER \
--location=REGION \
--partitions=10 \
--replication-factor=3
Sostituisci quanto segue:
KAFKA_TOPIC_NAME: il nome dell'argomento Kafka da creareKAFKA_CLUSTER: il nome del cluster KafkaREGION: la regione in cui hai creato il cluster Kafka
Crea un cluster di connessione
In questo passaggio, creerai un cluster di connessione. La creazione di un cluster Connect può richiedere fino a 30 minuti.
Prima di iniziare questo passaggio, assicurati che il cluster Managed Service per Apache Kafka sia stato creato completamente.
Console
Vai alla pagina Managed Service per Apache Kafka > Cluster di connessione.
Fai clic su Crea.
In Nome del cluster di connessione, inserisci una stringa. Esempio:
my-connect-cluster.Per Cluster Kafka principale, seleziona il cluster Kafka che hai creato in precedenza.
Fai clic su Crea.
Durante la creazione del cluster, lo stato del cluster è Creating. Al termine della creazione del cluster, lo stato è Active.
gcloud
Per creare un cluster di connessione, esegui il comando gcloud managed-kafka connect-clusters create.
gcloud managed-kafka connect-clusters create CONNECT_CLUSTER \
--location=REGION \
--cpu=12 \
--memory=12GiB \
--primary-subnet=projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \
--kafka-cluster=KAFKA_CLUSTER \
--async
Sostituisci quanto segue:
CONNECT_CLUSTER: un nome per il cluster ConnectREGION: la regione in cui hai creato il cluster KafkaPROJECT_ID: il tuo ID progettoSUBNET_NAME: la subnet in cui hai creato il cluster KafkaKAFKA_CLUSTER: il nome del tuo cluster Kafka
Il comando viene eseguito in modo asincrono e restituisce un ID operazione:
Check operation [projects/PROJECT_ID/locations/REGION/operations/OPERATION_ID] for status.
Per monitorare l'avanzamento dell'operazione di creazione, utilizza il comando gcloud managed-kafka operations describe:
gcloud managed-kafka operations describe OPERATION_ID \
--location=REGION
Per saperne di più, consulta Monitora l'operazione di creazione del cluster.
Concedi ruoli IAM
Concedi i seguenti ruoli IAM (Identity and Access Management) al account di servizio Managed Kafka:
- Pub/Sub Subscriber
- Pub/Sub Viewer
Questi ruoli consentono ai connettori di leggere i messaggi da Pub/Sub.
Console
Nella console Google Cloud vai alla pagina IAM.
Seleziona Includi concessioni di ruoli fornite da Google.
Trova la riga Service account Kafka gestito e fai clic su Modifica entità.
Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Sottoscrittore Pub/Sub. Ripeti questo passaggio per il ruolo Pub/Sub Viewer.
Fai clic su Salva.
Per saperne di più sulla concessione dei ruoli, consulta Concedi un ruolo IAM utilizzando la console.
gcloud
Per concedere i ruoli IAM al account di servizio, esegui il comando gcloud projects add-iam-policy-binding.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/pubsub.subscriber
gcloud projects add-iam-policy-binding PROJECT_ID \
--member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-managedkafka.iam.gserviceaccount.com \
--role=roles/pubsub.viewer
Sostituisci quanto segue:
PROJECT_ID: il tuo ID progettoPROJECT_NUMBER: il numero del tuo progetto
Per trovare il numero di progetto, utilizza il comando gcloud projects describe.
Crea un connettore di origine Pub/Sub
In questo passaggio, creerai un connettore di origine Pub/Sub. Questo connettore legge i messaggi da Pub/Sub e li scrive in un argomento Kafka.
Console
Vai alla pagina Managed Service per Apache Kafka > Cluster di connessione.
Fai clic sul nome del cluster di connessione.
Fai clic su Crea connettore.
In Nome connettore, inserisci una stringa. Esempio:
pubsub-source.Nell'elenco Plug-in connettore, seleziona
Pub/Sub Source.In Sottoscrizione Cloud Pub/Sub, seleziona l'argomento Pub/Sub predefinito creato quando hai creato l'argomento Pub/Sub.
In Argomento Kafka, seleziona l'argomento Kafka che hai creato in precedenza.
Fai clic su Crea.
gcloud
Per creare un connettore di origine Pub/Sub, esegui il comando gcloud managed-kafka connectors create.
gcloud managed-kafka connectors create PUBSUB_CONNECTOR_NAME \
--connect-cluster=CONNECT_CLUSTER \
--location=REGION \
--configs=connector.class=com.google.pubsub.kafka.source.CloudPubSubSourceConnector,\
cps.project=PROJECT_ID,\
cps.streamingPull.enabled=true,\
cps.subscription=SUBSCRIPTION_ID,\
kafka.topic=KAFKA_TOPIC_NAME,\
key.converter=org.apache.kafka.connect.storage.StringConverter,\
tasks.max=3,\
value.converter=org.apache.kafka.connect.converters.ByteArrayConverter
Sostituisci quanto segue:
PUBSUB_CONNECTOR_NAME: un nome per il connettore, ad esempiopubsub-source-connectorCONNECT_CLUSTER: il nome del tuo cluster ConnectREGION: la regione in cui hai creato il cluster ConnectPROJECT_ID: il tuo ID progettoKAFKA_TOPIC_NAME: il nome dell'argomento KafkaSUBSCRIPTION_ID: il nome della tua sottoscrizione Pub/Sub
Visualizza risultati
Per visualizzare i risultati, pubblica alcuni messaggi su Pub/Sub.
Console
Nella console Google Cloud , vai alla pagina Pub/Sub > Argomenti.
Nell'elenco degli argomenti, fai clic sul nome dell'argomento Pub/Sub.
Fai clic su Messaggi.
Fai clic su Pubblica messaggi.
In Numero di messaggi, inserisci
10.In Corpo del messaggio, inserisci
{"name": "Alice", "customer_id": 1}.Fai clic su Pubblica.
gcloud
Per pubblicare messaggi nell'argomento Pub/Sub, utilizza il comando gcloud pubsub topics publish.
for run in {1..10}; do
gcloud pubsub topics publish TOPIC_ID --message='{"name": "Alice", "customer_id": 1}'
done
Sostituisci TOPIC_ID con il nome dell'argomento Pub/Sub.
Ora puoi utilizzare i messaggi dell'argomento Kafka. Per saperne di più, consulta Produci e consuma messaggi con l'interfaccia a riga di comando.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Console
Elimina l'argomento Pub/Sub.
Vai alla pagina Pub/Sub > Argomenti.
Seleziona l'argomento e fai clic su Elimina.
Elimina la sottoscrizione Pub/Sub.
Vai alla pagina Pub/Sub > Sottoscrizioni.
Seleziona la sottoscrizione creata con l'argomento e fai clic su Elimina.
Elimina il cluster di connessione.
Vai alla pagina Managed Service per Apache Kafka > Cluster di connessione.
Seleziona il cluster Connect e fai clic su Elimina.
Elimina il cluster Kafka.
Vai alla pagina Managed Service per Apache Kafka > Cluster.
Seleziona il cluster Kafka e fai clic su Elimina.
gcloud
Per eliminare la sottoscrizione e l'argomento Pub/Sub, utilizza i comandi
gcloud pubsub subscriptions deleteegcloud pubsub topics delete.gcloud pubsub subscriptions delete SUBSCRIPTION_ID gcloud pubsub topics delete TOPIC_IDPer eliminare il cluster di Connect, utilizza il comando
gcloud managed-kafka connect-clusters delete.gcloud managed-kafka connect-clusters delete CONNECT_CLUSTER \ --location=REGION --asyncPer eliminare il cluster Kafka, utilizza il comando
gcloud managed-kafka clusters delete.gcloud managed-kafka clusters delete KAFKA_CLUSTER \ --location=REGION --async
Passaggi successivi
- Risolvi i problemi relativi a un connettore Pub/Sub.
- Scopri di più sul connettore di origine Pub/Sub.
- Scopri di più su Kafka Connect.