Ricezione di eventi mediante Cloud Audit Logs (gcloud CLI)

Ricezione di eventi mediante Cloud Audit Logs (gcloud CLI)

Standard

Anteprima

Questo prodotto è soggetto ai "Termini delle Offerte pre-GA" nella sezione Termini di servizio generali dei Termini specifici dei servizi. I prodotti pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Questa guida rapida mostra come configurare un servizio Google Kubernetes Engine (GKE) come destinazione per ricevere eventi da Cloud Storage utilizzando Eventarc.

Nota: il supporto di GKE come destinazione Eventarc include gli endpoint pubblici di servizi privati e pubblici in esecuzione in un cluster GKE.

In questa guida rapida imparerai a:

1. Configura un account di servizio in modo che Eventarc possa recuperare gli eventi e inoltrarli alla destinazione.
2. Crea un bucket Cloud Storage come origine evento.
3. Creare un cluster GKE.
4. Inizializza le destinazioni GKE in Eventarc.
5. Esegui il deployment di un servizio GKE che riceve eventi.
6. Crea un trigger Eventarc che invia eventi da Cloud Storage al servizio GKE.
7. Carica un file nel bucket Cloud Storage per generare un evento e visualizzalo nei log dei pod GKE.

Prima di iniziare

Accedi al tuo account Google Cloud . Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

• Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
• Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

• Creare un progetto Google Cloud :

  gcloud projects create PROJECT_ID

  Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

• Seleziona il progetto Google Cloud che hai creato:

  gcloud config set project PROJECT_ID

  Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

• Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico. Puoi selezionare qualsiasi progetto per il quale ti è stato concesso un ruolo.
• Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l'autorizzazione resourcemanager.projects.create. Scopri come concedere i ruoli.

Nota: se non prevedi di conservare le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno già esistente. Una volta completata questa procedura, puoi eliminare il progetto e tutte le relative risorse.

• Creare un progetto Google Cloud :

  gcloud projects create PROJECT_ID

  Sostituisci PROJECT_ID con un nome per il progetto Google Cloud che stai creando.

• Seleziona il progetto Google Cloud che hai creato:

  gcloud config set project PROJECT_ID

  Sostituisci PROJECT_ID con il nome del progetto Google Cloud .

Verifica che la fatturazione sia abilitata per il tuo progetto Google Cloud .

1. Aggiorna i componenti di Google Cloud CLI:

   gcloud components update

2. Attiva le API Eventarc, Resource Manager e Google Kubernetes Engine:

   gcloud services enable eventarc.googleapis.com \
       cloudresourcemanager.googleapis.com \
       container.googleapis.com

3. Imposta le variabili di configurazione utilizzate in questa guida rapida:

   PROJECT_ID=$(gcloud config get-value project)
   TRIGGER_SA=eventarc-sa
   CLUSTER_NAME=events-cluster
   SERVICE_NAME=hello-gke

4. Se hai creato il progetto, ti viene assegnato il ruolo di base Proprietario (roles/owner). Per impostazione predefinita, questo ruolo Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle risorse Google Cloud e puoi saltare questo passaggio.

   Se non sei il creatore del progetto, le autorizzazioni richieste devono essere concesse al principal appropriato. Ad esempio, un'entità può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e carichi di lavoro di calcolo). Per saperne di più, consulta la pagina Ruoli e autorizzazioni per la destinazione eventi.

   Autorizzazioni obbligatorie

   Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM nel tuo progetto:

   • Eventarc Admin (roles/eventarc.admin)
   • Amministratore Kubernetes Engine (roles/container.admin)
   • Logs View Accessor (roles/logging.viewAccessor)
   • Project IAM Admin (roles/resourcemanager.projectIamAdmin)
   • Amministratore service account (roles/iam.serviceAccountAdmin)
   • Utente Service Account (roles/iam.serviceAccountUser)
   • Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)
   • Storage Admin (roles/storage.admin)

   Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

   Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

5. Prendi nota dell'account di servizio predefinito di Compute Engine, in quanto lo collegherai a un trigger Eventarc per rappresentare l'identità del trigger a scopo di test. Questo account di servizio viene creato automaticamente dopo l'attivazione o l'utilizzo di un servizio Google Cloud che utilizza Compute Engine e con il seguente formato email:

   [e-mail]

   Sostituisci PROJECT_NUMBER con il numero del tuo progetto Google Cloud. Puoi trovare il numero di progetto nella pagina Benvenuto della console Google Cloud o eseguendo questo comando:

   gcloud projects describe PROJECT_ID --format='value(projectNumber)'

   Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo service account e di concedergli uno o più ruoli IAM che contengano le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

   Nota:

   Il vincolo della policy dell'organizzazione iam.automaticIamGrantsForDefaultServiceAccounts impedisce che il ruolo Editor venga concesso automaticamente ai service account predefiniti. Se hai creato la tua organizzazione dopo il 3 maggio 2024, questo vincolo viene applicato per impostazione predefinita.

   Ti consigliamo vivamente di applicare questo vincolo per disattivare la concessione automatica dei ruoli. Se disattivi la concessione automatica dei ruoli, devi decidere quali ruoli concedere ai service account predefiniti, quindi concederli personalmente.

   Se il service account predefinito dispone già del ruolo Editor, ti consigliamo di sostituire il ruolo Editor con ruoli meno permissivi.Per modificare in sicurezza i ruoli del service account, utilizza Policy Simulator per vedere l'impatto della modifica, quindi concedi e revoca i ruoli appropriati.

6. Concedi il ruolo Pub/Sub Subscriber (roles/pubsub.subscriber) al account di servizio Compute Engine predefinito in modo che il trigger Eventarc possa estrarre gli eventi da Pub/Sub.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/pubsub.subscriber

7. Concedi il ruolo Eventarc Event Receiver (roles/eventarc.eventReceiver) sul progetto al account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi dai provider di eventi.

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/eventarc.eventReceiver

8. Se hai attivato l'agente di servizio Cloud Pub/Sub l'8 aprile 2021 o in una data precedente, per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Creatore token service account (roles/iam.serviceAccountTokenCreator) all'agente di servizio. In caso contrario, questo ruolo viene concesso per impostazione predefinita:

   gcloud projects add-iam-policy-binding PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role=roles/iam.serviceAccountTokenCreator

9. Per Google Cloud Storage, abilita i tipi di log per questi servizi: Lettura amministratore, Lettura dati e Scrittura dati:
   1. Leggi il criterio IAM del progetto e archivialo in un file:

      gcloud projects get-iam-policy PROJECT_ID > /tmp/policy.yaml

   2. Modifica i criteri in `/tmp/policy.yaml`, aggiungendo o modificando *solo* la configurazione dei log di controllo dell'accesso ai dati. Attenzione: devi conservare le sezioni `bindings:` e `etag:` senza apportare modifiche. In caso contrario, il progetto potrebbe diventare inutilizzabile.

      auditConfigs:
        - auditLogConfigs:
          - logType: ADMIN_READ
          - logType: DATA_WRITE
          - logType: DATA_READ
          service: storage.googleapis.com
        bindings:
        - members:
          - user:EMAIL_ADDRESS
          role: roles/owner
        etag: BwW_bHKTV5U=
        version: 1

      Sostituisci EMAIL_ADDRESS con il tuo indirizzo email.
   3. Scrivi il nuovo criterio IAM:

      gcloud projects set-iam-policy PROJECT_ID /tmp/policy.yaml

      Se il comando precedente segnala un conflitto con un'altra modifica, ripeti questi passaggi, a partire dalla lettura del criterio IAM del progetto.

Crea un bucket Cloud Storage

Questa guida rapida utilizza Cloud Storage come origine evento. Crea un bucket Cloud Storage:

gcloud storage buckets create  gs://events-quickstart-$(gcloud config get-value project) --location=us-central1

Dopo aver creato l'origine eventi, puoi eseguire il deployment del servizio di ricezione eventi su GKE.

Crea un cluster GKE

Un cluster GKE è costituito da almeno una macchina del control plane del cluster e da più macchine worker denominate nodi. I nodi sono istanze di macchine virtuali (VM) Compute Engine che eseguono i processi Kubernetes necessari per renderle parte del cluster. Puoi eseguire il deployment delle applicazioni sui cluster e le applicazioni vengono eseguite sui nodi.

Crea un cluster Autopilot denominato events-cluster:

gcloud container clusters create-auto $CLUSTER_NAME --region us-central1

Il processo di creazione del cluster potrebbe richiedere alcuni minuti. Una volta creato il cluster, l'output dovrebbe essere simile al seguente:

Creating cluster events-cluster...done.
Created [https://container.googleapis.com/v1/projects/MY_PROJECT/zones/us-central1/clusters/events-cluster].
[...]
STATUS: RUNNING

Viene creato un cluster GKE denominato events-cluster in un progetto con un ID progetto Google Cloud di MY_PROJECT.

Abilita le destinazioni GKE

Per ogni trigger che ha come target un servizio GKE, Eventarc crea un componente di inoltro degli eventi che recupera gli eventi da Pub/Sub e li inoltra al target. Per creare il componente e gestire le risorse nel cluster GKE, concedi le autorizzazioni al service agent Eventarc:

1. Abilita le destinazioni GKE per Eventarc:

   gcloud eventarc gke-destinations init

2. Al prompt per associare i ruoli richiesti, inserisci y.

   I seguenti ruoli sono associati al account di servizio:

   • compute.viewer
   • container.developer
   • iam.serviceAccountAdmin

Crea una destinazione del servizio GKE

Esegui il deployment di un servizio GKE che riceverà e registrerà gli eventi utilizzando un'immagine predefinita, us-docker.pkg.dev/cloudrun/container/hello:

1. Kubernetes utilizza un file YAML denominato kubeconfig per archiviare le informazioni di autenticazione del cluster per kubectl. Aggiorna il file kubeconfig con le credenziali e le informazioni sull'endpoint per indirizzare kubectl al cluster GKE:

   gcloud container clusters get-credentials $CLUSTER_NAME \
       --region us-central1
   

2. Crea un deployment Kubernetes:

   kubectl create deployment $SERVICE_NAME \
       --image=us-docker.pkg.dev/cloudrun/container/hello
   

3. Esporlo come servizio Kubernetes:

   kubectl expose deployment $SERVICE_NAME \
       --type ClusterIP --port 80 --target-port 8080
   

Crea un trigger Eventarc

Quando carichi un file su Cloud Storage, il trigger Eventarc invia eventi da Cloud Storage al servizio GKE hello-gke.

1. Crea un trigger Cloud Audit Logs:

   gcloud eventarc triggers create my-gke-trigger \
       --location="us-central1" \
       --destination-gke-cluster="events-cluster" \
       --destination-gke-location="us-central1" \
       --destination-gke-namespace="default" \
       --destination-gke-service="hello-gke" \
       --destination-gke-path="/" \
       --event-filters="type=google.cloud.audit.log.v1.written" \
       --event-filters="serviceName=storage.googleapis.com" \
       --event-filters="methodName=storage.objects.create" \
       --service-account="[e-mail]"
   

   Viene creato un trigger denominato my-gke-trigger.

2. Verifica che il trigger sia stato creato correttamente:

   gcloud eventarc triggers list

   Nota: il trigger può richiedere fino a due minuti per essere completamente funzionale.

   L'output dovrebbe essere simile al seguente:

   NAME: my-gke-trigger
   TYPE: google.cloud.audit.log.v1.written
   DESTINATION: GKE: hello-gke
   ACTIVE: By 20:39:43
   LOCATION: us-central1
   

Generare e visualizzare un evento

Carica un file di testo in Cloud Storage per generare un evento e attivare il servizio GKE. Puoi quindi visualizzare il messaggio dell'evento nei log del pod.

1. Carica un file di testo su Cloud Storage:

   echo "Hello World" > random.txt
   gcloud storage cp random.txt gs://events-quickstart-$(gcloud config get-value project)/random.txt

   Il caricamento genera un evento e il pod GKE registra il messaggio dell'evento.

2. Per visualizzare il messaggio dell'evento:

   1. Trova l'ID pod:

      kubectl get pods

      L'output dovrebbe essere simile al seguente:

      NAME                                         READY   STATUS             RESTARTS   AGE
      hello-gke-645964f578-2mjjt                   1/1     Running            0          35s

      Copia il NAME del pod da utilizzare nel passaggio successivo.

   2. Controlla i log del pod:

      kubectl logs NAME

      Sostituisci NAME con il nome del pod che hai copiato.

   3. Cerca una voce di log simile a:

      2022/02/24 22:23:49 Hello from Cloud Run! The container started successfully and is listening for HTTP requests on $PORT
      {"severity":"INFO","eventType":"google.cloud.audit.log.v1.written","message":"Received event of type google.cloud.audit.log.v1.written. [...]}
      

Esegui la pulizia

Al termine delle attività descritte in questo documento, puoi evitare l'addebito di ulteriori costi eliminando le risorse che hai creato.

Puoi:

1. Elimina il bucket Cloud Storage.

2. Elimina il trigger Eventarc.

3. Elimina il cluster GKE.

In alternativa, puoi eliminare il tuo progetto Google Cloud per evitare addebiti. L'eliminazione del tuo progetto Google Cloud interrompe la fatturazione per tutte le risorse utilizzate al suo interno.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Elimina un progetto Google Cloud :

gcloud projects delete PROJECT_ID

Se intendi esplorare più tutorial e guide rapide, il riuso dei progetti ti aiuta a non superare i limiti di quota.

Passaggi successivi

Ricezione di eventi mediante Pub/Sub (Google Cloud CLI)