Attivare Workflows utilizzando Cloud Audit Logs (gcloud CLI)

Standard

Questa guida rapida mostra come eseguire un workflow utilizzando un trigger Eventarc che riceve eventi Cloud Audit Logs da BigQuery. BigQuery ospita set di dati pubblici a cui puoi accedere e integrare nelle tue applicazioni. Il trigger esegue il workflow rimanendo in ascolto di un job BigQuery che esegue query su un set di dati pubblico. Quindi passa gli eventi come argomenti runtime al flusso di lavoro di destinazione.

Puoi completare questa guida rapida utilizzando Google Cloud CLI.

Utilizza Workflows per creare ed eseguire il deployment di un flusso di lavoro che estrae e restituisce i dati da un evento.
Crea un trigger Eventarc che collega un job BigQuery a un ricevitore eventi Workflows.
Genera un evento eseguendo un job BigQuery utilizzando lo strumento a riga di comando bq. Questo evento viene passato come argomento runtime nel flusso di lavoro di destinazione.
Visualizza i dati degli eventi nell'output dell'esecuzione del flusso di lavoro.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente vincolato Google Cloud .

Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico: puoi selezionare qualsiasi progetto su cui ti è stato concesso un ruolo.
Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l' resourcemanager.projects.create autorizzazione. Scopri come concedere i ruoli.

Crea un Google Cloud progetto:
```
gcloud projects create PROJECT_ID
```
Sostituisci PROJECT_ID con un nome per il Google Cloud progetto che stai creando.
Seleziona il Google Cloud progetto che hai creato:
```
gcloud config set project PROJECT_ID
```
Sostituisci PROJECT_ID con il nome del Google Cloud progetto.

Verifica che la fatturazione sia abilitata per il tuo Google Cloud progetto.

Installa Google Cloud CLI.

Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

Per inizializzare gcloud CLI, esegui questo comando:

gcloud init

Crea o seleziona un Google Cloud progetto.

Ruoli richiesti per selezionare o creare un progetto

Seleziona un progetto: la selezione di un progetto non richiede un ruolo IAM specifico: puoi selezionare qualsiasi progetto su cui ti è stato concesso un ruolo.
Crea un progetto: per creare un progetto, devi disporre del ruolo Autore progetto (roles/resourcemanager.projectCreator), che contiene l' resourcemanager.projects.create autorizzazione. Scopri come concedere i ruoli.

Crea un Google Cloud progetto:
```
gcloud projects create PROJECT_ID
```
Sostituisci PROJECT_ID con un nome per il Google Cloud progetto che stai creando.
Seleziona il Google Cloud progetto che hai creato:
```
gcloud config set project PROJECT_ID
```
Sostituisci PROJECT_ID con il nome del Google Cloud progetto.

Verifica che la fatturazione sia abilitata per il tuo Google Cloud progetto.

Aggiorna i componenti gcloud:
```
gcloud components update
```

Accedi utilizzando il tuo account:
```
gcloud auth login
```

Abilita le API Compute Engine, Eventarc, Pub/Sub e Workflows.

gcloud services enable \
compute.googleapis.com \
eventarc.googleapis.com \
pubsub.googleapis.com \
workflows.googleapis.com \
workflowexecutions.googleapis.com

Imposta le variabili di configurazione utilizzate in questa guida rapida:

export WORKFLOW_LOCATION=us-central1
export TRIGGER_LOCATION=us-central1
export PROJECT_ID=PROJECT_ID
gcloud config set project ${PROJECT_ID}
gcloud config set workflows/location ${WORKFLOW_LOCATION}
gcloud config set eventarc/location ${TRIGGER_LOCATION}

Se sei il creatore del progetto, ti viene concesso il ruolo di base Proprietario (roles/owner). Per impostazione predefinita, questo ruolo Identity and Access Management (IAM) include le autorizzazioni necessarie per l'accesso completo alla maggior parte delle Google Cloud risorse e puoi saltare questo passaggio.

Se non sei il creatore del progetto, le autorizzazioni richieste devono essere concesse al principal appropriato nel progetto. Ad esempio, un principal può essere un Account Google (per gli utenti finali) o un account di servizio (per applicazioni e workload di calcolo). Per saperne di più, consulta la pagina Ruoli e autorizzazioni per la destinazione dell'evento.
Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per completare questa guida rapida, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:
- Eventarc Admin (roles/eventarc.admin)
- Logs View Accessor (roles/logging.viewAccessor)
- Project IAM Admin (roles/resourcemanager.projectIamAdmin)
- Service Account Admin (roles/iam.serviceAccountAdmin)
- Utente Service Account (roles/iam.serviceAccountUser)
- Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin)
- Workflows Admin (roles/workflows.admin)
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
Prendi nota del service account predefinito di Compute Engine, in quanto lo collegherai a un trigger Eventarc per rappresentare l'identità del trigger a scopo di test. Questo account di servizio viene creato automaticamente dopo aver abilitato o utilizzato un Google Cloud servizio che utilizza Compute Engine e con il seguente formato email:
```
PROJECT_NUMBER-compute@developer.gserviceaccount.com
```
Sostituisci PROJECT_NUMBER con il tuo Google Cloud numero del progetto. Puoi trovare il numero di progetto nella pagina di benvenuto della Google Cloud console o eseguendo questo comando:
```
gcloud projects describe PROJECT_ID --format='value(projectNumber)'
```
Per gli ambienti di produzione, ti consigliamo vivamente di creare un nuovo service account e di concedergli uno o più ruoli IAM che contengano le autorizzazioni minime richieste e di seguire il principio del privilegio minimo.

Nota:
Il vincolo della policy dell'organizzazione iam.automaticIamGrantsForDefaultServiceAccounts impedisce che il ruolo Editor venga concesso automaticamente ai service account predefiniti. Se hai creato la tua organizzazione dopo il 3 maggio 2024, questo vincolo viene applicato per impostazione predefinita.

Ti consigliamo vivamente di applicare questo vincolo per disattivare la concessione automatica dei ruoli. Se disattivi la concessione automatica dei ruoli, devi decidere quali ruoli concedere ai service account predefiniti, quindi concederli personalmente.

Se il account di servizio predefinito dispone già del ruolo Editor, ti consigliamo di sostituire il ruolo Editor con ruoli meno permissivi.Per modificare in sicurezza i ruoli del account di servizio, utilizza Policy Simulator per vedere l'impatto della modifica, quindi concedi e revoca i ruoli appropriati.
Concedi il ruolo Eventarc Event Receiver (roles/eventarc.eventReceiver) nel progetto al account di servizio predefinito di Compute Engine in modo che il trigger Eventarc possa ricevere eventi dai provider di eventi.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/eventarc.eventReceiver
```
Concedi il ruolo Workflows Invoker (roles/workflows.invoker) nel progetto al account di servizio predefinito di Compute Engine in modo che l'account abbia l'autorizzazione per attivare l'esecuzione del flusso di lavoro.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/workflows.invoker
```
Concedi il ruolo Logging Logs Writer (roles/logging.logWriter) nel progetto al account di servizio predefinito di Compute Engine in modo che il workflow possa inviare log a Cloud Logging.
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com \
    --role=roles/logging.logWriter
```
Se hai attivato l'agente di servizio Cloud Pub/Sub il giorno 8 aprile 2021 o in una data precedente, per supportare le richieste push Pub/Sub autenticate, concedi il ruolo Service Account Token Creator (roles/iam.serviceAccountTokenCreator) all'agente di servizio. In caso contrario, questo ruolo viene concesso per impostazione predefinita:
```
gcloud projects add-iam-policy-binding PROJECT_ID \
    --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com \
    --role=roles/iam.serviceAccountTokenCreator
```

Crea ed esegui il deployment di un flusso di lavoro

Crea ed esegui il deployment di un workflow che viene eseguito quando il completamento di un job BigQuery attiva il workflow con una richiesta HTTP.

Apri un terminale o Cloud Shell.
Nella tua directory home, crea un nuovo file denominato myFirstWorkflow.yaml o myFirstWorkflow.json.

Copia e incolla quanto segue nel nuovo file e salvalo:

YAML

main:
  params: [event]
  steps:
      - log_event:
          call: sys.log
          args:
              text: ${event}
              severity: INFO
      - extract_data:
          assign:
          - data: ${event.data.protoPayload}
      - return_data:
              return:
                  data: ${data}

JSON

{
  "main": {
    "params": [
      "event"
    ],
    "steps": [
      {
        "log_event": {
          "call": "sys.log",
          "args": {
            "text": "${event}",
            "severity": "INFO"
          }
        }
      },
      {
        "extract_data": {
          "assign": [
            {
              "data": "${event.data.protoPayload}"
            }
          ]
        }
      },
      {
        "return_data": {
          "return": {
            "data": "${data}"
          }
        }
      }
    ]
  }
}

Esegui il deployment del workflow:
```
export MY_WORKFLOW=myFirstWorkflow
gcloud workflows deploy ${MY_WORKFLOW} --source=myFirstWorkflow.yaml
```
Sostituisci .yaml con .json se hai copiato la versione JSON del flusso di lavoro di esempio.

Crea un trigger Eventarc

Per creare un trigger Eventarc che indirizza gli eventi da BigQuery a una destinazione Workflows, esegui il gcloud eventarc triggers create comando.

Crea un trigger che filtra gli eventi BigQuery:

gcloud eventarc triggers create events-cal-trigger \
    --destination-workflow=${MY_WORKFLOW} \
    --destination-workflow-location=${WORKFLOW_LOCATION} \
    --event-filters="type=google.cloud.audit.log.v1.written" \
    --event-filters="serviceName=bigquery.googleapis.com" \
    --event-filters="methodName=google.cloud.bigquery.v2.JobService.InsertJob" \
    --service-account="PROJECT_NUMBER-compute@developer.gserviceaccount.com"

Viene creato un trigger denominato events-cal-trigger.

Tieni presente che quando crei un trigger Eventarc per la prima volta in un Google Cloud progetto, potrebbe verificarsi un ritardo nel provisioning dell'agente di servizio Eventarc. Questo problema può essere in genere risolto tentando di creare di nuovo il trigger. Per saperne di più, consulta Errori di autorizzazione negata.

Per confermare che events-cal-trigger è stato creato correttamente, esegui:

gcloud eventarc triggers describe events-cal-trigger --location=${TRIGGER_LOCATION}

L'output elenca l'ora e la località di creazione del trigger e dovrebbe essere simile al seguente:

createTime: '2021-10-14T15:15:43.872360951Z'
[...]
name: projects/PROJECT_ID/locations/us-central1/triggers/events-cal-trigger

Genera e visualizza un evento

Esegui un job BigQuery utilizzando lo strumento a riga di comando bq per generare eventi e attivare il flusso di lavoro.

Per attivare il workflow, esegui un job BigQuery che accede a un set di dati pubblico e recupera le informazioni:
```
bq query --nouse_legacy_sql \
'SELECT
COUNT(*)
FROM
`bigquery-public-data`.samples.shakespeare'
```
Gli eventi generati vengono passati come argomenti runtime al workflow, che restituisce i dati del payload come risultato dell'esecuzione del workflow.
Per verificare che il workflow sia stato attivato, elenca le ultime due esecuzioni:
```
gcloud workflows executions list ${MY_WORKFLOW} --limit=2
```
Il job BigQuery attiva due esecuzioni del flusso di lavoro. (Un evento segnala la modifica del job, l'altro l'inserimento del job stesso.) L'output elenca un NAME e uno STATE uguale a SUCCEEDED per ciascuna delle esecuzioni e dovrebbe essere simile al seguente:
```
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.390549813Z
END_TIME: 2024-02-06T14:16:14.870102511Z
NAME: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/35d7c730-7ba5-4055-afee-c04ed706b179
STATE: SUCCEEDED
START_TIME: 2024-02-06T14:16:14.389882601Z
END_TIME: 2024-02-06T14:16:14.829942525Z
```
Tieni presente che nell'output, a073ad6a-c76b-4437-8d39-2ab3ade289d2 del campo NAME è l'ID dell'esecuzione del workflow. Copia l'ID esecuzione da utilizzare nel passaggio successivo.

Per visualizzare lo stato dell'esecuzione, esegui questo comando:

gcloud workflows executions describe WORKFLOW_EXECUTION_ID --workflow=${MY_WORKFLOW}

Sostituisci WORKFLOW_EXECUTION_ID con l'ID dell'esecuzione del workflow corrispondente all'ora in cui è stato completato il job BigQuery.

L'output dovrebbe essere simile al seguente:

argument: [...]
duration: 0.277917625s
endTime: '2024-02-06T14:16:14.870102511Z'
name: projects/218898424763/locations/us-central1/workflows/myFirstWorkflow/executions/a073ad6a-c76b-4437-8d39-2ab3ade289d2
result: '{"data": [...]}'
startTime: '2024-02-06T14:16:14.390549813Z'
state: SUCCEEDED

Verifica che il startTime in cui è stato completato il job BigQuery e il START_TIME dell'esecuzione del workflow corrispondano.

Hai generato correttamente un evento BigQuery che ha attivato un ricevitore di eventi Workflows utilizzando Eventarc.

Libera spazio

Elimina il workflow creato:
```
gcloud workflows delete ${MY_WORKFLOW}
```
Quando ti viene chiesto se vuoi continuare, inserisci y.

Elimina il trigger creato:

gcloud eventarc triggers delete events-cal-trigger

In alternativa, puoi eliminare il tuo Google Cloud progetto per evitare addebiti. L'eliminazione del progetto interrompe la fatturazione di tutte le risorse utilizzate al suo interno. Google Cloud
Attenzione: l'eliminazione di un progetto ha i seguenti effetti:
- L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
- Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.
Elimina un Google Cloud progetto:
```
gcloud projects delete PROJECT_ID
```

Attivare Workflows utilizzando Cloud Audit Logs (gcloud CLI)

Prima di iniziare

Autorizzazioni obbligatorie

Crea ed esegui il deployment di un flusso di lavoro

YAML

JSON

Crea un trigger Eventarc

Genera e visualizza un evento

Libera spazio

Passaggi successivi