Monitorare le corse

Questo documento mostra come eseguire le seguenti operazioni:

Prima di iniziare

Per monitorare i log di esecuzione, assicurati di eseguire le seguenti operazioni:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona o crea un repository.

  3. Seleziona o crea un workspace di sviluppo.

  4. Attiva un'esecuzione almeno una volta.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare i log di esecuzione, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Editor Dataform (roles/dataform.editor) nel repository Dataform in cui vengono monitorate le esecuzioni del workflow
  • Verifica della configurazione di un'esecuzione: Utente account di servizio (roles/iam.serviceAccountUser) nell'account di servizio personalizzato

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Il ruolo IAM Visualizzatore log (roles/logging.viewer) ti concede l'accesso di sola lettura a tutte le funzionalità di Cloud Logging. Per saperne di più sui ruoli e sulle autorizzazioni di Identity and Access Management che si applicano ai dati di Logging, consulta Controllo dell'accesso con IAM.

Per creare e gestire gli avvisi basati su log, assicurati che il tuo ruolo IAM includa le autorizzazioni descritte in Ruoli richiesti per creare e utilizzare i criteri di avviso basati su log.

Monitora i log di esecuzione

Questa sezione mostra come visualizzare i log di esecuzione in Dataform.

Puoi visualizzare i log di tutte le esecuzioni attivate in un repository e i log delle esecuzioni attivate in un workspace nelle ultime 24 ore.

Controlla i log di esecuzione del repository

Per visualizzare i log di tutte le esecuzioni attivate in un repository:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai a Dataform

  2. Vai al repository.

  3. Fai clic su Log di esecuzione del flusso di lavoro.

  4. Per visualizzare i dettagli di un'esecuzione, fai clic sull'esecuzione.

  5. Per visualizzare i dettagli di un'azione all'interno dell'esecuzione, fai clic su Visualizza dettagli.

Controlla i log di esecuzione del workspace

Per visualizzare i log delle 1000 esecuzioni più recenti attivate in un workspace nelle ultime 24 ore:

  1. Nella Google Cloud console, vai alla pagina Dataform.

    Vai a Dataform

  2. Vai al repository e seleziona il workspace.

  3. Nel workspace, fai clic su Esecuzioni.

  4. Per visualizzare i dettagli di un'esecuzione, fai clic sull'esecuzione.

  5. Per visualizzare i dettagli di un'azione all'interno dell'esecuzione, fai clic su Visualizza dettagli.

Visualizza i log di Logging per Dataform

Questa sezione mostra come visualizzare i log di Cloud Logging per le chiamate di workflow Dataform.

Ogni chiamata di workflow Dataform viene registrata utilizzando Logging. Logging viene abilitato automaticamente per le chiamate di workflow Dataform, che possono comportare addebiti di fatturazione di Logging. Per saperne di più, consulta i prezzi di Dataform.

Visualizza i log

Per informazioni sul filtraggio dei log di Logging in Esplora log, consulta Visualizza i log utilizzando Esplora log.

I log di Dataform sono indicizzati per repository Dataform.

Formato log

Dataform invia i messaggi di log di chiamata del workflow nel seguente formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Informazioni registrate nei log

Le voci di log di Dataform contengono informazioni utili per monitorare ed eseguire il debug delle chiamate di workflow.

Le voci di log contengono i seguenti tipi di informazioni:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: può essere INFO, WARNING o ERROR
  • terminalState: può essere SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Configura metriche e avvisi con Cloud Monitoring

Puoi utilizzare Monitoring per osservare le tendenze nei log e ricevere una notifica quando si verificano le condizioni che descrivi.

Per fornire a Monitoring i dati dei log, Logging offre quanto segue:

  • Metriche basate su log, che puoi utilizzare come segue:
    • Per creare criteri di avviso che ti informano delle modifiche nel tempo.
    • Per creare grafici che mostrano le modifiche nel tempo.
  • Avvisi basati su log, che ti inviano una notifica ogni volta che un evento specifico viene visualizzato in un log.

Per saperne di più sulle metriche basate su log e sugli avvisi basati su log, consulta Monitora i log.

Per scoprire come configurare gli avvisi basati su log per le chiamate di workflow Dataform, consulta Configura gli avvisi per le chiamate di workflow non riuscite.

Configura gli avvisi per le chiamate di workflow non riuscite

Questa sezione mostra come configurare gli avvisi basati su log per le chiamate di workflow Dataform non riuscite utilizzando Esplora log.

Puoi utilizzare Monitoring per osservare le tendenze nei log di Logging per le chiamate di workflow Dataform e ricevere una notifica quando si verificano le condizioni che descrivi.

Ogni chiamata di workflow Dataform viene registrata utilizzando Logging. Logging viene abilitato automaticamente per le chiamate di workflow Dataform, che possono comportare addebiti di fatturazione di Logging. Per saperne di più, consulta i prezzi di Dataform.

Per ricevere avvisi quando una chiamata di workflow Dataform non riesce, puoi creare avvisi basati su log.

Puoi creare avvisi basati su log dalla pagina Esplora log nella Google Cloud console o utilizzando l' API Monitoring. Questa sezione descrive come creare avvisi basati su log per l'errore di chiamata di workflow Dataform utilizzando Esplora log.

Per configurare gli avvisi basati su log per le chiamate di workflow Dataform non riuscite:

  1. Nella Google Cloud console, seleziona Logging, quindi seleziona Esplora log.

    Vai a Esplora log

  2. Nel riquadro Query, seleziona Mostra query e inserisci la seguente query:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Questa query ti avvisa di tutte le chiamate di workflow Dataform non riuscite.

    1. (Facoltativo) Per filtrare le chiamate di workflow non riuscite in base a una configurazione di rilascio, aggiungi quanto segue alla query:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Sostituisci RELEASE_CONFIGURATION_ID con l'ID della configurazione di rilascio.

    2. (Facoltativo) Per filtrare le chiamate di workflow non riuscite in base a una configurazione di workflow, aggiungi quanto segue alla query:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Sostituisci WORKFLOW_CONFIGURATION_ID con l'ID della configurazione del workflow.

    La seguente query ti avvisa quando una chiamata di workflow Dataform correlata sia alla configurazione di rilascio daily sia alla configurazione di workflow production non riesce:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. (Facoltativo) Per convalidare la query, utilizza Esegui query nel riquadro Risultati delle query.

  4. Nell'intestazione del riquadro Risultati delle query, fai clic su Crea avviso. Se la finestra è ridotta, l'opzione Crea avviso potrebbe essere visualizzata nel menu Azioni.

  5. Nel riquadro Dettagli avviso, assegna un nome e una descrizione all'avviso:

    1. Inserisci un nome per l'avviso nel campo Nome avviso. Ad esempio: Dataform: workflow failure.

    2. Inserisci una descrizione di questo avviso. Puoi anche includere informazioni che potrebbero aiutare il destinatario di una notifica a diagnosticare il problema. La seguente stringa riassume il motivo dell'avviso:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Per informazioni su come formattare e personalizzare i contenuti di questo campo, consulta Annotare le notifiche con la documentazione definita dall'utente.

  6. Per passare al passaggio successivo, fai clic su Avanti.

  7. Nel riquadro Scegli i log da includere nell'avviso, controlla la query e i risultati facendo clic su Anteprima dei log.

    Ti consigliamo di creare la query nel riquadro Query di Esplora log. La query che hai creato nel riquadro Query viene visualizzata anche in questo riquadro.

    Se necessario, puoi modificare la query in questo riquadro. Se modifichi la query, controlla i risultati facendo clic su Anteprima dei log.

  8. Fai clic su Avanti.

  9. Seleziona il tempo minimo tra le notifiche. Questo valore ti consente di controllare il numero di notifiche che ricevi da questo avviso se viene attivato più volte. In questo esempio, seleziona 5 min dalle opzioni.

  10. (Facoltativo) Seleziona la durata della chiusura automatica degli incidenti. Per impostazione predefinita, la durata della chiusura automatica degli incidenti è impostata su 7 giorni.

  11. Fai clic su Avanti.

  12. Seleziona uno o più canali di notifica per il tuo avviso. In questo esempio, seleziona un canale di notifica via email.

    Se hai già configurato un canale di notifica via email, puoi selezionarlo dall'elenco. In caso contrario, fai clic su Gestisci canali di notifica e aggiungi un canale email. Per informazioni sulla creazione di canali di notifica, consulta Crea e gestisci i canali di notifica.

  13. Fai clic su Salva.

L'avviso basato su log è ora pronto per essere testato. Per istruzioni su come testare l'avviso, consulta Testa la policy di avviso basata sui log di esempio.

Passaggi successivi