Visualizza i DAG, le esecuzioni di DAG e le attività

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Questa pagina spiega come ottenere informazioni sui DAG nel tuo ambiente.

Modi per visualizzare le informazioni sui DAG

Managed Airflow offre diversi modi per ottenere informazioni dettagliate sui DAG nel tuo ambiente:

  • L'interfaccia utente DAG è una sezione dell' Google Cloud interfaccia della console per Managed Airflow dedicata alla visualizzazione e al monitoraggio di DAG, esecuzioni di DAG, e singole attività.
  • L'interfaccia utente di Airflow è l'interfaccia web integrata di Airflow.
  • Airflow CLI è l'interfaccia a riga di comando di Airflow. Puoi ottenere informazioni sui DAG eseguendo i comandi dell'interfaccia a riga di comando di Airflow con gcloud.

Informazioni sull'interfaccia utente DAG di Managed Airflow

L'interfaccia utente DAG è una sezione dell' Google Cloud interfaccia della console per Managed Airflow dedicata alla visualizzazione e al monitoraggio di DAG, esecuzioni di DAG, e singole attività.

Nell'interfaccia utente DAG puoi:

  • Visualizzare un elenco di DAG nel tuo ambiente, inclusi intervalli di pianificazione, stati dei DAG e descrizioni.

  • Mettere in pausa, riattivare e attivare i DAG.

  • Visualizzare i dettagli dell'esecuzione di DAG, incluse le esecuzioni riuscite, attive e non riuscite, il tempo trascorso dall'ultima esecuzione completata. Per ogni DAG, puoi visualizzare la cronologia delle esecuzioni di DAG e delle istanze di attività associate a questo DAG specifico, inclusi i log delle attività eseguite.

  • Filtrare i dettagli dell'esecuzione di DAG. Ad esempio, puoi scegliere un intervallo di tempo e creare query per selezionare le informazioni di cui hai bisogno.

  • Visualizzare informazioni dettagliate sui singoli DAG e sulle singole attività. Sono inclusi diagrammi DAG visualizzati, informazioni sulle attività all'interno di un DAG, codice sorgente DAG e informazioni aggiuntive sui DAG.

Prima di iniziare

  • Assicurati che il tuo account abbia un ruolo che possa accedere all'interfaccia utente DAG e visualizzare i dettagli dei DAG. Per saperne di più, consulta Controllo dell'accesso.

  • L'interfaccia utente DAG è supportata in Managed Airflow 2.0.1 e versioni successive.

    Visualizzare l'elenco dei DAG per il tuo ambiente

    Console

    La scheda DAG del tuo ambiente mostra l'elenco dei DAG insieme ai dettagli dell'esecuzione di DAG per ogni DAG.

    Per visualizzare l'elenco dei DAG:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

    Puoi utilizzare i filtri per visualizzare i dettagli solo per determinati DAG o per determinate condizioni. Ad esempio:

    1. Seleziona il campo Filtri.
    2. Nell'elenco a discesa, seleziona la proprietà ID DAG.
    3. Specifica l'identificatore del DAG. I risultati mostrano i dettagli solo per il DAG selezionato.
    4. (Facoltativo) Per includere altri DAG, aggiungi gli operatori OR seguiti dagli ID DAG.
    5. (Facoltativo) Per filtrare in base ad altre condizioni, aggiungi altre proprietà nel campo Filtri. Ad esempio, puoi filtrare i DAG con esecuzioni non riuscite specificando Failed runs:>0.

    UI di Airflow

    Per visualizzare l'elenco dei DAG nell'UI di Airflow:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.

    3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

    4. Nell'UI di Airflow, nella pagina DAG, viene visualizzato un elenco di DAG per il tuo ambiente.

    gcloud

    Esegui il comando dell'interfaccia a riga di comando di Airflow dags list:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Sostituisci:

    • ENVIRONMENT_NAME con il nome dell'ambiente.
    • LOCATION con la regione in cui si trova l'ambiente.

    Visualizzare la cronologia delle esecuzioni di DAG e delle attività

    Console

    La scheda Esecuzioni nella pagina Dettagli DAG mostra la cronologia delle esecuzioni di DAG per un singolo DAG.

    Per visualizzare la cronologia delle esecuzioni di DAG:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

    3. Seleziona un DAG.

    4. Nella pagina Dettagli DAG, vai alla scheda Esecuzioni.

    5. Seleziona un'esecuzione di DAG dall'elenco per visualizzare i dettagli dell'esecuzione di DAG, come lo stato delle istanze di attività per questa esecuzione di DAG, il numero di tentativi e la durata dell'esecuzione. Puoi selezionare singole attività per visualizzare i log delle istanze di attività.

    UI di Airflow

    Per visualizzare l'elenco dei DAG nell'UI di Airflow:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.

    3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

    4. Nell'UI di Airflow, nel menu, seleziona Sfoglia > Esecuzioni di DAG. La pagina Esecuzioni di DAG mostra le esecuzioni di DAG per il tuo ambiente. Puoi seguire il link nella colonna ID esecuzione per ottenere ulteriori informazioni sulle attività.

    gcloud

    Esegui il comando dell'interfaccia a riga di comando di Airflow dags list-runs:

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Sostituisci:

    • ENVIRONMENT_NAME con il nome dell'ambiente.
    • LOCATION con la regione in cui si trova l'ambiente.
    • DAG_ID con il nome del DAG.

    Puoi ottenere ulteriori informazioni sulle istanze di attività eseguendo i comandi dell'interfaccia a riga di comando di Airflow tasks state e tasks states-for-dag-run.

    Per saperne di più, consulta Accedere all'interfaccia a riga di comando di Airflow e il riferimento all'interfaccia a riga di comando di Airflow.

    Visualizzare i diagrammi DAG

    Console

    La scheda Diagramma nella pagina Dettagli DAG mostra la visualizzazione di un DAG con le dipendenze delle attività.

    Per visualizzare il diagramma di un DAG:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

    3. Seleziona un DAG.

    4. Nella pagina Dettagli DAG, vai alla scheda Diagramma.

    5. (Facoltativo) Per visualizzare ulteriori informazioni sulle attività, seleziona le singole attività nel diagramma.

    UI di Airflow

    Per visualizzare il diagramma di un DAG nell'interfaccia web di Airflow:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.

    3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

    4. Nell'UI di Airflow, nella pagina DAG, viene visualizzato un elenco di DAG per il tuo ambiente.

    5. Per il tuo DAG, nella colonna Link, segui il link Grafico.

    Visualizzare il codice sorgente DAG e informazioni aggiuntive sui DAG

    Console

    Puoi visualizzare il codice sorgente dei tuoi DAG e informazioni aggiuntive come gli identificatori DAG e i link ai file di definizione DAG nel bucket dell'ambiente.

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

    3. Seleziona un DAG.

    4. Per visualizzare il codice sorgente DAG, vai alla scheda Diagramma.

    5. Per visualizzare informazioni aggiuntive sul DAG, vai alla scheda Origine.

    UI di Airflow

    Per visualizzare il diagramma di un DAG nell'interfaccia web di Airflow:

    1. Nella Google Cloud console, vai alla pagina Ambienti.

      Vai ad Ambienti

    2. Nella colonna Server web Airflow, segui il link Airflow per il tuo ambiente.

    3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

    4. Nell'interfaccia web di Airflow, nella pagina DAG, fai clic sul nome del DAG.

    5. Nella pagina con i dettagli del DAG, vai alle schede disponibili per visualizzare informazioni aggiuntive sul DAG.

    Passaggi successivi