Pianificare i DAG di Airflow

Questo documento descrive come orchestrare in modo efficiente le pipeline di dati pianificando i grafici aciclici diretti (DAG) da Managed Airflow 3 nella pagina Pianificazione di BigQuery nella Google Cloud console. Questa funzionalità ti aiuta ad automatizzare e monitorare i flussi di dati che alimentano le analisi di BigQuery. Puoi attivare manualmente i DAG e centralizzarne la gestione, inclusa la visualizzazione della cronologia di esecuzione e dei log.

Informazioni sulla gestione dei DAG di Airflow in BigQuery

La pagina Pianificazione di BigQuery fornisce strumenti per pianificare i DAG di Airflow eseguiti negli ambienti Managed Airflow 3.

I DAG di Airflow pianificati in BigQuery vengono eseguiti in uno o più ambienti Managed Airflow nel progetto. La pagina Pianificazione di BigQuery combina le informazioni per tutti i DAG di Airflow nel progetto.

Durante un'esecuzione di DAG, Airflow pianifica ed esegue le singole attività che compongono un DAG in una sequenza definita dal DAG. Nella pagina Pianificazione di BigQuery puoi visualizzare gli stati delle esecuzioni di DAG precedenti, esplorare i log dettagliati di tutte le esecuzioni di DAG e di tutte le attività di queste esecuzioni di DAG e visualizzare i dettagli sui DAG.

Per saperne di più sui concetti di base di Airflow, come i DAG di Airflow, le esecuzioni di DAG, attività o operatori, consulta la pagina Concetti di base nella documentazione di Airflow.

Per saperne di più sugli ambienti Managed Airflow, consulta la pagina Panoramica di Managed Airflow 3 nella documentazione di Managed Airflow.

Prima di iniziare

  1. Abilitare l'API Cloud Composer.

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente hai già questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

    Abilitare l'API

  2. Assicurati che il tuo Google Cloud progetto abbia almeno un ambiente Managed Airflow 3 ambiente, con almeno un file DAG già caricato:

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per pianificare i DAG di Airflow, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per pianificare i DAG di Airflow. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per pianificare i DAG di Airflow sono necessarie le seguenti autorizzazioni:

  • Per visualizzare i DAG di Airflow e i relativi dettagli: composers.dags.list, composer.environments.list
  • Per attivare e mettere in pausa i DAG di Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su IAM di Managed Airflow 3, consulta Controllo dell'accesso con IAM nella documentazione di Managed Airflow.

Attivare manualmente un DAG di Airflow

Quando attivi manualmente un DAG di Airflow, Airflow esegue il DAG una volta, indipendentemente dalla pianificazione specificata per il DAG.

Per attivare manualmente un DAG di Airflow selezionato:

  1. Nella Google Cloud console, vai alla pagina Pianificazione.

    Vai alla pagina Pianificazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome del DAG selezionato, quindi nella pagina Dettagli DAG fai clic su Attiva DAG.

    • Nella riga contenente il DAG selezionato, fai clic su Visualizza azioni nella colonna Azioni e poi su Attiva DAG.

Visualizzare i log e i dettagli dell'esecuzione di un DAG di Airflow

Per visualizzare i dettagli di un DAG di Airflow selezionato:

  1. Nella Google Cloud console, vai alla pagina Pianificazione.

    Vai alla pagina Pianificazione

  2. Fai clic sul nome del DAG selezionato.

  3. Nella pagina Dettagli DAG, seleziona la scheda Dettagli.

  4. Per visualizzare le esecuzioni di DAG precedenti, seleziona la scheda Esecuzioni.

    1. (Facoltativo) Per impostazione predefinita, la scheda Esecuzioni mostra le esecuzioni di DAG degli ultimi 10 giorni. Per filtrare le esecuzioni di DAG in base a un intervallo di tempo diverso, nel menu a discesa 10 giorni seleziona un intervallo di tempo e fai clic su OK.

    2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli dell'esecuzione di DAG nell'elenco di tutte le esecuzioni di DAG, fai clic su Opzioni di visualizzazione delle colonne, seleziona le colonne e fai clic su OK.

    3. Per visualizzare i dettagli e i log di un'esecuzione di DAG selezionata, seleziona un'esecuzione di DAG.

  5. Per visualizzare una visualizzazione del DAG con le dipendenze delle attività, seleziona la scheda Diagramma.

    1. Per visualizzare i dettagli delle attività, seleziona un'attività nel diagramma.

  6. Per visualizzare il codice sorgente del DAG, seleziona la scheda Codice.

  7. (Facoltativo) Per aggiornare i dati visualizzati, fai clic su Aggiorna.

Visualizzare tutti i DAG di Airflow

Per visualizzare i DAG di Airflow di tutti gli ambienti Managed Airflow 3 nel Google Cloud progetto:

  1. Nella Google Cloud console, vai alla pagina Pianificazione.

    Vai alla pagina Pianificazione

  2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli del DAG, fai clic su Opzioni di visualizzazione delle colonne, seleziona le colonne e fai clic su OK.

Mettere in pausa un DAG di Airflow

Per mettere in pausa un DAG di Airflow selezionato:

  1. Nella Google Cloud console, vai alla pagina Pianificazione.

    Vai alla pagina Pianificazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome del DAG selezionato, quindi nella pagina Dettagli DAG fai clic su Metti in pausa il DAG.

    • Nella riga contenente il DAG selezionato, fai clic su Visualizza azioni nella colonna Azioni e poi su Metti in pausa il DAG.

Risoluzione dei problemi

Per istruzioni sulla risoluzione dei problemi relativi ai DAG di Airflow, consulta Risolvere i problemi relativi ai DAG di Airflow nella documentazione di Managed Airflow.

Passaggi successivi