Accedere al database Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come connettersi a un'istanza Cloud SQL che esegue il database Airflow del tuo ambiente Cloud Composer ed eseguire query SQL.

Ad esempio, potresti voler eseguire query direttamente sul database Airflow, eseguire backup del database, raccogliere statistiche in base ai contenuti del database o recuperare qualsiasi altra informazione personalizzata dal database.

Prima di iniziare

Esegui una query SQL sul database Airflow

Per connetterti al database Airflow:

  1. Crea un DAG con uno o più operatori SQLExecuteQueryOperator. Per iniziare, puoi utilizzare il DAG di esempio.

  2. Nel parametro sql dell'operatore, specifica la query SQL.

  3. Carica questo DAG nel tuo ambiente.

  4. Attiva il DAG, ad esempio puoi farlo manualmente o attendere che venga eseguito in base a una pianificazione.

DAG di esempio:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Per saperne di più sull'utilizzo di SQLExecuteQueryOperator, consulta la guida pratica per Postgres che utilizza SQLExecuteQueryOperator nella documentazione di Airflow.

Esegui il dump dei contenuti del database e trasferiscili in un bucket

Passaggi successivi