Accéder à la base de données Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique comment se connecter à une instance Cloud SQL qui exécute la base de données Airflow de votre environnement Cloud Composer et exécuter des requêtes SQL.

Par exemple, vous pouvez exécuter des requêtes directement sur la base de données Airflow, effectuer des sauvegardes de la base de données, collecter des statistiques en fonction du contenu de la base de données ou récupérer d'autres informations personnalisées de la base de données.

Avant de commencer

Exécuter une requête SQL sur la base de données Airflow

Pour vous connecter à la base de données Airflow :

  1. Créez un DAG avec un ou plusieurs opérateurs SQLExecuteQueryOperator. Pour commencer, vous pouvez utiliser l'exemple de DAG.

  2. Dans le paramètre sql de l'opérateur, spécifiez votre requête SQL.

  3. Importez ce DAG dans votre environnement.

  4. Déclenchez le DAG. Par exemple, vous pouvez le faire manuellement ou attendre qu'il s'exécute selon une planification.

Exemple de DAG :

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Pour en savoir plus sur l'utilisation de SQLExecuteQueryOperator, consultez le guide pratique pour Postgres à l'aide de SQLExecuteQueryOperator dans la documentation Airflow.

Vider le contenu de la base de données et le transférer dans un bucket

Étapes suivantes