Acceso a la base de datos de Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se explica cómo conectarse a una instancia de Cloud SQL que ejecuta la base de datos de Airflow de tu entorno de Cloud Composer y que ejecuta consultas de SQL.

Por ejemplo, es posible que desees ejecutar consultas directamente en la base de datos de Airflow, hacer copias de seguridad de la base de datos, recopilar estadísticas basadas en el contenido de la base de datos o recuperar cualquier otra información personalizada de la base de datos.

Antes de comenzar

Ejecuta una consulta en SQL en la base de datos de Airflow

Para conectarte a la base de datos de Airflow, haz lo siguiente:

  1. Crea un DAG con uno o más operadores SQLExecuteQueryOperator. Para comenzar, puedes usar el DAG de ejemplo.

  2. En el parámetro sql del operador, especifica tu consulta en SQL.

  3. Sube este DAG a tu entorno.

  4. Activa el DAG. Por ejemplo, puedes hacerlo manualmente o esperar a que se ejecute según una programación.

Ejemplo de DAG:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Para obtener más información sobre el uso de SQLExecuteQueryOperator, consulta la Guía práctica para Postgres con SQLExecuteQueryOperator en la documentación de Airflow.

Vuelca el contenido de la base de datos y los transfiere a un bucket

¿Qué sigue?