Anular opciones de configuración de Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página se describe cómo anular las opciones de configuración de Airflow en entornos de Cloud Composer nuevos y actuales.

Cuando creas o actualizas un entorno, puedes sustituir las opciones de configuración de Apache Airflow por otros valores. De esta forma, puedes ajustar la instancia de Airflow a tus necesidades y requisitos.

Anular opciones de configuración de Airflow en entornos nuevos

Puede anular las opciones de configuración de Airflow al crear su entorno. Para obtener más información, consulta Crear entornos.

Anular opciones de configuración de Airflow en entornos

Consola

Para anular las opciones de configuración de Airflow de un entorno ya creado, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Entornos.

    Ir a Entornos

  2. En la lista de entornos, haz clic en el nombre del entorno. Se abrirá la página de detalles del entorno.

  3. Ve a la pestaña Anulaciones de configuración de Airflow.

  4. Haz clic en Editar.

  5. Introduce la sección, la clave y el valor de la opción de configuración de Airflow que quieras cambiar.

Por ejemplo:

Sección Clave Valor
webserver dag_orientation RL

gcloud

Los siguientes argumentos anulan las opciones de configuración de Airflow de un entorno:

  • --update-airflow-configs añade o cambia las anulaciones de configuración de Airflow especificadas.
  • --remove-airflow-configs elimina las anulaciones de configuración de Airflow especificadas.
  • --clear-airflow-configs elimina todas las anulaciones de configuración de Airflow.
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

Sustituye:

  • ENVIRONMENT_NAME con el nombre del entorno.
  • LOCATION con la región en la que se encuentra el entorno.
  • KEY con la sección de configuración y el nombre de la opción separados por un guion. Por ejemplo, webserver-dag_orientation.
  • VALUE con el valor correspondiente de una opción.

Por ejemplo:

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

Para anular las opciones de configuración de Airflow de un entorno ya creado, sigue estos pasos:

  1. Crea una solicitud de la API environments.patch.

  2. En esta solicitud:

    • Para sustituir todas las anulaciones de configuración de Airflow por las opciones especificadas, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.

    • Para anular una opción de configuración específica de Airflow, en el parámetro updateMask, especifica la máscara config.softwareConfig.airflowConfigOverrides.KEY. Sustituye KEY por la sección de configuración y el nombre de la opción separados por un guion. Por ejemplo, webserver-dag_orientation.

      Si quieres anular varias opciones de configuración de Airflow, en el parámetro updateMask, especifica varias máscaras separadas por comas.

  3. El cuerpo de la solicitud debe contener la lista de opciones de configuración de Airflow. Si vas a sustituir todas las anulaciones, asegúrate de incluir todas las que quieras conservar.

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

Sustituye:

  • KEY con la sección de configuración y el nombre de la opción separados por un guion. Por ejemplo, webserver-dag_orientation.
  • VALUE con el valor correspondiente de una opción.

En el siguiente ejemplo se anulan dos opciones de configuración de Airflow específicas:

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

El bloque airflow_config_overrides del bloque software_config controla las anulaciones de las opciones de configuración de Airflow de tu entorno:

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

Sustituye:

  • KEY con la sección de configuración y el nombre de la opción separados por un guion. Por ejemplo, webserver-dag_orientation.
  • VALUE con el valor correspondiente de una opción.

Ejemplo:

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

Siguientes pasos