Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)
En esta página, se explica cómo habilitar e inhabilitar el servicio de Managed Service para Apache Airflow en tu proyecto de Google Cloud .
Para obtener información sobre la administración de servicios en Google Cloud, consulta Habilita o inhabilita servicios.
Para obtener una lista de los servicios que requiere Managed Airflow en las configuraciones de los Controles del servicio de VPC, consulta Configura los Controles del servicio de VPC.
Servicios que requiere Managed Service para Apache Airflow
En esta sección, se describen los servicios que requiere Managed Airflow (Legacy Gen 1). En algunos casos, los administradores de la organización o del proyecto pueden restringir qué servicios de Google se pueden usar en sus proyectos.
Los siguientes servicios son necesarios para Managed Airflow (heredado de 1ª gen.):
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
- cloudkms.googleapis.com, si usas claves de Cloud KMS o CMEK
secretmanager.googleapis.com, si usas Secret Manager como un backend de Secrets
deploymentmanager.googleapis.com
Los servicios de Google, como Cloud DNS o IAM, ya están permitidos de forma predeterminada en la mayoría de los proyectos.
Habilita el servicio de Managed Airflow
En esta sección, se describe cómo habilitar el servicio de Managed Airflow en tu proyecto de Google Cloud .
Antes de habilitar el servicio
Para habilitar el servicio de Managed Airflow, debes tener los permisos de Identity and Access Management correctos, que están disponibles en el rol de administrador de Service Usage.
Asegúrate de que la facturación esté habilitada en tu proyecto.
Habilitar la API de Cloud Composer
Console
Habilita la API de Cloud Composer:
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si
creaste el proyecto, es probable que ya tengas este permiso a través del
rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del
rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin).
Obtén más información para otorgar roles.
gcloud
composer.googleapis.comHabilita la API
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si
creaste el proyecto, es probable que ya tengas este permiso a través del
rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del
rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin).
Obtén más información para otorgar roles.
gcloud services enable composer.googleapis.com
API
Usa el método services.enable para habilitar
la API de composer.googleapis.com.
Terraform
Usa el recurso google_project_service para configurar la API de composer.googleapis.com.
Habilita los servicios que requieren tus DAG
Además de los servicios que requiere Managed Airflow, habilita todos los servicios que usan tus DAG, por ejemplo:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Puedes encontrar los nombres *.googleapis.com de los servicios en las páginas de la API vinculadas desde la página del Explorador de APIs.
Inhabilita el servicio de Managed Airflow
En esta sección, se describe cómo inhabilitar el servicio de Managed Airflow en tu proyecto de Google Cloud .
Antes de inhabilitar el servicio
Para inhabilitar el servicio de Managed Airflow, debes tener los permisos de Identity and Access Management correctos. Para obtener información sobre los requisitos de IAM para Service Usage, consulta la página de Service Usage sobre Control de acceso.
Asegúrate de que se borren todos los entornos de Managed Airflow en tu proyecto. Inhabilitar la API borra de forma irreversible las partes del proyecto de usuario de los entornos de Managed Airflow, y estos entornos se vuelven inutilizables.
A fin de evitar cargos adicionales, completa los siguientes pasos para cada entorno antes de inhabilitar la API de Cloud Composer:
- Pausa los DAG.
- Si es necesario, exporta los datos del entorno, como los DAG, desde el bucket del entorno.
- Borra tu entorno, incluidos los recursos que no se borran automáticamente.
Inhabilita la API de Cloud Composer
Para inhabilitar el servicio de Managed Airflow, haz lo siguiente:
Console
En la consola de Google Cloud , ve a la página API de Cloud Composer.
Haz clic en Manage.
Haz clic en Inhabilitar API.
gcloud
Ejecuta el comando gcloud services disable:
gcloud services disable composer.googleapis.com
API
Usa el método services.disable para inhabilitar
la API de composer.googleapis.com.
Terraform
Quita la configuración de la API de composer.googleapis.com. Por lo general,
usas el recurso google_project_service
para configurar los servicios de Google Cloud .
Baja de los servicios que no requiere Managed Airflow (3ª gen.)
Estamos eliminando de forma gradual las APIs que no requiere Managed Airflow (3ª gen.).
Las siguientes dependencias de la API aún no se desconectaron y están programadas para desconectarse de la API de Cloud Composer en el futuro:
- sqladmin.googleapis.com
- pubsub.googleapis.com
Las siguientes APIs se volvieron completamente desconectables. Desactivar estas APIs no provocará la desactivación de la API de Cloud Composer:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
Todas las APIs que se indican como desconectadas ya no se habilitan automáticamente cuando habilitas la API de Cloud Composer. Para crear entornos de Managed Airflow (Gen 2) en proyectos nuevos, habilita el grupo de APIs independientes además de la API de Cloud Composer.
Los entornos existentes de Managed Airflow (Gen 3) y Managed Airflow (Gen 2) en proyectos en los que la API de Cloud Composer ya está habilitada no se ven afectados por este cambio. También puedes realizar las siguientes acciones:
Si tu proyecto solo tiene entornos de Managed Airflow (3ª gen.), puedes inhabilitar de forma manual las APIs desconectadas.
Si tu proyecto tiene entornos de Managed Airflow (2ª gen.), te recomendamos que mantengas estas APIs habilitadas, ya que inhabilitarlas podría provocar un mal funcionamiento del entorno.
Si usas secuencias de comandos de automatización para aprovisionar entornos de Managed Airflow (2ª gen.), asegúrate de que las APIs de la lista estén habilitadas, además de la API de Cloud Composer. Puedes habilitarlas de forma manual o con un comando de gcloud CLI.