Managed Airflow (terza generazione) | Managed Airflow (seconda generazione) | Managed Airflow (prima generazione legacy)
Questa pagina spiega come abilitare e disabilitare il servizio Managed Service per Apache Airflow nel tuo Google Cloud progetto.
Per informazioni sulla gestione dei servizi su Google Cloud, consulta Abilitazione e disabilitazione dei servizi.
Per un elenco dei servizi richiesti da Managed Airflow nelle configurazioni dei Controlli di servizio VPC, consulta Configurare i Controlli di servizio VPC.
Servizi richiesti da Managed Service per Apache Airflow
Questa sezione descrive i servizi richiesti da Managed Airflow (seconda generazione). In alcuni casi, gli amministratori dell'organizzazione o del progetto possono limitare i servizi Google utilizzabili nei loro progetti.
I seguenti servizi sono richiesti da Managed Airflow (seconda generazione):
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com, se utilizzi chiavi Cloud KMS o CMEK
secretmanager.googleapis.com, se utilizzi Secret Manager come backend dei secret
artifactregistry.googleapis.com
cloudbuild.googleapis.com
container.googleapis.com
pubsub.googleapis.com
(Solo nelle versioni 2.0.* di Managed Airflow) deploymentmanager.googleapis.com
I servizi Google come Cloud DNS o IAM sono già consentiti per impostazione predefinita nella maggior parte dei progetti.
Abilitare il servizio Managed Airflow
Questa sezione descrive come abilitare il servizio Managed Airflow in tuo Google Cloud progetto.
Prima di abilitare il servizio
Per abilitare il servizio Managed Airflow, devi disporre delle autorizzazioni di Identity and Access Management corrette. Per scoprire di più sui requisiti IAM per Service Usage, consulta la pagina Service Usage per il controllo degli accessi.
Assicurati che la fatturazione sia abilitata nel tuo progetto.
Abilitare l'API Cloud Composer
Console
Abilita l'API Cloud Composer:
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai
creato il progetto, probabilmente hai già questa autorizzazione tramite il
ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il
ruolo Amministratore di Service Usage (roles/serviceusage.serviceUsageAdmin).
Scopri come concedere i ruoli.
gcloud
Abilita l'API composer.googleapis.com:
Ruoli richiesti per abilitare le API
Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai
creato il progetto, probabilmente hai già questa autorizzazione tramite il
ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il
ruolo Amministratore di Service Usage (roles/serviceusage.serviceUsageAdmin).
Scopri come concedere i ruoli.
gcloud services enable composer.googleapis.com
API
Utilizza il metodo services.enable per abilitare
l'API composer.googleapis.com.
Terraform
Utilizza la google_project_service
risorsa per configurare l'API composer.googleapis.com.
Abilitare le dipendenze di Managed Airflow (seconda generazione)
Per abilitare tutte le dipendenze richieste da Managed Airflow (seconda generazione), puoi abilitare il gruppo di servizi services/composer.googleapis.com/groups/dependencies@composer2 con il seguente comando Google Cloud CLI:
gcloud
Esegui il gcloud beta services enable comando:
gcloud beta services enable composer.googleapis.com \
--group dependencies@composer2
In alternativa, puoi abilitare manualmente le dipendenze aggiuntive richieste da Managed Airflow (seconda generazione), ad esempio tramite la Google Cloud console o Terraform:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
- sqladmin.googleapis.com
Abilitare i servizi richiesti dai DAG
Oltre ai servizi richiesti da Managed Airflow, abilita tutti i servizi utilizzati dai DAG, ad esempio:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
Puoi trovare i nomi *.googleapis.com dei servizi nelle pagine delle API collegate dalla pagina Esplora API.
Disabilitare il servizio Managed Airflow
Questa sezione descrive come disabilitare il servizio Managed Airflow in tuo Google Cloud progetto.
Prima di disabilitare il servizio
Per disabilitare il servizio Airflow gestito, devi disporre delle autorizzazioni di Identity and Access Management corrette. Per scoprire di più sui requisiti IAM per Service Usage, consulta la pagina Service Usage per il controllo degli accessi.
Assicurati che tutti gli ambienti Managed Airflow nel tuo progetto siano eliminati. La disabilitazione dell'API elimina in modo irreversibile le parti del progetto tenant degli ambienti Managed Airflow e questi ambienti diventano inutilizzabili.
Per evitare addebiti aggiuntivi, completa i seguenti passaggi per ogni ambiente prima di disabilitare l'API Cloud Composer:
- Metti in pausa i DAG.
- Se necessario, esporta i dati dell'ambiente, ad esempio i DAG dal bucket dell'ambiente.
- Elimina l'ambiente, incluse le risorse che non vengono eliminate automaticamente.
Disabilitare l'API Cloud Composer
Per disabilitare il servizio Managed Airflow:
Console
Nella Google Cloud console, vai alla pagina API Cloud Composer.
Fai clic su Gestisci.
Fai clic su Disabilita API.
gcloud
Esegui il gcloud services disable comando:
gcloud services disable composer.googleapis.com
API
Utilizza il services.disable metodo per disabilitare
l'API composer.googleapis.com.
Terraform
Rimuovi la configurazione per l'API composer.googleapis.com. In genere, utilizzi la google_project_service
risorsa per configurare i Google Cloud servizi.
Ritiro dei servizi non richiesti da Managed Airflow (terza generazione)
Stiamo eliminando gradualmente le API non richieste da Managed Airflow (terza generazione).
Le seguenti dipendenze API non sono ancora scollegate e la loro disattivazione dall'API Cloud Composer è prevista in futuro:
- sqladmin.googleapis.com
Le seguenti API sono diventate completamente rimovibili. La disattivazione di queste API non comporta la disattivazione dell'API Cloud Composer:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
Tutte le API elencate come scollegate non vengono più abilitate automaticamente quando abiliti l'API Cloud Composer. Per creare ambienti Airflow gestito (seconda generazione) in nuovi progetti, abilita il gruppo di API scollegate oltre all'API Cloud Composer.
Gli ambienti Airflow gestito (terza generazione) e Airflow gestito (seconda generazione) esistenti nei progetti in cui l'API Cloud Composer è già abilitata non sono interessati da questa modifica. Puoi:
Se il tuo progetto ha solo ambienti Managed Airflow (terza generazione), puoi disabilitare manualmente le API scollegate.
Se il tuo progetto ha ambienti Managed Airflow (seconda generazione), ti consigliamo di mantenere abilitate queste API perché la loro disabilitazione potrebbe causare un malfunzionamento dell'ambiente.
Se utilizzi script di automazione per il provisioning degli ambienti Airflow gestito (seconda generazione), assicurati che le API elencate siano abilitate oltre all'API Cloud Composer. Puoi abilitarle manualmente o con un comando gcloud CLI.