Per promuovere con maggiore forza il successo e la crescente preferenza dei clienti per le soluzioni OSS, Cloud Composer si sta evolvendo in Managed Service per Apache Airflow. Questo cambio di nome migliora la comprensione del nostro portfolio da parte dei clienti e rafforza il nostro impegno a essere l'ecosistema cloud più aperto.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Configura gli ambienti con la norma di utilizzo Limita utilizzo endpoint

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Questa pagina spiega come creare ambienti Managed Airflow quando viene applicata la policy dell'organizzazione Limita utilizzo endpoint.

La policy dell'organizzazione constraints/gcp.restrictEndpointUsage limita gli endpoint API Google che possono essere utilizzati per accedere alle risorse. Ciò consente alle organizzazioni di imporre l'utilizzo di endpoint regionali o basati sulla posizione, ad esempio, per soddisfare i requisiti relativi alla permanenza dei dati in determinate aree geografiche.

Informazioni sulla norma di utilizzo degli endpoint in Managed Airflow

Quando crei un ambiente Managed Airflow in un progetto in cui la policy Limita l'utilizzo degli endpoint nega l'accesso agli endpoint globali per servizi come l'API Cloud Storage, l'API Cloud Logging, l'API Pub/Sub o l'API Data Lineage, Managed Airflow configura i componenti interni dell'ambiente in modo che utilizzino gli endpoint regionali (REP) corrispondenti per questi servizi.

Gli endpoint specifici utilizzati da un ambiente sono determinati dalla norma di utilizzo Limita utilizzo endpoint solo durante la creazione dell'ambiente. Questi endpoint non cambiano anche se la norma viene riconfigurata in un secondo momento.

Limitazione dei servizi richiesti dagli ambienti Managed Airflow

Quando la norma di utilizzo Limita utilizzo endpoint limita alcuni dei servizi richiesti da Managed Airflow, si applicano le seguenti limitazioni:

Log delle attività Airflow nella UI di Airflow

La UI di Airflow si basa sull'endpoint Cloud Logging globale (logging.googleapis.com) per visualizzare i log delle attività. Se neghi logging.googleapis.com nel criterio Limita l'utilizzo degli endpoint, i log delle attività non saranno disponibili nella UI di Airflow.

Questa limitazione si applica solo all'interfaccia utente di Airflow. Potrai comunque visualizzare i log delle attività nell'interfaccia utente DAG e i log dei worker Airflow nella console Google Cloud e in Cloud Logging.
Metriche dell'ambiente

Managed Airflow utilizza endpoint globali per Cloud Monitoring (monitoring.googleapis.com) perché alcune API Monitoring non supportano completamente gli endpoint regionali. La limitazione di monitoring.googleapis.com potrebbe influire su alcune metriche dell'ambiente.
Operatori Airflow nei DAG

Gli operatori Airflow che si connettono a un endpoint globale negato dalla norma di utilizzo Limita utilizzo endpoint non andranno a buon fine. Assicurati che tutti gli operatori Airflow nei tuoi DAG siano configurati per utilizzare endpoint regionali, se l'operatore lo supporta.

Prima di iniziare

Gli ambienti con la policy Limita utilizzo endpoint sono supportati in Managed Airflow (Gen 2) versione 2.16.7 e successive.

Configura il criterio Limita utilizzo endpoint

Per ulteriori informazioni ed esempi su come configurare la norma di utilizzo Limita utilizzo endpoint per negare l'accesso a endpoint globali specifici, consulta Limitazione dell'utilizzo degli endpoint.

Crea un ambiente IP pubblico con la norma di utilizzo Limita utilizzo endpoint

Gli ambienti Managed Airflow con IP pubblico non richiedono configurazioni aggiuntive. Segui questi passaggi:

Verifica che i servizi che vuoi regionalizzare abbiano endpoint regionali disponibili nelle regioni selezionate.
Assicurati che la policy Limita utilizzo endpoint sia già configurata e neghi gli endpoint globali per i servizi che intendi regionalizzare.
Crea un nuovo ambiente Managed Airflow.

L'ambiente utilizzerà endpoint regionali in base alla norma di utilizzo Limita utilizzo endpoint.

Crea un ambiente con indirizzi IP privati con la norma di utilizzo Limita utilizzo endpoint

Per creare un ambiente con la policy Limita utilizzo endpoint nella configurazione IP privato, devi configurare la rete VPC per risolvere e instradare il traffico agli endpoint regionali (REP) richiesti utilizzando Private Service Connect e Cloud DNS.

Per creare un ambiente con IP privato con la norma di utilizzo Limita utilizzo endpoint:

Verifica che i servizi che vuoi regionalizzare abbiano endpoint regionali disponibili nelle regioni selezionate.
Assicurati che la policy Limita utilizzo endpoint sia già configurata e neghi gli endpoint globali per i servizi che intendi regionalizzare.
Assicurati di avere già una rete VPC e una subnet da utilizzare per l'ambiente con IP privato.
Ripeti i passaggi di configurazione di rete per ciascuno dei seguenti servizi limitati dalla policy Limita utilizzo endpoint:
- storage.googleapis.com
- logging.googleapis.com
- pubsub.googleapis.com
- datalineage.googleapis.com
- Endpoint delle API di Google per tutti gli altri servizi utilizzati nei tuoi DAG.

Configura la rete IP privata per un servizio limitato dalla policy

Applica i seguenti passaggi agli endpoint regionali (REP) corrispondenti per qualsiasi servizio Google nel tuo progetto in cui l'accesso ai relativi endpoint globali è limitato.

Devi creare endpoint Private Service Connect per scegliere come target le varianti regionali di questi servizi, specificando la regione per l'ambiente Managed Airflow. Ad esempio, se il tuo ambiente si trova in us-central1, scegli storage.us-central1.rep.googleapis.com REP per Cloud Storage.

Per saperne di più su come utilizzare gli endpoint Private Service Connect per connetterti agli endpoint regionali delle API di Google supportate, consulta Accedere alle API di Google regionali tramite endpoint.

Crea un endpoint Private Service Connect

Nella console Google Cloud , vai alla pagina Private Service Connect.

Vai a Private Service Connect
Fai clic su Connetti endpoint.
Configura un endpoint Private Service Connect nel seguente modo:
- Destinazione: seleziona API di Google.
- Dettagli target:
  1. Ambito: seleziona Regional.
  2. Regione: seleziona la regione del tuo ambiente Managed Airflow.
  3. Servizio di destinazione: seleziona il servizio che stai configurando. In questo modo viene selezionato un REP nella regione selezionata.
  Esempio:
  
  Se il tuo ambiente si trova in us-central1 e stai configurando Cloud Storage, seleziona Iowa (us-central1) e Cloud Storage (storage.us-central1.rep.googleapis.com).
- Dettagli endpoint:
  1. Nome endpoint: un nome per l'endpoint.
    
    Esempio: psc-storage-endpoint-us-central1.
  2. Rete e subnet: seleziona la rete VPC e la subnet del tuo ambiente Managed Airflow.
  3. Indirizzo IP: scegli un indirizzo IP esistente o fai clic su Crea indirizzo IP per prenotare un nuovo indirizzo IP interno statico dalla subnet selezionata.
    
    Assegna a questo indirizzo IP un nome descrittivo. Utilizzerai questo indirizzo IP in un secondo momento per configurare un record DNS.
    
    Esempio: psc-storage-us-central1.
Fai clic su Aggiungi endpoint.

Crea una zona DNS privata

Nella console Google Cloud , vai alla pagina Cloud DNS.

Vai a Cloud DNS
Fai clic su Crea zona.
In Tipo di zona, seleziona Private.
Specifica la seguente configurazione:
- Nome zona: un nome per la zona.
  
  Esempio: storage-us-central1
- Nome DNS: un nome DNS. Includi il punto finale.
  
  Esempio: storage.us-central1.rep.googleapis.com.
- Reti: seleziona la rete VPC per l'ambiente Managed Airflow.
Fai clic su Crea.

Aggiungi un record DNS nella zona DNS creata

Nella console Google Cloud , vai alla pagina Cloud DNS.

Vai a Cloud DNS
Fai clic sul nome della zona che hai creato.
Fai clic su Aggiungi standard.
Configura il record DNS nel modo seguente:
- Nome DNS: specifica il sottodominio della zona DNS.
  
  Esempio: storage.us-central1.rep.googleapis.com
- Tipo di record di risorse: seleziona A.
- Indirizzo IPv4: seleziona l'indirizzo IP che hai assegnato all'endpoint Private Service Connect.
Fai clic su Crea.

Crea un ambiente Airflow gestito con IP privato

Dopo aver configurato tutti i servizi che verranno utilizzati dal tuo ambiente, procedi alla creazione di un ambiente con IP privato nella rete VPC e nella subnet selezionate.