Per promuovere con maggiore forza il successo e la crescente preferenza dei clienti per le soluzioni OSS, Cloud Composer si sta evolvendo in Managed Service per Apache Airflow. Questo cambio di nome migliora la comprensione del nostro portfolio da parte dei clienti e rafforza il nostro impegno a essere l'ecosistema cloud più aperto.

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Configura gli ambienti con la norma di utilizzo Limita utilizzo endpoint

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (legacy 1ª gen.)

Questa pagina spiega come creare ambienti Managed Airflow quando viene applicata la policy dell'organizzazione Limita utilizzo endpoint.

La policy dell'organizzazione constraints/gcp.restrictEndpointUsage limita gli endpoint API di Google che possono essere utilizzati per accedere alle risorse. In questo modo, le organizzazioni possono applicare l'utilizzo di endpoint di località o regionali, ad esempio per soddisfare i requisiti relativi alla permanenza dei dati all'interno di determinate aree geografiche.

Informazioni sulla norma di utilizzo degli endpoint in Managed Airflow

Quando crei un ambiente Managed Airflow in un progetto in cui la policy Limita l'utilizzo degli endpoint nega l'accesso agli endpoint globali per servizi come l'API Cloud Storage, l'API Cloud Logging, l'API Pub/Sub o l'API Data Lineage, Managed Airflow configura i componenti interni dell'ambiente in modo che utilizzino gli endpoint regionali (REP) corrispondenti per questi servizi.

Gli endpoint specifici utilizzati da un ambiente sono determinati dalla policy Limita utilizzo endpoint solo durante la creazione dell'ambiente. Questi endpoint non cambiano anche se la policy viene riconfigurata in un secondo momento.

Limitazione dei servizi richiesti dagli ambienti Managed Airflow

Quando la norma di utilizzo Limita utilizzo endpoint limita alcuni dei requisiti per i servizi richiesti da Managed Airflow, si applicano le seguenti limitazioni:

Log delle attività Airflow nell'interfaccia utente di Airflow

L'interfaccia utente di Airflow si basa sull'endpoint Cloud Logging globale (logging.googleapis.com) per visualizzare i log delle attività. Se neghi logging.googleapis.com nella policy Limita l'utilizzo degli endpoint, i log delle attività non saranno disponibili nell'interfaccia utente di Airflow.

Questa limitazione si applica solo all'interfaccia utente di Airflow. Potrai comunque visualizzare i log delle attività nella UI del DAG e i log dei worker Airflow nella console Google Cloud e in Cloud Logging.
Metriche dell'ambiente

Managed Airflow utilizza endpoint globali per Cloud Monitoring (monitoring.googleapis.com) perché alcune API Monitoring non supportano completamente gli endpoint regionali. La limitazione di monitoring.googleapis.com potrebbe influire su alcune metriche dell'ambiente.
Operatori Airflow nei tuoi DAG

Gli operatori Airflow che si connettono a un endpoint globale negato dalla policy Limita utilizzo endpoint non riusciranno. Assicurati che tutti gli operatori Airflow nei tuoi DAG siano configurati per utilizzare gli endpoint regionali, se l'operatore li supporta.
Chiavi di crittografia gestite dal cliente (CMEK)

L'utilizzo di chiavi di crittografia gestite dal cliente non è supportato insieme alla policy Limita utilizzo endpoint.

Prima di iniziare

Gli ambienti con policy Limita utilizzo endpoint sono supportati in Managed Airflow (Gen 2) versione 2.16.7 e successive.

Configura la norma di utilizzo Limita utilizzo endpoint

Per ulteriori informazioni ed esempi su come configurare la norma di utilizzo Limita utilizzo endpoint per negare l'accesso a endpoint globali specifici, consulta Limita utilizzo endpoint.

Crea un ambiente con IP pubblico con la norma di utilizzo Limita utilizzo endpoint

Gli ambienti Managed Airflow con IP pubblico non richiedono alcuna configurazione aggiuntiva. Segui questi passaggi:

Verifica che i servizi che vuoi regionalizzare abbiano endpoint regionali disponibili nelle regioni selezionate.
Assicurati che la policy Limita utilizzo endpoint sia già configurata e neghi gli endpoint globali per i servizi che intendi regionalizzare.
Crea un nuovo ambiente Managed Airflow.

L'ambiente utilizzerà gli endpoint regionali in base alla norma di utilizzo Limita utilizzo endpoint.

Crea un ambiente con IP privato con la norma di utilizzo Limita utilizzo endpoint

Per creare un ambiente con la policy Limita l'utilizzo degli endpoint nella configurazione con IP privato, devi configurare la rete VPC in modo che risolva e instradi il traffico agli endpoint regionali (REP) richiesti utilizzando Private Service Connect e Cloud DNS.

Per creare un ambiente con IP privato con la norma di utilizzo Limita utilizzo endpoint:

Verifica che i servizi che vuoi regionalizzare abbiano endpoint regionali disponibili nelle regioni selezionate.
Assicurati che la policy Limita utilizzo endpoint sia già configurata e neghi gli endpoint globali per i servizi che intendi regionalizzare.
Assicurati di avere già una rete VPC e una subnet che vuoi utilizzare per l'ambiente con IP privato.
Ripeti i passaggi di configurazione della rete per ciascuno dei seguenti servizi limitati dalla policy Limita utilizzo endpoint:
- storage.googleapis.com
- logging.googleapis.com
- pubsub.googleapis.com
- datalineage.googleapis.com
- Endpoint delle API di Google per tutti gli altri servizi utilizzati nei tuoi DAG.

Configura il networking con IP privato per un servizio limitato dalla policy

Applica i passaggi seguenti agli endpoint regionali (REP) corrispondenti per tutti i servizi Google nel tuo progetto in cui l'accesso agli endpoint globali è limitato.

Devi creare endpoint Private Service Connect per scegliere come target le varianti regionali di questi servizi, specificando la regione per il tuo ambiente Managed Airflow. Ad esempio, se il tuo ambiente si trova in us-central1, scegli come target la REP storage.us-central1.rep.googleapis.com per Cloud Storage.

Per saperne di più su come utilizzare gli endpoint Private Service Connect per connetterti agli endpoint regionali delle API di Google supportate, consulta Accedi alle API di Google regionali tramite endpoint.

Crea un endpoint Private Service Connect

Nella console Google Cloud , vai alla pagina Private Service Connect.

Vai a Private Service Connect
Fai clic su Connetti endpoint.
Configura un endpoint Private Service Connect come segue:
- Target: seleziona API di Google.
- Dettagli della destinazione:
  1. Ambito: seleziona Regional.
  2. Regione: seleziona la regione del tuo ambiente Managed Airflow.
  3. Servizio di destinazione: seleziona il servizio che stai configurando. In questo modo viene selezionato un REP nella regione selezionata.
  Esempio:
  
  Se il tuo ambiente si trova in us-central1 e stai configurando Cloud Storage, seleziona Iowa (us-central1) e Cloud Storage (storage.us-central1.rep.googleapis.com).
- Dettagli endpoint:
  1. Nome endpoint: un nome per l'endpoint.
    
    Esempio: psc-storage-endpoint-us-central1.
  2. Rete e subnet: seleziona la rete VPC e la subnet del tuo ambiente Managed Airflow.
  3. Indirizzo IP: scegli un indirizzo IP esistente o fai clic su Crea indirizzo IP per prenotare un nuovo indirizzo IP interno statico dalla subnet selezionata.
    
    Assegna a questo indirizzo IP un nome descrittivo. Utilizzerai questo indirizzo IP in un secondo momento per configurare un record DNS.
    
    Esempio: psc-storage-us-central1.
Fai clic su Aggiungi endpoint.

Crea una zona DNS privata

Nella console Google Cloud , vai alla pagina Cloud DNS.

Vai a Cloud DNS
Fai clic su Crea zona.
In Tipo di zona, seleziona Private.
Specifica la seguente configurazione:
- Nome zona: un nome per la zona.
  
  Esempio: storage-us-central1
- Nome DNS: un nome DNS. Includi il punto finale.
  
  Esempio: storage.us-central1.rep.googleapis.com.
- Reti: seleziona la rete VPC per il tuo ambiente Managed Airflow.
Fai clic su Crea.

Aggiungi un record DNS nella zona DNS creata

Nella console Google Cloud , vai alla pagina Cloud DNS.

Vai a Cloud DNS
Fai clic sul nome della zona che hai creato.
Fai clic su Aggiungi standard.
Configura il record DNS come segue:
- Nome DNS: specifica il sottodominio della zona DNS.
  
  Esempio: storage.us-central1.rep.googleapis.com
- Tipo di record di risorse: seleziona A.
- Indirizzo IPv4: seleziona l'indirizzo IP che hai assegnato all'endpoint Private Service Connect.
Fai clic su Crea.

Crea un ambiente Managed Airflow con IP privato

Dopo aver configurato tutti i servizi che verranno utilizzati dal tuo ambiente, procedi alla creazione di un ambiente con IP privato nella rete VPC e nella subnet selezionate.