Configura gli ambienti con la norma di utilizzo Limita utilizzo endpoint

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Questa pagina spiega come creare ambienti Managed Airflow quando viene applicata la policy dell'organizzazione Limita utilizzo endpoint.

La policy dell'organizzazione constraints/gcp.restrictEndpointUsage limita gli endpoint API Google che possono essere utilizzati per accedere alle risorse. In questo modo, le organizzazioni possono applicare l'utilizzo di endpoint locali o regionali, ad esempio per soddisfare i requisiti che prevedono che i dati rimangano all'interno di determinate aree geografiche.

Informazioni sulla norma di utilizzo degli endpoint in Managed Airflow

Quando crei un ambiente Managed Airflow in un progetto in cui la policy Limita utilizzo endpoint nega l'accesso agli endpoint globali per servizi come l'API Cloud Storage, l'API Cloud Logging, l'API Pub/Sub o l'API Data Lineage, Managed Airflow configura i componenti interni dell'ambiente in modo che utilizzino gli endpoint regionali (REP) corrispondenti per questi servizi.

Gli endpoint specifici utilizzati da un ambiente sono determinati dalla policy Limita utilizzo endpoint solo durante la creazione dell'ambiente. Questi endpoint non cambiano anche se la policy viene riconfigurata in un secondo momento.

Limitazione dei servizi richiesti dagli ambienti Managed Airflow

Quando la norma di utilizzo Limita utilizzo endpoint limita alcuni dei servizi richiesti da Managed Airflow, si applicano le seguenti limitazioni:

  • Log delle attività Airflow nella UI di Airflow

    La UI di Airflow si basa sull'endpoint globale di Cloud Logging (logging.googleapis.com) per visualizzare i log delle attività. Se neghi logging.googleapis.com nella policy Limita utilizzo endpoint, i log delle attività non saranno disponibili nella UI di Airflow.

    Questa limitazione si applica solo alla UI di Airflow. Potrai comunque visualizzare i log delle attività nella UI DAG e i log dei worker Airflow nella Google Cloud console e in Cloud Logging.

  • Metriche dell'ambiente

    Managed Airflow utilizza gli endpoint globali per Cloud Monitoring (monitoring.googleapis.com) perché alcune API Monitoring non supportano completamente gli endpoint regionali. La limitazione di monitoring.googleapis.com potrebbe influire su alcune metriche dell'ambiente.

  • Operatori Airflow nei DAG

    Gli operatori Airflow che si connettono a un endpoint globale negato dalla policy Limita utilizzo endpoint non andranno a buon fine. Assicurati che tutti gli operatori Airflow nei DAG siano configurati per utilizzare gli endpoint regionali, se l'operatore li supporta.

  • Chiavi di crittografia gestite dal cliente (CMEK)

    L'utilizzo delle chiavi di crittografia gestite dal cliente non è supportato insieme alla policy Limita utilizzo endpoint.

Prima di iniziare

  • Gli ambienti con la policy Limita utilizzo endpoint sono supportati nelle versioni 2.16.7 e successive di Managed Airflow (Gen 2).

Configurare la norma di utilizzo Limita utilizzo endpoint

Per ulteriori informazioni ed esempi su come configurare la norma di utilizzo Limita utilizzo endpoint per negare l'accesso a endpoint globali specifici, consulta Limitazione dell'utilizzo degli endpoint.

Creare un ambiente IP pubblico con la norma di utilizzo Limita utilizzo endpoint

Gli ambienti Managed Airflow con IP pubblico non richiedono alcuna configurazione aggiuntiva. Segui questi passaggi:

  1. Verifica che i servizi che vuoi regionalizzare abbiano endpoint regionali disponibili nelle regioni selezionate.

  2. Assicurati che la policy Limita utilizzo endpoint sia già configurata e neghi gli endpoint globali per i servizi che intendi regionalizzare.

  3. Crea un nuovo ambiente Managed Airflow.

    L'ambiente utilizzerà gli endpoint regionali in base alla norma di utilizzo Limita utilizzo endpoint.

Creare un ambiente IP privato con la norma di utilizzo Limita utilizzo endpoint

Per creare un ambiente con la norma di utilizzo Limita utilizzo endpoint nella configurazione IP privato, devi configurare la rete VPC in modo che risolva e instradi il traffico agli endpoint regionali (REP) richiesti utilizzando Private Service Connect e Cloud DNS.

Per creare un ambiente IP privato con la norma di utilizzo Limita utilizzo endpoint:

  1. Verifica che i servizi che vuoi regionalizzare abbiano endpoint regionali disponibili nelle regioni selezionate.

  2. Assicurati che la policy Limita utilizzo endpoint sia già configurata e neghi gli endpoint globali per i servizi che intendi regionalizzare.

  3. Assicurati di avere già una rete VPC e una subnet che vuoi utilizzare per l'ambiente IP privato.

  4. Ripeti i passaggi di configurazione della rete per ciascuno dei seguenti servizi limitati dalla policy Limita utilizzo endpoint:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Endpoint API Google per tutti gli altri servizi utilizzati nei DAG.

Configurare la rete IP privata per un servizio limitato dalla policy

Applica i seguenti passaggi agli endpoint regionali (REP) corrispondenti per tutti i servizi Google nel tuo progetto in cui l'accesso agli endpoint globali è limitato.

Devi creare endpoint Private Service Connect per indirizzare le varianti regionali di questi servizi, specificando la regione per l'ambiente Managed Airflow. Ad esempio, se l'ambiente si trova in us-central1, devi indirizzare il storage.us-central1.rep.googleapis.com REP per Cloud Storage.

Per saperne di più su come utilizzare gli endpoint Private Service Connect per connetterti agli endpoint regionali delle API di Google supportate, consulta Accedere alle API di Google regionali tramite endpoint.

Creare un endpoint Private Service Connect

  1. Nella Google Cloud console, vai alla pagina Private Service Connect.

    Vai a Private Service Connect

  2. Fai clic su Connetti endpoint.

  3. Configura un endpoint Private Service Connect nel seguente modo:

    • Target: seleziona API Google.

    • Dettagli target:

      1. Ambito: seleziona Regional.
      2. Regione: seleziona la regione dell'ambiente Managed Airflow.
      3. Servizio di destinazione: seleziona il servizio che stai configurando. Viene selezionato un REP nella regione selezionata.

      Esempio:

      Se l'ambiente si trova in us-central1 e stai configurando Cloud Storage, seleziona Iowa (us-central1) e Cloud Storage (storage.us-central1.rep.googleapis.com).

    • Dettagli endpoint:

      1. Nome endpoint: un nome per l'endpoint.

        Esempio: psc-storage-endpoint-us-central1.

      2. Rete e subnet: seleziona la rete VPC e la subnet dell'ambiente Managed Airflow.

      3. Indirizzo IP: scegli un indirizzo IP esistente o fai clic su Crea indirizzo IP per prenotare un nuovo indirizzo IP interno statico dalla subnet selezionata.

        Assegna a questo indirizzo IP un nome descrittivo. Utilizzerai questo indirizzo IP in un secondo momento per configurare un record DNS.

        Esempio: psc-storage-us-central1.

  4. Fai clic su Aggiungi endpoint.

Creare una zona DNS privata

  1. Nella Google Cloud console, vai alla pagina Cloud DNS.

    Vai a Cloud DNS

  2. Fai clic su Crea zona.

  3. In Tipo di zona, seleziona Private.

  4. Specifica la seguente configurazione:

    • Nome zona: un nome per la zona.

      Esempio: storage-us-central1

    • Nome DNS: un nome DNS. Includi il punto finale.

      Esempio: storage.us-central1.rep.googleapis.com.

    • Reti: seleziona la rete VPC per l'ambiente Managed Airflow.

  5. Fai clic su Crea.

Aggiungere un record DNS nella zona DNS creata

  1. Nella Google Cloud console, vai alla pagina Cloud DNS.

    Vai a Cloud DNS

  2. Fai clic sul nome della zona che hai creato.

  3. Fai clic su Aggiungi standard.

  4. Configura il record DNS nel seguente modo:

    • Nome DNS: specifica il sottodominio della zona DNS.

      Esempio: storage.us-central1.rep.googleapis.com

    • Tipo di record di risorse: seleziona A.

    • Indirizzo IPv4: seleziona l'indirizzo IP che hai assegnato al Private Service Connect endpoint.

  5. Fai clic su Crea.

Creare un ambiente Managed Airflow con IP privato

Dopo aver configurato tutti i servizi che verranno utilizzati dall'ambiente, procedi a creare un ambiente IP privato nella rete VPC e nella subnet selezionate.

Passaggi successivi