Modificare il tipo di networking dell'ambiente (IP privato o pubblico)

Managed Airflow (terza generazione) | Managed Airflow (seconda generazione) | Managed Airflow (prima generazione legacy)

Questa pagina spiega la differenza tra i tipi di networking degli ambienti IP privato e IP pubblico in Managed Airflow (terza generazione) e fornisce istruzioni per cambiare il tipo di networking del tuo ambiente.

Se vuoi disattivare o attivare l'accesso a internet solo durante l'installazione dei pacchetti PyPI, consulta Configurare l'accesso a internet durante l'installazione dei pacchetti PyPI.

Se vuoi abilitare l'accesso alla tua rete VPC dal tuo ambiente, consulta Connettere un ambiente a una rete VPC.

Informazioni sui tipi di networking degli ambienti

Managed Airflow (terza generazione) utilizza due tipi di networking degli ambienti:

  • Networking IP pubblico:

  • Networking IP privato:

    • Il networking IP privato è un'opzione più sicura rispetto al networking IP pubblico.

    • I componenti Airflow dell'ambiente non hanno accesso a internet. Per gli ambienti collegati a una rete VPC, la configurazione di rete controlla l'accesso a internet.

    • Gli ambienti IP privato configurano l'accesso privato Google tramite l'intervallo private.googleapis.com, che consente l'accesso alle API, ai servizi e ai domini Google supportati da questo intervallo.

      Per ulteriori informazioni e per l'elenco dei servizi e dei domini disponibili tramite private.googleapis.com, consulta Configurazione di rete nella documentazione di Virtual Private Cloud.

    • Gli ambienti IP privato con Controlli di servizio VPC configurano l'accesso privato Google tramite l'restricted.googleapis.com intervallo, che consente l'accesso alle API, ai servizi e ai domini Google supportati da questo intervallo.

      Per ulteriori informazioni e per l'elenco dei servizi e dei domini disponibili tramite restricted.googleapis.com, consulta Configurazione di rete nella documentazione di Virtual Private Cloud.

    • Se un ambiente IP privato è collegato a una rete VPC personalizzata, tutto il traffico viene instradato alla rete VPC, ad eccezione del traffico verso le API, i servizi e i domini Google disponibili per gli ambienti IP privato tramite l'accesso privato Google. Questo approccio consente ai componenti Airflow di connettersi agli IP pubblici utilizzati privatamente (PUPI) in GKE, poiché il traffico verrà instradato tramite la rete VPC anziché essere inviato alla rete internet pubblica.

Confronto tra il networking di Managed Airflow (seconda generazione) e Managed Airflow (terza generazione)

In Managed Airflow (terza generazione), gli ambienti IP privato non richiedono alcuna configurazione.

Le seguenti funzionalità di networking di Managed Airflow (seconda generazione) non sono più pertinenti in Managed Airflow (terza generazione):

  • Configurazione del networking IP privato. Non devi specificare intervalli IP, reti o configurare la connettività e le regole firewall.

  • Configurazione di Private Service Connect. Non devi impostare intervalli per Private Service Connect in Managed Airflow (terza generazione).

  • Utilizzo di intervalli IP pubblici utilizzati privatamente. Questa funzionalità forniva un'opzione per estendere gli intervalli IP disponibili, che non sono necessari in Managed Airflow (terza generazione).

  • Utilizzo dell'agente di mascheramento IP. Non devi configurare la connettività del cluster in Managed Airflow (terza generazione).

  • Configurazione di reti autorizzate. Non è possibile accedere al cluster dell'ambiente in Managed Airflow (terza generazione).

La seguente configurazione DNS non è supportata in Managed Airflow (terza generazione):

  • Managed Airflow (terza generazione) non supporta una zona DNS .internal definita dall'utente. Se crei una zona DNS per .internal, non sarà possibile raggiungere quella zona.

Cambiare il tipo di networking dell'ambiente

Console

  1. Nella Google Cloud console, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome dell'ambiente. Si apre la pagina Dettagli ambiente.

  3. Vai alla scheda Configurazione ambiente.

  4. Nella sezione Configurazione di rete, trova l'elemento Tipo di networking e fai clic su Modifica.

  5. Nella finestra di dialogo Tipo di networking, seleziona:

    • Ambiente IP pubblico (predefinito) per il networking IP pubblico.
    • Ambiente IP privato per il networking IP privato.

  6. Fai clic su Salva.

gcloud

I seguenti argomenti di Google Cloud CLI modificano il tipo di networking dell'ambiente:

  • --enable-private-environment: passa al networking IP privato.
  • --disable-private-environment: passa al networking IP pubblico (predefinito).

Passa al networking IP privato:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-private-environment

Passa al networking IP pubblico:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-private-environment

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente.
  • LOCATION: la regione in cui si trova l'ambiente.

Esempio (IP privato):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment

Esempio (IP pubblico):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-private-environment

API

  1. Crea una richiesta API environments.patch.

  2. In questa richiesta:

    1. Nel parametro updateMask, specifica la maschera config.private_environment_config.enable_private_environment.

    2. Nel corpo della richiesta, nel campo enablePrivateEnvironment:

      • Specifica true per passare al networking IP privato.
      • Specifica false per passare al networking IP pubblico (predefinito).

Esempio (IP privato):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment

"config": {
  "privateEnvironmentConfig": {
    "enablePrivateEnvironment": true
  }
}

Terraform

Il campo enable_private_environment nel blocco config specifica il tipo di networking dell'ambiente:

  • true: networking IP privato.
  • false o omesso: networking IP pubblico (predefinito).
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    enable_private_environment = PRIVATE_IP_STATUS

  }
}

Sostituisci quanto segue:

  • ENVIRONMENT_NAME: il nome dell'ambiente.
  • LOCATION: la regione in cui si trova l'ambiente.
  • PRIVATE_IP_STATUS: true per IP privato, false per IP pubblico

Esempio (IP privato):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    enable_private_environment = true

    ... other configuration parameters
  }
}

Configurare le variabili del server proxy

Puoi impostare http_proxy e https_proxy variabili di ambiente nel tuo ambiente. Queste variabili Linux standard vengono utilizzate dai client web che vengono eseguiti nei container del cluster dell'ambiente per instradare il traffico tramite i proxy specificati.

Per impostazione predefinita, la variabile NO_PROXY è impostata su un elenco di domini Google, sull'indirizzo IP del server di metadati di Compute Engine del cluster dell'ambiente e su localhost, in modo che vengano esclusi dal proxy:

.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost

Questa configurazione consente di creare un ambiente con le variabili di ambiente http_proxy e https_proxy impostate nei casi in cui il proxy non è configurato per gestire il traffico verso i servizi Google.

Passaggi successivi