Netzwerktyp der Umgebung ändern (private oder öffentliche IP)

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird der Unterschied zwischen den Netzwerktypen „Private IP“ und „Public IP“ in Managed Airflow (3. Generation) erläutert. Außerdem finden Sie hier eine Anleitung zum Ändern des Netzwerktyps Ihrer Umgebung.

Wenn Sie den Internetzugriff nur bei der Installation von PyPI-Paketen deaktivieren oder aktivieren möchten, lesen Sie den Abschnitt Internetzugriff bei der Installation von PyPI-Paketen konfigurieren.

Wenn Sie den Zugriff auf Ihr VPC-Netzwerk über Ihre Umgebung aktivieren möchten, lesen Sie den Abschnitt Umgebung mit einem VPC-Netzwerk verbinden.

Netzwerktypen für Umgebungen

Für Managed Airflow (Gen 3) werden zwei Arten von Umgebungsnetzwerken verwendet:

  • Öffentliche IP-Netzwerke:

    • Airflow-Komponenten der Umgebung können auf das Internet zugreifen. Dies ist der Standard-Netzwerktyp.

    • Airflow-Komponenten in Umgebungen mit öffentlichen IP-Adressen stellen ausgehende Verbindungen über automatisch zugewiesene öffentliche IP-Adressen und Ports her. Wenn Sie möchten, dass Ihre Umgebungen mit öffentlicher IP-Adresse vordefinierte IP-Adressen und Ports verwenden, können Sie dies tun, indem Sie ein VPC-Netzwerk mit Ihrer Umgebung verbinden und auf private IP-Adressen umstellen. In diesem Fall leitet Managed Airflow den gesamten Traffic mit Ausnahme des Traffics zu Google-Diensten über dieses Netzwerk weiter.

  • Private IP-Netzwerke:

    • Private IP-Netzwerke sind im Vergleich zu öffentlichen IP-Netzwerken eine sicherere Option.

    • Die Airflow-Komponenten der Umgebung haben keinen Zugriff auf das Internet. Bei Umgebungen, die mit einem VPC-Netzwerk verbunden sind, wird der Internetzugriff über die Netzwerkkonfiguration gesteuert.

    • In Umgebungen mit privaten IP-Adressen wird der privater Google-Zugriff über den Bereich private.googleapis.com konfiguriert. Dadurch wird der Zugriff auf Google APIs, Dienste und Domains ermöglicht, die von diesem Bereich unterstützt werden.

      Weitere Informationen und eine Liste der Dienste und Domains, die über private.googleapis.com verfügbar sind, finden Sie in der Virtual Private Cloud-Dokumentation unter Netzwerkkonfiguration.

    • In Umgebungen mit privaten IP-Adressen und VPC Service Controls wird der privater Google-Zugriff über den Bereich restricted.googleapis.com konfiguriert. Dadurch wird der Zugriff auf Google APIs, Dienste und Domains ermöglicht, die von diesem Bereich unterstützt werden.

      Weitere Informationen und eine Liste der Dienste und Domains, die über restricted.googleapis.com verfügbar sind, finden Sie in der Virtual Private Cloud-Dokumentation unter Netzwerkkonfiguration.

    • Wenn eine Umgebung mit privaten IP-Adressen mit einem benutzerdefinierten VPC-Netzwerk verbunden ist, wird der gesamte interne Traffic an das VPC-Netzwerk weitergeleitet, mit Ausnahme des Traffics zu Google APIs, Diensten und Domains, die für Umgebungen mit privaten IP-Adressen über den privater Google-Zugriff verfügbar sind.

Netzwerk von Managed Airflow (Gen 2) im Vergleich zu Managed Airflow (Gen 3)

In Managed Airflow (3. Generation) ist für Umgebungen mit privater IP-Adresse keine Konfiguration erforderlich.

Die folgenden Netzwerkfunktionen von Managed Airflow (Gen 2) sind in Managed Airflow (Gen 3) nicht mehr relevant:

  • Private IP-Netzwerke konfigurieren Sie müssen keine IP-Bereiche oder Netzwerke angeben und keine Konnektivitäts- und Firewallregeln konfigurieren.

  • Private Service Connect konfigurieren In Managed Airflow (3. Generation) müssen Sie keine Bereiche für Private Service Connect festlegen.

  • Privat verwendete öffentliche IP-Bereiche verwenden. Mit dieser Funktion konnte man die verfügbaren IP-Bereiche erweitern. Das ist in Managed Airflow (Gen 3) nicht erforderlich.

  • IP-Masquerade-Agent verwenden Sie müssen die Clusterverbindung in Managed Airflow (Gen 3) nicht konfigurieren.

  • Autorisierte Netzwerke konfigurieren In Managed Airflow (Gen 3) ist es nicht möglich, auf den Cluster der Umgebung zuzugreifen.

Die folgende DNS-Konfiguration wird in Managed Airflow (3. Generation) nicht unterstützt:

  • Managed Airflow (Gen 3) unterstützt keine benutzerdefinierte .internal-DNS-Zone. Wenn Sie eine DNS-Zone für .internal erstellen, kann diese Zone nicht erreicht werden.

Netzwerktyp der Umgebung ändern

Console

  1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

    Zur Seite Umgebungen

  2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

  3. Rufen Sie den Tab Umgebungskonfiguration auf.

  4. Suchen Sie im Bereich Netzwerkkonfiguration nach dem Element Netzwerktyp und klicken Sie auf Bearbeiten.

  5. Wählen Sie im Dialogfeld Netzwerktyp Folgendes aus:

    • Umgebung mit öffentlicher IP (Standard) für die Vernetzung über öffentliche IP-Adressen.
    • Umgebung mit privater IP für die Netzwerkkommunikation mit privater IP.

  6. Klicken Sie auf Speichern.

gcloud

Mit den folgenden Google Cloud CLI-Argumenten wird der Netzwerktyp der Umgebung geändert:

  • --enable-private-environment: Änderungen an privaten IP-Netzwerken.
  • --disable-private-environment: Änderungen an öffentlichen IP-Netzwerken (Standard).

Auf privates IP-Netzwerk umstellen:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --enable-private-environment

So wechseln Sie zu einem öffentlichen IP-Netzwerk:

gcloud beta composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --disable-private-environment

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name der Umgebung.
  • LOCATION: die Region, in der sich die Umgebung befindet.

Beispiel (private IP):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --enable-private-environment

Beispiel (öffentliche IP-Adresse):

gcloud beta composer environments update example-environment \
  --location us-central1 \
  --disable-private-environment

API

  1. Erstellen Sie eine environments.patch-API-Anfrage.

  2. In dieser Anfrage:

    1. Geben Sie im updateMask-Parameter die config.private_environment_config.enable_private_environment-Maske an.

    2. Geben Sie im Anfragetext im Feld enablePrivateEnvironment Folgendes an:

      • Geben Sie true an, um zum privaten IP-Netzwerk zu wechseln.
      • Geben Sie false an, um zum Netzwerk mit öffentlicher IP-Adresse (Standard) zu wechseln.

Beispiel (private IP):

// PATCH https://composer.googleapis.com/v1beta1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.private_environment_config.enable_private_environment

"config": {
  "privateEnvironmentConfig": {
    "enablePrivateEnvironment": true
  }
}

Terraform

Das Feld enable_private_environment im Block config gibt den Netzwerktyp der Umgebung an:

  • true: Private IP-Netzwerke.
  • false oder weggelassen: Öffentliches IP-Netzwerk (Standard).
resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {

    enable_private_environment = PRIVATE_IP_STATUS

  }
}

Ersetzen Sie Folgendes:

  • ENVIRONMENT_NAME: der Name Ihrer Umgebung
  • LOCATION: die Region, in der sich die Umgebung befindet.
  • PRIVATE_IP_STATUS: true für private IP-Adresse, false für öffentliche IP-Adresse

Beispiel (private IP):

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {

    enable_private_environment = true

    ... other configuration parameters
  }
}

Proxyservervariablen konfigurieren

Sie können http_proxy- und https_proxy-Umgebungsvariablen in Ihrer Umgebung festlegen. Diese Standard-Linux-Variablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um den Traffic über die angegebenen Proxys weiterzuleiten.

Die Variable NO_PROXY ist standardmäßig auf eine Liste von Google-Domains, die IP-Adresse des Compute Engine-Metadatenservers des Cluster der Umgebung und localhost festgelegt, damit sie vom Proxying ausgeschlossen werden:

.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost

Diese Konfiguration ermöglicht es, eine Umgebung mit festgelegten Umgebungsvariablen http_proxy und https_proxy zu erstellen, wenn der Proxy nicht für die Verarbeitung von Traffic zu Google-Diensten konfiguriert ist.

Nächste Schritte