Privates IP-Netzwerk konfigurieren

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite finden Sie Informationen zum Konfigurieren des Netzwerks Ihres Google Cloud-Projekts für Umgebungen mit privaten IP-Adressen.

In Umgebungen mit privaten IP-Adressen weist Managed Airflow den verwalteten Google Kubernetes Engine- und Cloud SQL-VMs in Ihrer Umgebung nur private IP-Adressen (RFC 1918) zu.

Optional können Sie auch privat verwendete öffentliche IP-Adressen und den IP-Masquerade-Agenten verwenden, um IP-Adressbereich zu sparen und Adressen außerhalb des RFC 1918-Bereichs zu verwenden.

Informationen zum Herstellen einer Verbindung zu Ressourcen in der Umgebung finden Sie unter Private IP-Umgebung in Cloud Composer.

Umgebungen mit Private Service Connect und VPC-Peerings

Standardmäßig wird für Managed Airflow (Gen 2) Private Service Connect verwendet, damit Ihre privaten IP-Umgebungen intern ohne VPC-Peerings kommunizieren, sofern Sie beim Erstellen Ihrer Umgebung nichts anderes angeben.

Wir empfehlen, Umgebungen mit Private Service Connect zu verwenden, wenn Sie keine besonderen Anforderungen für die Verwendung von Umgebungen mit VPC-Peerings haben.

Hinweis

Netzwerkanforderungen prüfen

Prüfen Sie, ob das VPC-Netzwerk Ihres Projekts die folgenden Anforderungen erfüllt:

  • Achten Sie darauf, dass es keine Konflikte bei privaten IP-Blöcken gibt. Wenn Ihr VPC-Netzwerk und die eingerichteten VPC-Peers sich überschneidende IP-Blöcke mit dem VPC-Netzwerk im von Google verwalteten Mandantenprojekt haben, kann Managed Airflow Ihre Umgebung nicht erstellen. Die Standardwerte für die einzelnen Regionen finden Sie in der Tabelle mit den Standard-IP-Bereichen.

  • Achten Sie darauf, dass genügend sekundäre IP-Bereiche für die Managed Airflow-GKE-Pods und -Dienste vorhanden sind. GKE sucht für das IP-Aliasing nach sekundären IP-Bereichen. Wenn die GKE keinen Bereich findet, kann Managed Airflow Ihre Umgebung nicht erstellen.

  • Sorgen Sie dafür, dass nicht mehr als 30 sekundäre Bereiche in Ihrem Subnetzwerk vorhanden sind. Beachten Sie dabei Folgendes:

    • Der GKE-Cluster der privaten IP-Umgebung erstellt zwei sekundäre Bereiche im Subnetzwerk. Sie können für dasselbe VPC-Netzwerk mehrere Subnetzwerke in derselben Region erstellen.
    • Es werden maximal 30 sekundäre Bereiche unterstützt. Für jede Umgebung mit privater IP-Adresse sind zwei sekundäre Bereiche für die Managed Airflow-GKE-Pods und -Dienste erforderlich.

  • Achten Sie darauf, dass das Netzwerk Ihres Projekts das Limit für die maximale Anzahl von Verbindungen zu einem einzelnen VPC-Netzwerk einhält. Die maximal erstellbare Zahl privater IP-Umgebungen hängt von der Anzahl der bereits vorhandenen VPC-Peering-Verbindungen in Ihrem VPC-Netzwerk ab.

Netzwerk, Subnetzwerk und Netzwerkbereiche wählen

Wählen Sie die Netzwerkbereiche für Ihre private IP-Umgebung aus oder verwenden Sie die Standardbereiche. Sie verwenden diese Netzwerkbereiche später, wenn Sie eine private IP-Umgebung erstellen.

Zum Erstellen einer Private-IP-Umgebung benötigen Sie folgende Informationen:

  • Ihre VPC-Netzwerk-ID
  • Ihre VPC-Subnetzwerk-ID
  • Zwei sekundäre IP-Bereiche in Ihrem VPC-Subnetzwerk:
    • Sekundärer IP-Bereich für Pods
    • Sekundärer IP-Bereich für Dienste

  • IP-Bereiche für die Komponenten der Umgebung:

    Wenn Ihre Umgebung Private Service Connect verwendet:

    • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.

      Wenn Sie den IP-Bereich der GKE-Ebene für eine Umgebung angeben, erstellt GKE ein neues Subnetzwerk in diesem Bereich, um die IP-Adresse für die Kommunikation mit der GKE-Steuerungsebene bereitzustellen. Andernfalls wird das Subnetzwerk verwendet, das im Subnetzwerkbereich der Managed Airflow-Verbindung angegeben ist.

    • Subnetzwerk der Managed Airflow-Verbindung. IP-Bereich für das Subnetzwerk der Managed Airflow-Verbindung. Sie können einen Bereich von nur zwei IP-Adressen angeben. Dieser Bereich kann von mehreren Umgebungen in Ihrem Projekt verwendet werden. Standardmäßig ist dieser Bereich das Subnetzwerk der Umgebung (VPC-Subnetzwerk-ID).

    Wenn Ihre Umgebung VPC-Peerings verwendet:

    • IP-Bereich der GKE-Steuerungsebene. IP-Bereich für die GKE-Steuerungsebene.
    • IP-Bereich für das Managed Airflow-Mandantennetzwerk. IP-Bereich für das Mandantennetzwerk von Managed Airflow. In diesem Netzwerk wird die SQL-Proxy-Komponente Ihrer Umgebung gehostet.

    • Cloud SQL-IP-Bereich IP-Bereich für die Cloud SQL-Instanz.

Die Standardwerte für die einzelnen Regionen finden Sie in der Tabelle mit den Standard-IP-Bereichen.

Standard-IP-Bereiche

Umgebungen mit Private Service Connect

Region IP-Bereich der GKE-Steuerungsebene
africa-south1 172.16.64.0/23
asia-east1 172.16.42.0/23
asia-east2 172.16.0.0/23
asia-northeast1 172.16.2.0/23
asia-northeast2 172.16.32.0/23
asia-northeast3 172.16.30.0/23
asia-south1 172.16.4.0/23
asia-south2 172.16.50.0/23
asia-southeast1 172.16.40.0/23
asia-southeast2 172.16.44.0/23
australia-southeast1 172.16.6.0/23
australia-southeast2 172.16.56.0/23
europe-central2 172.16.36.0/23
europe-north1 172.16.48.0/23
europe-southwest1 172.16.58.0/23
europe-west1 172.16.8.0/23
europe-west10 172.16.62.0/23
europe-west12 172.16.62.0/23
europe-west2 172.16.10.0/23
europe-west3 172.16.12.0/23
europe-west4 172.16.42.0/23
europe-west6 172.16.14.0/23
europe-west8 172.16.60.0/23
europe-west9 172.16.46.0/23
me-central1 172.16.58.0/23
me-central2 172.16.64.0/23
me-west1 172.16.54.0/23
northamerica-northeast1 172.16.16.0/23
northamerica-northeast2 172.16.46.0/23
northamerica-south1 172.16.68.0/23
southamerica-east1 172.16.18.0/23
southamerica-west1 172.16.58.0/23
us-central1 172.16.20.0/23
us-east1 172.16.22.0/23
us-east4 172.16.24.0/23
us-east5 172.16.52.0/23
us-south1 172.16.56.0/23
us-west1 172.16.38.0/23
us-west2 172.16.34.0/23
us-west3 172.16.26.0/23
us-west4 172.16.28.0/23

Umgebungen mit VPC-Peerings

Region IP-Bereich der GKE-Steuerungsebene IP-Bereich des Managed Airflow-Mandantennetzwerks Cloud SQL-IP-Bereich
africa-south1 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
asia-east1 172.16.42.0/23 172.31.255.0/24 10.0.0.0/12
asia-east2 172.16.0.0/23 172.31.255.0/24 10.0.0.0/12
asia-northeast1 172.16.2.0/23 172.31.254.0/24 10.0.0.0/12
asia-northeast2 172.16.32.0/23 172.31.239.0/24 10.0.0.0/12
asia-northeast3 172.16.30.0/23 172.31.240.0/24 10.0.0.0/12
asia-south1 172.16.4.0/23 172.31.253.0/24 10.0.0.0/12
asia-south2 172.16.50.0/23 172.31.230.0/24 10.0.0.0/12
asia-southeast1 172.16.40.0/23 172.31.235.0/24 10.0.0.0/12
asia-southeast2 172.16.44.0/23 172.31.233.0/24 10.0.0.0/12
australia-southeast1 172.16.6.0/23 172.31.252.0/24 10.0.0.0/12
australia-southeast2 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
europe-central2 172.16.36.0/23 172.31.237.0/24 10.0.0.0/12
europe-north1 172.16.48.0/23 172.31.231.0/24 10.0.0.0/12
europe-southwest1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
europe-west1 172.16.8.0/23 172.31.251.0/24 10.0.0.0/12
europe-west10 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west12 172.16.62.0/23 172.31.224.0/24 10.0.0.0/12
europe-west2 172.16.10.0/23 172.31.250.0/24 10.0.0.0/12
europe-west3 172.16.12.0/23 172.31.249.0/24 10.0.0.0/12
europe-west4 172.16.42.0/23 172.31.234.0/24 10.0.0.0/12
europe-west6 172.16.14.0/23 172.31.248.0/24 10.0.0.0/12
europe-west8 172.16.60.0/23 172.31.225.0/24 10.0.0.0/12
europe-west9 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
me-central1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
me-central2 172.16.64.0/23 172.31.223.0/24 10.0.0.0/12
me-west1 172.16.54.0/23 172.31.228.0/24 10.0.0.0/12
northamerica-northeast1 172.16.16.0/23 172.31.247.0/24 10.0.0.0/12
northamerica-northeast2 172.16.46.0/23 172.31.232.0/24 10.0.0.0/12
northamerica-south1 172.16.68.0/23 172.31.221.0/24 10.0.0.0/12
southamerica-east1 172.16.18.0/23 172.31.246.0/24 10.0.0.0/12
southamerica-west1 172.16.58.0/23 172.31.226.0/24 10.0.0.0/12
us-central1 172.16.20.0/23 172.31.245.0/24 10.0.0.0/12
us-east1 172.16.22.0/23 172.31.244.0/24 10.0.0.0/12
us-east4 172.16.24.0/23 172.31.243.0/24 10.0.0.0/12
us-east5 172.16.52.0/23 172.31.229.0/24 10.0.0.0/12
us-south1 172.16.56.0/23 172.31.227.0/24 10.0.0.0/12
us-west1 172.16.38.0/23 172.31.236.0/24 10.0.0.0/12
us-west2 172.16.34.0/23 172.31.238.0/24 10.0.0.0/12
us-west3 172.16.26.0/23 172.31.242.0/24 10.0.0.0/12
us-west4 172.16.28.0/23 172.31.241.0/24 10.0.0.0/12

(Optional) Verbindung zu Google APIs und Google-Diensten konfigurieren

Optional können Sie den gesamten Traffic zu Google APIs und Google-Diensten über mehrere IP-Adressen weiterleiten, die zur Domain private.googleapis.com gehören. In dieser Konfiguration greift Ihre Umgebung über IP-Adressen, die nur innerhalb von Google Cloudroutingfähig sind, auf Google APIs und Google-Dienste zu.

Wenn in Ihrer Umgebung mit privater IP-Adresse auch VPC Service Controls verwendet wird, folgen Sie stattdessen der Anleitung für Umgebungen mit VPC Service Controls.

In verwalteten Airflow-Umgebungen werden die folgenden Domains verwendet:

  • *.googleapis.com wird für den Zugriff auf andere Google-Dienste verwendet.

  • *.composer.cloud.google.com wird verwendet, um den Airflow-Webserver Ihrer Umgebung zugänglich zu machen. Diese Regel muss angewendet werden, bevor Sie eine Umgebung erstellen.

    • Alternativ können Sie eine Regel für eine bestimmte Region erstellen. Verwenden Sie dazu REGION.composer.cloud.google.com. Ersetzen Sie REGION durch die Region, in der sich die Umgebung befindet, z. B. us-central1.

  • (Optional) *.composer.googleusercontent.com wird beim Zugriff auf den Airflow-Webserver Ihrer Umgebung verwendet. Diese Regel ist nur erforderlich, wenn Sie von einer Instanz, die im VPC-Netzwerk ausgeführt wird, auf den Airflow-Webserver zugreifen. Andernfalls ist sie nicht erforderlich. Ein häufiges Szenario für diese Regel ist, wenn Sie die Airflow REST API aus dem VPC-Netzwerk aufrufen möchten.

    • Alternativ können Sie eine Regel für eine bestimmte Umgebung erstellen. Verwenden Sie dazu ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com. Ersetzen Sie ENVIRONMENT_WEB_SERVER_NAME durch den eindeutigen Teil der Airflow-UI-URL Ihrer Umgebung, z. B. bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

  • *.pkg.dev wird verwendet, um Umgebungs-Images abzurufen, z. B. beim Erstellen oder Aktualisieren einer Umgebung.

  • *.gcr.io GKE erfordert unabhängig von der Managed Airflow-Version eine Verbindung zur Container Registry-Domain.

Konfigurieren Sie die Verbindung zum private.googleapis.com-Endpunkt.

Domain DNS-Name CNAME-Eintrag A-Eintrag
*.googleapis.com googleapis.com. DNS-Name: *.googleapis.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: googleapis.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com composer.cloud.google.com. DNS-Name: *.composer.cloud.google.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: composer.cloud.google.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com
(optional, siehe Beschreibung) 		composer.googleusercontent.com. DNS-Name: *.composer.googleusercontent.com.
Ressourceneintragstyp: CNAME
Kanonischer Name: composer.googleusercontent.com.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev pkg.dev. DNS-Name: *.pkg.dev.
Ressourceneintragstyp: CNAME
Kanonischer Name: pkg.dev.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io gcr.io. DNS-Name: *.gcr.io.
Ressourceneintragstyp: CNAME
Kanonischer Name: gcr.io.
 Ressourceneintragstyp: A
IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

So erstellen Sie eine DNS-Regel:

  1. Erstellen Sie eine neue DNS-Zone und verwenden Sie DNS-Name als DNS-Namen dieser Zone.

    Beispiel: pkg.dev.

  2. Fügen Sie einen Datensatz für den CNAME-Eintrag hinzu.

    Beispiel:

    • DNS-Name: *.pkg.dev.
    • Ressourceneintragstyp: CNAME
    • Kanonischer Name: pkg.dev.

  3. Fügen Sie einen Datensatz für den A-Eintrag hinzu:

    Beispiel:

    • Ressourceneintragstyp: A
    • IPv4-Adressen: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Weitere Informationen finden Sie unter Private Konnektivität zu Google APIs und Google-Diensten einrichten.

(Optional) Firewallregeln konfigurieren

Führen Sie diesen Schritt nur aus, wenn Ihr Projekt nicht standardmäßige Firewallregeln enthält, z. B. Regeln, die implizierte Firewallregeln überschreiben, oder vorab ausgefüllte Regeln im Standardnetzwerk ändern.

Beispielsweise kann Managed Airflow möglicherweise keine Umgebung erstellen, wenn Sie eine Firewallregel haben, die den gesamten ausgehenden Traffic ablehnt. Um Probleme zu vermeiden, definieren Sie selektive allow-Regeln, die der Liste folgen und eine höhere Priorität als die globale deny-Regel haben.

Konfigurieren Sie Ihr VPC-Netzwerk so, dass Traffic aus Ihrer Umgebung zugelassen wird:

  • Unter Firewallregeln verwenden erfahren Sie, wie Sie Regeln für Ihr VPC-Netzwerk prüfen, hinzufügen und aktualisieren.
  • Verwenden Sie das Konnektivitätstool, um die Konnektivität zwischen IP-Bereichen zu prüfen.
  • Sie können Netzwerk-Tags verwenden, um den Zugriff weiter einzuschränken. Sie können diese Tags beim Erstellen einer Umgebung festlegen.
Beschreibung Richtung Aktion Quelle oder Ziel Protokolle Ports
DNS Ausgehender Traffic Zulassen Beliebiges Ziel (0.0.0.0/0) oder DNS-Server-IP-Adressen TCP, UDP 53
Google APIs und Google-Dienste Ausgehender Traffic Zulassen IP-Adressbereich der Domain, die Sie für Google APIs und Google-Dienste ausgewählt haben. Wenn Sie Standarddomains verwenden, finden Sie weitere Informationen unter IP-Adressen für Standarddomains. TCP 443
Clusterknoten der Umgebung Ausgehender Traffic Zulassen Primärer IP-Adressbereich des Subnetzes der Umgebung TCP, UDP Alle
Cluster-Pods der Umgebung Ausgehender Traffic Zulassen Sekundärer IP-Adressbereich für Pods im Subnetzwerk der Umgebung TCP, UDP Alle
Steuerungsebene des Clusters der Umgebung Ausgehender Traffic Zulassen IP-Bereich der GKE-Steuerungsebene TCP, UDP Alle
(Wenn Ihre Umgebung Private Service Connect verwendet) Verbindungssubnetz Ausgehender Traffic Zulassen Subnetzwerkbereich für Managed Airflow-Verbindung TCP 3306, 3307, 19090
(Wenn Ihre Umgebung VPC-Peerings verwendet) Mandantennetzwerk Ausgehender Traffic Zulassen IP-Bereich des Managed Airflow-Mandantennetzwerks TCP 3306, 3307, 19090

So rufen Sie die IP-Bereiche des Umgebungsclusters ab:

  • Die Adressbereiche für Pods, Dienste und die Steuerungsebene sind auf der Seite Cluster des Clusters Ihrer Umgebung verfügbar:

    1. Rufen Sie in der Google Cloud Console die Seite Umgebungen auf.

      Zur Seite Umgebungen

    2. Klicken Sie in der Liste der Umgebungen auf den Namen Ihrer Umgebung. Die Seite Umgebungsdetails wird geöffnet.

    3. Rufen Sie den Tab Umgebungskonfiguration auf.

    4. Klicken Sie auf den Link Clusterdetails ansehen.

  • Den IP-Bereich des Mandantennetzwerks für Managed Airflow der Umgebung finden Sie auf dem Tab Umgebungskonfiguration.

  • Die Subnetzwerk-ID der Umgebung und die Subnetzwerk-ID der Managed Airflow-Verbindung finden Sie auf dem Tab Umgebungskonfiguration. Wenn Sie IP-Bereiche für ein Subnetzwerk abrufen möchten, rufen Sie die Seite VPC-Netzwerke auf und klicken Sie auf den Namen des Netzwerks, um Details aufzurufen:

    Zur Seite VPC-Netzwerke

Proxyserver-Variablen konfigurieren

Sie können die Umgebungsvariablen http_proxy und https_proxy in Ihrer Umgebung festlegen. Diese Linux-Standardvariablen werden von Webclients verwendet, die in Containern des Clusters Ihrer Umgebung ausgeführt werden, um Traffic über die angegebenen Proxys weiterzuleiten.

Die Variable NO_PROXY ist standardmäßig auf eine Liste von Google-Domains, die IP-Adresse des Compute Engine-Metadatenservers des Clusters der Umgebung und localhost festgelegt, damit sie vom Proxy ausgeschlossen werden:

.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost

Mit dieser Konfiguration können Sie eine Umgebung mit den Umgebungsvariablen http_proxy und https_proxy erstellen, wenn der Proxy nicht für die Verarbeitung von Traffic zu Google-Diensten konfiguriert ist.

Nächste Schritte