Umgebungen mit der Richtlinie „Endpunktnutzung einschränken“ konfigurieren

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird erläutert, wie Sie Managed Airflow-Umgebungen erstellen, wenn die Endpunktnutzung einschränken Organisationsrichtlinie erzwungen wird.

Mit der Organisationsrichtlinie constraints/gcp.restrictEndpointUsage wird eingeschränkt, welche Google API-Endpunkte für den Zugriff auf Ressourcen verwendet werden können. So können Organisationen die Verwendung standortbezogener oder regionaler Endpunkte erzwingen, um beispielsweise Anforderungen zu erfüllen, dass Daten in bestimmten geografischen Gebieten verbleiben müssen.

Informationen zur Nutzungsrichtlinie für Endpunkte in Managed Airflow

Wenn Sie eine Managed Airflow-Umgebung in einem Projekt erstellen, in dem die Richtlinie Endpunktnutzung einschränken den Zugriff auf globale Endpunkte für Dienste wie die Cloud Storage API, die Cloud Logging API, die Pub/Sub API oder die Data Lineage API verweigert, konfiguriert Managed Airflow die internen Komponenten der Umgebung so, dass die entsprechenden regionalen Endpunkte für diese Dienste verwendet werden.

Die spezifischen Endpunkte, die von einer Umgebung verwendet werden, werden nur bei der Erstellung der Umgebung durch die Richtlinie Endpunktnutzung einschränken bestimmt. Diese Endpunkte ändern sich auch dann nicht, wenn die Richtlinie später neu konfiguriert wird.

Einschränken von Diensten, die für Managed Airflow-Umgebungen erforderlich sind

Wenn die Richtlinie Endpunktnutzung einschränken einige der von Managed Airflow benötigten Dienste einschränkt, gelten die folgenden Einschränkungen:

  • Airflow-Aufgabenlogs in der Airflow-UI

    Die Airflow-UI verwendet den globalen Cloud Logging-Endpunkt (logging.googleapis.com), um Aufgabenlogs anzuzeigen. Wenn Sie logging.googleapis.com in Ihrer Richtlinie Endpunktnutzung einschränken ablehnen, sind Aufgabenlogs in der Airflow-UI nicht verfügbar.

    Diese Einschränkung gilt nur für die Airflow-UI. Sie können Aufgabenlogs weiterhin in der DAG-UI und Airflow-Worker-Logs in der Console und in Cloud Logging ansehen. Google Cloud

  • Umgebungsmesswerte

    Managed Airflow verwendet globale Endpunkte für Cloud Monitoring (monitoring.googleapis.com), da einige Monitoring APIs regionale Endpunkte nicht vollständig unterstützen. Das Einschränken von monitoring.googleapis.com kann sich auf einige Umgebungsmesswerte auswirken.

  • Airflow-Operatoren in Ihren DAGs

    Airflow-Operatoren, die eine Verbindung zu einem globalen Endpunkt herstellen, der von der Richtlinie Endpunktnutzung einschränken abgelehnt wird, schlagen fehl. Achten Sie darauf, dass alle Airflow-Operatoren in Ihren DAGs so konfiguriert sind, dass sie regionale Endpunkte verwenden, sofern der Operator dies unterstützt.

Hinweis

  • Umgebungen mit der Richtlinie Endpunktnutzung einschränken werden in Managed Airflow (Gen 2) ab Version 2.16.7 unterstützt.

Richtlinie „Endpunktnutzung einschränken“ konfigurieren

Weitere Informationen und Beispiele zum Konfigurieren der Nutzungsrichtlinie Endpunktnutzung einschränken, um den Zugriff auf bestimmte globale Endpunkte zu verweigern, finden Sie unter Endpunktnutzung einschränken.

Umgebung mit öffentlicher IP-Adresse und der Richtlinie „Endpunktnutzung einschränken“ erstellen

Für Managed Airflow-Umgebungen mit öffentlicher IP-Adresse ist keine zusätzliche Einrichtung erforderlich. Gehen Sie dazu so vor:

  1. Prüfen Sie, ob für die Dienste, die Sie regionalisieren möchten, regionale Endpunkte in den ausgewählten Regionen verfügbar sind.

  2. Achten Sie darauf, dass die Richtlinie Endpunktnutzung einschränken bereits konfiguriert ist und globale Endpunkte für die Dienste verweigert, die Sie regionalisieren möchten.

  3. Erstellen Sie eine neue Managed Airflow-Umgebung.

    Die Umgebung verwendet regionale Endpunkte gemäß der Richtlinie Endpunktnutzung einschränken.

Umgebung mit privater IP-Adresse und der Richtlinie „Endpunktnutzung einschränken“ erstellen

Wenn Sie eine Umgebung mit der Richtlinie Endpunktnutzung einschränken in der Konfiguration mit privater IP-Adresse erstellen möchten, müssen Sie Ihr VPC-Netzwerk so konfigurieren, dass Traffic mithilfe von Private Service Connect und Cloud DNS zu den erforderlichen regionalen Endpunkten aufgelöst und weitergeleitet wird.

So erstellen Sie eine Umgebung mit privater IP-Adresse und der Richtlinie Endpunktnutzung einschränken:

  1. Prüfen Sie, ob für die Dienste, die Sie regionalisieren möchten, regionale Endpunkte in den ausgewählten Regionen verfügbar sind.

  2. Achten Sie darauf, dass die Richtlinie Endpunktnutzung einschränken bereits konfiguriert ist und globale Endpunkte für die Dienste verweigert, die Sie regionalisieren möchten.

  3. Achten Sie darauf, dass Sie bereits ein VPC-Netzwerk und ein Subnetz haben, die Sie für Ihre Umgebung mit privater IP-Adresse verwenden möchten.

  4. Wiederholen Sie die Schritte zur Netzwerkkonfiguration für jeden der folgenden Dienste, die durch die Richtlinie Endpunktnutzung einschränken eingeschränkt sind:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Google API-Endpunkte für alle anderen Dienste, die in Ihren DAGs verwendet werden.

Privates IP-Netzwerk für einen Dienst konfigurieren, der durch die Richtlinie eingeschränkt ist

Führen Sie die folgenden Schritte für die entsprechenden regionalen Endpunkte für alle Google-Dienste in Ihrem Projekt aus, bei denen der Zugriff auf die globalen Endpunkte eingeschränkt ist.

Sie müssen Private Service Connect-Endpunkte erstellen, um regionale Varianten dieser Dienste anzusprechen und die Region für Ihre Managed Airflow-Umgebung anzugeben. Wenn sich Ihre Umgebung beispielsweise in us-central1 befindet, verwenden Sie den storage.us-central1.rep.googleapis.com regionalen Endpunkt für Cloud Storage.

Weitere Informationen zur Verwendung von Private Service Connect -Endpunkten für die Verbindung zu regionalen Endpunkten unterstützter Google APIs finden Sie unter Auf regionale Google APIs über Endpunkte zugreifen.

Private Service Connect-Endpunkt erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Private Service Connect auf.

    Zu Private Service Connect

  2. Klicken Sie auf Endpunkt verbinden.

  3. Konfigurieren Sie einen Private Service Connect-Endpunkt so:

    • Ziel: Wählen Sie Google APIs aus.

    • Zieldetails:

      1. Umfang: Wählen Sie Regional aus.
      2. Region: Wählen Sie die Region Ihrer Managed Airflow-Umgebung aus.
      3. Zieldienst: Wählen Sie den Dienst aus, den Sie konfigurieren. Dadurch wird ein regionaler Endpunkt in der ausgewählten Region ausgewählt.

      Beispiel:

      Wenn sich Ihre Umgebung in us-central1 befindet und Sie Cloud Storage konfigurieren, wählen Sie Iowa (us-central1) und Cloud Storage (storage.us-central1.rep.googleapis.com) aus.

    • Endpunktdetails:

      1. Endpunktname: Ein Name für den Endpunkt.

        Beispiel: psc-storage-endpoint-us-central1.

      2. Netzwerk und Subnetz: Wählen Sie das VPC-Netzwerk und das Subnetz Ihrer Managed Airflow-Umgebung aus.

      3. IP-Adresse: Wählen Sie eine vorhandene IP-Adresse aus oder klicken Sie auf IP-Adresse erstellen, um eine neue statische interne IP-Adresse aus dem ausgewählten Subnetz zu reservieren.

        Geben Sie dieser IP-Adresse einen beschreibenden Namen. Sie verwenden diese IP-Adresse später, um einen DNS-Eintrag zu konfigurieren.

        Beispiel: psc-storage-us-central1.

  4. Klicken Sie auf Endpunkt hinzufügen.

Private DNS-Zone erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud DNS auf.

    Cloud DNS aufrufen

  2. Klicken Sie auf Zone erstellen.

  3. Wählen Sie unter Zonentyp die Option Private aus.

  4. Geben Sie die folgende Konfiguration an:

    • Zonenname: Ein Name für die Zone.

      Beispiel: storage-us-central1

    • DNS-Name: Ein DNS-Name. Fügen Sie den nachgestellten Punkt ein.

      Beispiel: storage.us-central1.rep.googleapis.com.

    • Netzwerke: Wählen Sie das VPC-Netzwerk für Ihre Managed Airflow-Umgebung aus.

  5. Klicken Sie auf Erstellen.

DNS-Eintrag in der erstellten DNS-Zone hinzufügen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud DNS auf.

    Cloud DNS aufrufen

  2. Klicken Sie auf den Namen der Zone, die Sie erstellt haben.

  3. Klicken Sie auf Standard hinzufügen.

  4. Konfigurieren Sie den DNS-Eintrag so:

    • DNS-Name: Geben Sie die Subdomain der DNS-Zone an.

      Beispiel: storage.us-central1.rep.googleapis.com

    • Ressourceneintragstyp: Wählen Sie A aus.

    • IPv4-Adresse: Wählen Sie die IP-Adresse aus, die Sie dem zugewiesen haben, um den Private Service Connect-Endpunkt zu verbinden.

  5. Klicken Sie auf Erstellen.

Managed Airflow-Umgebung mit privater IP-Adresse erstellen

Nachdem Sie alle Dienste konfiguriert haben, die von Ihrer Umgebung verwendet werden, fahren Sie fort, eine Umgebung mit privater IP-Adresse zu erstellen im ausgewählten VPC-Netzwerk und Subnetz.

Nächste Schritte