Umgebungen mit der Richtlinie „Endpunktnutzung einschränken“ konfigurieren

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Auf dieser Seite wird beschrieben, wie Sie Managed Airflow-Umgebungen erstellen, wenn die Organisationsrichtlinie Endpunktnutzung einschränken erzwungen wird.

Die Organisationsrichtlinie constraints/gcp.restrictEndpointUsage schränkt ein, welche Google API-Endpunkte für den Zugriff auf Ressourcen verwendet werden können. So können Organisationen die Verwendung von standortbezogenen oder regionalen Endpunkten erzwingen, um beispielsweise Anforderungen zu erfüllen, dass Daten in bestimmten geografischen Gebieten verbleiben müssen.

Informationen zur Nutzungsrichtlinie für Endpunkte in Managed Airflow

Wenn Sie eine Managed Airflow-Umgebung in einem Projekt erstellen, in dem die Richtlinie „Endpunktnutzung einschränken“ den Zugriff auf globale Endpunkte für Dienste wie die Cloud Storage API, die Cloud Logging API, die Pub/Sub API oder die Data Lineage API verweigert, konfiguriert Managed Airflow die internen Komponenten der Umgebung so, dass die entsprechenden regionalen Endpunkte (REPs) für diese Dienste verwendet werden.

Die spezifischen Endpunkte, die eine Umgebung verwendet, werden durch die Richtlinie „Endpunktnutzung einschränken“ nur während der Erstellung der Umgebung bestimmt. Diese Endpunkte ändern sich auch dann nicht, wenn die Richtlinie später neu konfiguriert wird.

Dienste einschränken, die von Managed Airflow-Umgebungen benötigt werden

Wenn die Richtlinie „Endpunktnutzung einschränken“ einige der von Managed Airflow benötigten Dienste einschränkt, gelten die folgenden Einschränkungen:

  • Airflow-Aufgabenlogs in der Airflow-Benutzeroberfläche

    Die Airflow-Benutzeroberfläche verwendet den globalen Cloud Logging-Endpunkt (logging.googleapis.com), um Aufgabenlogs anzuzeigen. Wenn Sie logging.googleapis.com in der Richtlinie „Endpunktnutzung einschränken“ ablehnen, sind Aufgabenlogs in der Airflow-Benutzeroberfläche nicht verfügbar.

    Diese Einschränkung gilt nur für die Airflow-Benutzeroberfläche. Sie können weiterhin Aufgabenlogs in der DAG-Benutzeroberfläche und Airflow-Worker-Logs in der Google Cloud Console und in Cloud Logging aufrufen.

  • Umgebungsmesswerte

    Managed Airflow verwendet globale Endpunkte für Cloud Monitoring (monitoring.googleapis.com), da einige Monitoring APIs regionale Endpunkte nicht vollständig unterstützen. Das Einschränken von monitoring.googleapis.com kann sich auf einige Umgebungsmesswerte auswirken.

  • Airflow-Operatoren in Ihren DAGs

    Airflow-Operatoren, die eine Verbindung zu einem globalen Endpunkt herstellen, der durch die Richtlinie „Endpunktnutzung einschränken“ abgelehnt wird, schlagen fehl. Achten Sie darauf, dass alle Airflow-Operatoren in Ihren DAGs so konfiguriert sind, dass sie regionale Endpunkte verwenden, sofern der Operator dies unterstützt.

  • Kundenverwaltete Verschlüsselungsschlüssel (CMEK)

    Die Verwendung von kundenverwalteten Verschlüsselungsschlüsseln wird nicht zusammen mit der Richtlinie „Endpunktnutzung einschränken“ unterstützt.

Hinweis

Richtlinie „Endpunktnutzung einschränken“ konfigurieren

Weitere Informationen und Beispiele zum Konfigurieren der Nutzungsrichtlinie „Endpunktnutzung einschränken“, um den Zugriff auf bestimmte globale Endpunkte zu verweigern, finden Sie unter Endpunktnutzung einschränken.

Umgebung mit öffentlicher IP-Adresse und der Richtlinie „Endpunktnutzung einschränken“ erstellen

Für Managed Airflow-Umgebungen mit öffentlicher IP-Adresse ist keine zusätzliche Einrichtung erforderlich. Gehen Sie dazu so vor:

  1. Prüfen Sie, ob für die Dienste, die Sie regionalisieren möchten, regionale Endpunkte in den ausgewählten Regionen verfügbar sind.

  2. Die Richtlinie „Endpunktnutzung einschränken“ muss bereits konfiguriert sein und globale Endpunkte für die Dienste ablehnen, die Sie regionalisieren möchten.

  3. Neue Managed Airflow-Umgebung erstellen

    In der Umgebung werden regionale Endpunkte gemäß der Richtlinie „Endpunktnutzung einschränken“ verwendet.

Umgebung mit privater IP-Adresse und der Richtlinie „Endpunktnutzung einschränken“ erstellen

Wenn Sie eine Umgebung mit der Richtlinie „Restrict Endpoint Usage“ in der Konfiguration mit privater IP-Adresse erstellen möchten, müssen Sie Ihr VPC-Netzwerk so konfigurieren, dass Traffic mithilfe von Private Service Connect und Cloud DNS zu den erforderlichen regionalen Endpunkten (REPs) aufgelöst und weitergeleitet wird.

So erstellen Sie eine Umgebung mit privater IP-Adresse und der Richtlinie „Endpunktnutzung einschränken“:

  1. Prüfen Sie, ob für die Dienste, die Sie regionalisieren möchten, regionale Endpunkte in den ausgewählten Regionen verfügbar sind.

  2. Prüfen Sie, ob die Richtlinie „Endpunktnutzung einschränken“ bereits konfiguriert ist und globale Endpunkte für die Dienste ablehnt, die Sie regionalisieren möchten.

  3. Sie benötigen ein VPC-Netzwerk und ein Subnetzwerk, das Sie für Ihre Umgebung mit privater IP-Adresse verwenden möchten.

  4. Wiederholen Sie die Schritte zur Netzwerkkonfiguration für jeden der folgenden Dienste, die durch die Richtlinie „Endpunktnutzung einschränken“ eingeschränkt sind:

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • Google API-Endpunkte für alle anderen Dienste, die in Ihren DAGs verwendet werden.

Konfigurieren Sie ein privates IP-Netzwerk für einen Dienst, der durch die Richtlinie eingeschränkt ist.

Führen Sie die folgenden Schritte für die entsprechenden regionalen Endpunkte (REPs) für alle Google-Dienste in Ihrem Projekt aus, bei denen der Zugriff auf ihre globalen Endpunkte eingeschränkt ist.

Sie müssen Private Service Connect-Endpunkte erstellen, um regionale Varianten dieser Dienste anzusprechen, und die Region für Ihre Managed Airflow-Umgebung angeben. Wenn sich Ihre Umgebung beispielsweise in us-central1 befindet, verwenden Sie den storage.us-central1.rep.googleapis.com-REP für Cloud Storage.

Weitere Informationen zum Verwenden von Private Service Connect-Endpunkten zum Herstellen einer Verbindung zu regionalen Endpunkten unterstützter Google APIs finden Sie unter Über Endpunkte auf regionale Google APIs zugreifen.

Private Service Connect-Endpunkt erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Private Service Connect auf.

    Zu Private Service Connect

  2. Klicken Sie auf Endpunkt verbinden.

  3. Konfigurieren Sie einen Private Service Connect-Endpunkt so:

    • Ziel: Wählen Sie Google APIs aus.

    • Zieldetails:

      1. Bereich: Wählen Sie Regional aus.
      2. Region: Wählen Sie die Region Ihrer Managed Airflow-Umgebung aus.
      3. Zieldienst: Wählen Sie den Dienst aus, den Sie konfigurieren. Dadurch wird ein REP in der ausgewählten Region ausgewählt.

      Beispiel:

      Wenn sich Ihre Umgebung in us-central1 befindet und Sie Cloud Storage konfigurieren, wählen Sie Iowa (us-central1) und Cloud Storage (storage.us-central1.rep.googleapis.com) aus.

    • Endpunktdetails:

      1. Endpunktname: Ein Name für den Endpunkt.

        Beispiel: psc-storage-endpoint-us-central1.

      2. Netzwerk und Subnetzwerk: Wählen Sie das VPC-Netzwerk und das Subnetzwerk Ihrer Managed Airflow-Umgebung aus.

      3. IP-Adresse: Wählen Sie eine vorhandene IP-Adresse aus oder klicken Sie auf IP-Adresse erstellen, um eine neue statische interne IP-Adresse aus dem ausgewählten Subnetzwerk zu reservieren.

        Geben Sie dieser IP-Adresse einen aussagekräftigen Namen. Sie benötigen diese IP-Adresse später, um einen DNS-Eintrag zu konfigurieren.

        Beispiel: psc-storage-us-central1.

  4. Klicken Sie auf Endpunkt hinzufügen.

Private DNS-Zone erstellen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud DNS auf.

    Cloud DNS aufrufen

  2. Klicken Sie auf Zone erstellen.

  3. Wählen Sie unter Zonentyp die Option Private aus.

  4. Geben Sie die folgende Konfiguration an:

    • Zonenname: Ein Name für die Zone.

      Beispiel: storage-us-central1

    • DNS-Name: Ein DNS-Name. Fügen Sie den nachgestellten Punkt ein.

      Beispiel: storage.us-central1.rep.googleapis.com.

    • Netzwerke: Wählen Sie das VPC-Netzwerk für Ihre Managed Airflow-Umgebung aus.

  5. Klicken Sie auf Erstellen.

DNS-Eintrag in der erstellten DNS-Zone hinzufügen

  1. Rufen Sie in der Google Cloud Console die Seite Cloud DNS auf.

    Cloud DNS aufrufen

  2. Klicken Sie auf den Namen der Zone, die Sie erstellt haben.

  3. Klicken Sie auf Standard hinzufügen.

  4. Konfigurieren Sie den DNS-Eintrag so:

    • DNS-Name: Geben Sie die Subdomain der DNS-Zone an.

      Beispiel: storage.us-central1.rep.googleapis.com

    • Ressourceneintragstyp: Wählen Sie A aus.

    • IPv4-Adresse: Wählen Sie die IP-Adresse aus, die Sie dem Private Service Connect-Endpunkt zugewiesen haben.

  5. Klicken Sie auf Erstellen.

Managed Airflow-Umgebung mit privater IP-Adresse erstellen

Nachdem Sie alle Dienste konfiguriert haben, die von Ihrer Umgebung verwendet werden, können Sie im ausgewählten VPC-Netzwerk und Subnetzwerk eine Umgebung mit privater IP-Adresse erstellen.

Nächste Schritte