Private Service Connect mit Dataproc Metastore

Mit Private Service Connect können Sie einen Dataproc Metastore-Dienst erstellen, der kein VPC Peeringverwendet. Auf dieser Seite wird erläutert, was Private Service Connect ist und wie Sie es als alternative Netzwerkoption für Dataproc Metastore verwenden.

Funktionsweise von Dataproc Metastore mit VPC

Dataproc Metastore schützt den Metadatenzugriff, indem nur private IP-Endpunkte verfügbar gemacht werden. Außerdem wird die Verbindung zu VMs in Ihrem VPC-Netzwerk mithilfe von VPC-Peering eingeschränkt.

Für jedes VPC-Netzwerk sind für Dataproc Metastore die folgenden Konfigurationen pro Region erforderlich:

Daher kann die Einrichtung von VPC-Peering und IP-Adressreservierungen in überlasteten VPC-Netzwerken schwierig sein. Ebenso hat ein VPC-Netzwerk möglicherweise nicht genügend Peering-Kontingent, um zusätzliche Peering-Anfragen zu verarbeiten. Beide Einschränkungen können verhindern, dass Sie neue Dataproc Metastore-Dienste erstellen.

Um diese Probleme zu umgehen, können Sie Dataproc Metastore mit Private Service Connect verwenden.

Funktionsweise von Dataproc Metastore mit Private Service Connect

Private Service Connect bietet eine private Verbindung zu Dataproc Metastore-Metadaten in VPC-Netzwerken.

Für die Verwendung von Private Service Connect mit Dataproc Metastore sind die folgenden Konfigurationen erforderlich:

  • Eine einzelne Adressreservierung im Subnetzwerk.
  • Eine Weiterleitungsregel, die auf den Dienstanhang verweist, der den Dataproc Metastore-Endpunkt verfügbar macht. Die Adressreservierung und die Weiterleitungsregel werden im Rahmen des Aufrufs zum Erstellen des Dataproc Metastore-Dienstes erstellt.

Hinweise

  • Dataproc Metastore-Dienste, die Private Service Connect verwenden, unterstützen nur den Zugriff aus VPC-Netzwerken der Subnetzwerke, die bei der Diensterstellung angegeben wurden.

  • Dataproc Metastore reserviert Adressen und erstellt Weiterleitungsregeln in jedem der angegebenen Subnetzwerke. Jedes Subnetzwerk hat einen Thrift-Endpunkt-URI, über den Sie auf den Dataproc Metastore-Metadatenendpunkt zugreifen können.

Beschränkungen

  • Dataproc Metastore-Dienste, die das gRPC-Endpunktprotokoll verwenden, unterstützen Private Service Connect nicht.
  • Die umgekehrte Konnektivität wird mit Private Service Connect nicht unterstützt. Das bedeutet, dass Sie keine Kerberos-Konfiguration mit Private Service Connect verwenden können.
  • Sie können Subnetze nicht dynamisch zu einem Dataproc Metastore-Dienst hinzufügen oder daraus entfernen, der mit Private Service Connect konfiguriert ist. Stattdessen müssen Sie einen Dienst neu erstellen, wenn Sie Subnetze hinzufügen oder entfernen möchten.
  • Sie können einen Dataproc Metastore-Dienst, der Private Service Connect verwendet, nicht so aktualisieren, dass er VPC verwendet, oder umgekehrt.

Dataproc Metastore-Dienst mit Private Service Connect erstellen

In der folgenden Anleitung wird gezeigt, wie Sie Private Service Connect bei der Diensterstellung konfigurieren.

Console

  1. Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:

    Zu Dataproc Metastore

  2. Klicken Sie oben auf der Seite Dataproc Metastore auf Erstellen.

    Die Seite Dienst erstellen wird geöffnet.

  3. Konfigurieren Sie den Dienst nach Bedarf.

  4. Klicken Sie unter Netzwerkkonfiguration auf Dienste in mehreren VPC-Subnetzwerken zugänglich machen.

  5. Wählen Sie die Subnetzwerke aus. Sie können bis zu 5 Subnetzwerke angeben.

  6. Klicken Sie auf Fertig.

  7. Klicken Sie auf Senden.

Überprüfen Sie die Netzwerkkonfiguration des Dienstes:

  1. Öffnen Sie in der Google Cloud Console- die Seite „Dataproc Metastore“:

    Zu Dataproc Metastore

  2. Klicken Sie auf der Seite Dataproc Metastore auf den Dienstnamen des Dienstes, den Sie aufrufen möchten.

    Die Seite Dienstdetails für diesen Dienst wird geöffnet.

  3. Prüfen Sie auf dem Tab Konfiguration, ob in den Details mehrere VPC-Subnetzwerk-URIs angezeigt werden.

gcloud

  1. Führen Sie den folgenden Befehl gcloud metastore services create aus, um einen Dienst mit Private Service Connect zu erstellen:

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

    oder

    gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

  2. Prüfen Sie, ob die Erstellung erfolgreich war.

REST

Folgen Sie der API-Anleitung zum Erstellen eines Dienstes mit dem APIs Explorer.

Verwenden Sie in den Parametern der create-Anfrage das Feld Network Config, um Private Service Connect zu konfigurieren. Sie können 1 bis 5 Subnetzwerke angeben.

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }

Nächste Schritte