Dataproc Metastore-Netzwerk – Übersicht

In diesem Dokument finden Sie eine Übersicht über die Netzwerkeinstellungen, die Sie zum Einrichten eines Dataproc Metastore-Dienstes verwenden können.

Hinweis: Für Dataproc Metastore-Dienste, die das Thrift Endpunktprotokoll verwenden, ist Private Service Connect die Standardoption für die Netzwerkkonfiguration. Die meisten anderen Netzwerkkonzepte auf dieser Seite gelten auch für Dienste mit Thrift-Endpunkt. Wenn Sie das gRPC-Endpunktprotokoll verwenden, ist VPC Service Controls die einzige Netzwerkkonfiguration, die Sie in diesem Dokument berücksichtigen müssen.

Kurzübersicht zu Netzwerkkonfigurationen

Netzwerkeinstellungen	Hinweise
Standardnetzwerkeinstellungen
VPC-Subnetzwerke	Standardmäßig verwenden Dataproc Metastore-Dienste, die das Thrift-Endpunktprotokoll verwenden, ein VPC-Subnetzwerk mit Private Service Connect.
VPC-Netzwerke (Virtual Private Cloud)	Optional können Sie VPC-Netzwerke für Dataproc Metastore-Dienste verwenden, die das Thrift-Endpunktprotokoll verwenden. Dies ist eine Alternative zur Verwendung von VPC-Subnetzwerken mit Private Service Connect. Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore auch automatisch VPC-Netzwerk-Peering für Ihren Dienst.
Zusätzliche Netzwerkeinstellungen
Gemeinsam genutzte VPC-Netzwerke	Optional können Sie Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen.
Lokale Netzwerke	Sie können über Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst mit einer lokalen Umgebung herstellen.
VPC Service Controls	Optional können Sie Dataproc Metastore Dienste mit VPC Service Controls erstellen.
Firewallregeln	In Umgebungen ohne Standardkonfiguration oder privaten Umgebungen mit festgelegten Sicherheitseinstellungen müssen Sie möglicherweise eigene Firewallregeln erstellen.

Standardnetzwerkeinstellungen

Im folgenden Abschnitt werden die Standardnetzwerkeinstellungen beschrieben, die Dataproc Metastore für das Thrift-Endpunktprotokoll verwendet: VPC-Subnetzwerke mit Private Service Connect.

VPC-Subnetzwerke

Für Dataproc Metastore-Dienste, die das Thrift-Endpunktprotokoll verwenden, ist Private Service Connect (PSC) die Standardoption für die Netzwerkkonfiguration. Mit PSC können Sie eine private Verbindung zu Dataproc Metastore-Metadaten über VPC-Netzwerke hinweg einrichten. Mit PSC können Sie einen Dienst ohne VPC-Peering erstellen. So können Sie Ihre eigenen internen IP-Adressen verwenden, um auf Dataproc Metastore zuzugreifen, ohne Ihre VPC-Netzwerke zu verlassen oder externe IP-Adressen zu verwenden.

Informationen zum Einrichten von Private Service Connect beim Erstellen eines Dienstes finden Sie unter Private Service Connect mit Dataproc Metastore.

VPC-Netzwerke

Optional können Sie VPC-Netzwerke für Dataproc Metastore-Dienste verwenden, die das Thrift-Endpunktprotokoll verwenden. Dies ist eine Alternative zur Verwendung von VPC-Subnetzwerken mit Private Service Connect. Ein VPC-Netzwerk ist eine virtuelle Version eines physischen Netzwerks, das im Produktionsnetzwerk von Google implementiert ist. Wenn Sie einen Dataproc Metastore erstellen, erstellt der Dienst automatisch das VPC-Netzwerk für Sie.

Wenn Sie beim Erstellen des Dienstes keine Einstellungen ändern, verwendet Dataproc Metastore das default VPC-Netzwerk. Mit dieser Einstellung kann das VPC-Netzwerk, das Sie mit Ihrem Dataproc Metastore Dienst verwenden, zum selben Google Cloud oder zu einem anderen Projekt gehören. Mit dieser Einstellung können Sie Ihren Dienst auch in einem einzelnen VPC-Netzwerk bereitstellen oder ihn über Subnetzwerke aus mehreren VPC-Netzwerken zugänglich machen.

Dataproc Metastore erfordert für jedes VPC-Netzwerk Folgendes pro Region:

• 1 Peering-Kontingent
• CIDR-Bereiche /17 und /20

VPC-Netzwerk-Peering

Nachdem das VPC-Netzwerk erstellt wurde, konfiguriert Dataproc Metastore auch automatisch VPC-Netzwerk-Peering für Ihren Dienst. VPC bietet Ihrem Dienst Zugriff auf die Dataproc Metastore Endpunktprotokolle. Nachdem Sie den Dienst erstellt haben, können Sie sich das zugrunde liegende VPC-Netzwerk-Peering auf der VPC-Netzwerk-Peering Seite in der Google Cloud Console ansehen.

Das VPC-Netzwerk-Peering ist nicht transitiv. Das bedeutet, dass nur direkt per Peering verbundene Netzwerke miteinander kommunizieren können. Betrachten Sie beispielsweise das folgende Szenario:

Sie haben die folgenden Netzwerke: VPC-Netzwerk N1, N2 und N3.

• VPC-Netzwerk N1 ist mit N2 und N3 verbunden.
• VPC-Netzwerk N2 und N3 sind nicht direkt verbunden.

Was bedeutet das?

Das bedeutet, dass VPC-Netzwerk N2 nicht über VPC-Netzwerk-Peering mit VPC-Netzwerk N3 kommunizieren kann. Dies wirkt sich auf Dataproc Metastore-Verbindungen folgendermaßen aus:

• Auf virtuelle Maschinen in Netzwerken, die per Peering mit dem Netzwerk Ihres Dataproc Metastore-Projekts verbunden sind, kann nicht auf Dataproc Metastore zugegriffen werden.
• Nur Hosts im VPC-Netzwerk können einen Dataproc Metastore-Dienst erreichen.

Sicherheitsaspekte für VPC-Netzwerk-Peering

• Traffic über VPC-Netzwerk-Peering wird mit einem bestimmten Grad an Verschlüsselung bereitgestellt. Weitere Informationen finden Sie unter Google Cloud virtuelles Netzwerk Verschlüsselung und Authentifizierung.

• Wenn Sie für jeden Dienst mit einer internen IP-Adresse ein VPC-Netzwerk erstellen, ist die Netzwerkisolation besser, als wenn Sie alle Dienste im VPC-Standardnetzwerk (default) platzieren.

IP-Adressen

Um eine Verbindung zu einem Netzwerk herzustellen und Ihre Metadaten zu schützen, verwenden Dataproc Metastore-Dienste nur interne IP-Adressen. Das bedeutet, dass öffentliche IP-Adressen nicht verfügbar sind oder nicht für Netzwerkzwecke verwendet werden können.

Mit einer internen IP-Adresse kann Dataproc Metastore nur eine Verbindung zu virtuellen Maschinen (VMs) herstellen, die sich in bestimmten VPC-Netzwerken (Virtual Private Cloud) oder in einer lokalen Umgebung befinden.

Für Verbindungen zu einem Dataproc Metastore-Dienst, der eine interne IP Adresse verwendet, werden Adressbereiche nach RFC 1918 verwendet. Wenn Sie diese Bereiche verwenden, weist Dataproc Metastore jeder Region einen /17-Bereich und einen /20-Bereich aus dem Adressbereich zu. Wenn Sie beispielsweise Dataproc Metastore-Dienste in zwei Regionen platzieren, muss der zugewiesene IP-Adressbereich Folgendes enthalten:

• Mindestens zwei nicht verwendete Adressblöcke der Größe /17.
• Mindestens zwei nicht verwendete Adressblöcke der Größe /20.

Wenn keine RFC 1918-Adressblöcke gefunden werden, findet der Dataproc Metastore stattdessen geeignete Nicht-RFC 1918-Adressblöcke. Beachten Sie, dass bei der Zuweisung von Blöcken, die nicht der RFC 1918 entsprechen, nicht berücksichtigt wird, ob diese Adressen in Ihrem VPC-Netzwerk oder in der lokalen Umgebung verwendet werden oder nicht.

Zusätzliche Netzwerkeinstellungen

Wenn Sie eine andere Netzwerkeinstellung benötigen, können Sie die folgenden Optionen mit Ihrem Dataproc Metastore-Dienst verwenden.

Freigegebene VPC-Netzwerk

Sie können Dataproc Metastore-Dienste in einem freigegebene VPC-Netzwerk erstellen. Mit einer freigegebene VPC können Sie Dataproc Metastore-Ressourcen aus mehreren Projekten mit einem gemeinsamen VPC-Netzwerk (Virtual Private Cloud) verbinden.

Informationen zum Einrichten einer freigegebene VPC beim Erstellen eines Dienstes finden Sie unter Dataproc Metastore-Dienst erstellen.

Lokale Netzwerke

Sie können über Cloud VPN oder Cloud Interconnect eine Verbindung zu einem Dataproc Metastore-Dienst mit einer lokalen Umgebung herstellen.

VPC Service Controls

VPC Service Controls bietet die Möglichkeit, das Risiko der Daten exfiltration zu reduzieren. Mit VPC Service Controls erstellen Sie Perimeter um den Dataproc Metastore-Dienst. Durch VPC Service Controls wird der Zugriff auf Ressourcen im Perimeter von außerhalb eingeschränkt. Nur Clients und Ressourcen innerhalb des Perimeters können miteinander interagieren.

Informationen zur Verwendung von VPC Service Controls mit Dataproc Metastore finden Sie unter VPC Service Controls mit Dataproc Metastore. Lesen Sie auch die Einschränkungen von Dataproc Metastore bei der Verwendung von VPC Service Controls.

Firewallregeln für Dataproc Metastore

In Umgebungen ohne Standardkonfiguration oder privaten Umgebungen mit festgelegten Sicherheitseinstellungen müssen Sie möglicherweise eigene Firewallregeln erstellen. Erstellen Sie in diesem Fall keine Firewallregel, die den IP-Adressbereich oder Port Ihrer Dataproc Metastore-Dienste blockiert.

Wenn Sie einen Dataproc Metastore-Dienst erstellen, können Sie das Standardnetzwerk für den Dienst übernehmen. Das Standardnetzwerk bietet vollständigen internen IP-Netzwerkzugriff für Ihre VMs.

Allgemeinere Informationen zu Firewallregeln finden Sie unter VPC-Firewallregeln und VPC-Firewallregeln verwenden.

Firewallregel für ein benutzerdefiniertes Netzwerk erstellen

Wenn Sie ein benutzerdefiniertes Netzwerk verwenden, muss Ihre Firewallregel Traffic zum und vom Dataproc Metastore-Endpunkt zulassen. Führen Sie die folgenden gcloud-Befehle aus, um Dataproc Metastore-Traffic explizit zuzulassen:

gcloud compute firewall-rules create dpms-allow-egress-DPMS_NETWORK-REGION --allow tcp --destination-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK --direction OUT

gcloud compute firewall-rules create dpms-allow-ingress-DPMS_NETWORK-REGION --allow tcp,udp --source-ranges DPMS_NET_PREFIX/17 --network DPMS_NETWORK

Wenden Sie für DPMS_NET_PREFIX eine /17-Subnetzmaske auf die IP-Adresse Ihres Dataproc Metastore-Dienstes an. Die IP-Adresse Ihres Dataproc Metastore finden Sie in der endpointUri-Konfiguration auf der Seite Dienstdetails.

Hinweise

Netzwerke haben eine implizite Regel zum Zulassen von ausgehendem Traffic, die normalerweise den Zugriff von Ihrem Netzwerk auf Dataproc Metastore zulässt. Wenn Sie Regeln zum Ablehnen von ausgehendem Traffic erstellen, die die implizierte Regel zum Zulassen von ausgehendem Traffic überschreiben, sollten Sie eine Regel zum Zulassen von ausgehendem Traffic mit höherer Priorität erstellen, um ausgehenden Traffic zur Dataproc Metastore-IP-Adresse zuzulassen.

Einige Features wie Kerberos erfordern, dass Dataproc Metastore Verbindungen zu Hosts in Ihrem Projektnetzwerk initiiert. Alle Netzwerke haben eine implizierte Regel zum Ablehnen von eingehendem Traffic , die diese Verbindungen blockiert und verhindert, dass diese Features funktionieren. implizierte Regel zum Ablehnen von eingehendem Traffic , die diese Verbindungen blockiert und verhindert, dass diese Features funktionieren. Sie sollten eine Firewallregel erstellen, die eingehenden TCP- und UDP-Traffic an allen Ports aus dem /17-IP-Block zulässt, der die IP-Adresse des Dataproc Metastore enthält.

Benutzerdefiniertes Routing

Benutzerdefinierte Routen sind für Subnetze, die privat verwendete öffentliche IP-Adressen (PUPI) verwenden. Mit benutzerdefinierten Routen kann Ihr VPC-Netzwerk eine Verbindung zu einem Peering-Netzwerk herstellen. Benutzerdefinierte Routen können nur empfangen werden, wenn sie von Ihrem VPC-Netzwerk importiert und vom Peering-Netzwerk explizit exportiert werden. Benutzerdefinierte Routen können statisch oder dynamisch sein.

Wenn Sie benutzerdefinierte Routen für Peering-VPC-Netzwerke freigeben, können Netzwerke Routen direkt von ihren Peering-Netzwerken „lernen“. Wenn also eine benutzerdefinierte Route in einem Peering-Netzwerk aktualisiert wird, lernt Ihr VPC-Netzwerk die benutzerdefinierte Route automatisch und implementiert sie, ohne dass Sie etwas tun müssen.

Weitere Informationen zum benutzerdefinierten Routing finden Sie unter Netzwerkkonfiguration.

Beispiel für Dataproc Metastore-Netzwerke

Im folgenden Beispiel weist Google die Adressbereiche 10.100.0.0/17 und 10.200.0.0/20 im VPC-Netzwerk des Kunden für Google-Dienste zu und verwendet die Adressbereiche in einem Peering-VPC-Netzwerk.

Abbildung 1. VPC-Netzwerk für Dataproc Metastore

Beschreibung des Netzwerkbeispiels:

• Auf der Google-Dienstseite des VPC-Peerings erstellt Google ein Projekt für den Kunden. Das Projekt ist isoliert. Das bedeutet, dass es nicht von anderen Kunden verwendet wird und dem Kunden nur die von ihm bereitgestellten Ressourcen in Rechnung gestellt werden.
• Wenn Sie den ersten Dataproc Metastore-Dienst in einer Region erstellen, weist Dataproc Metastore einen /17-Bereich und einen /20-Bereich im Netzwerk des Kunden für die zukünftige Nutzung von Dataproc Metastore-Diensten in dieser Region und diesem Netzwerk zu. Dataproc Metastore unterteilt diese Bereiche weiter, um Subnetzwerke und Adressbereiche im Diensterstellerprojekt zu erstellen.
• VM-Dienste im Kundennetzwerk können auf Dataproc Metastore-Dienstressourcen in jeder Region zugreifen, wenn der Google Cloud Dienst dies unterstützt. Einige Google Cloud Dienste unterstützen jedoch möglicherweise keine regionenübergreifende Kommunikation.
• Die Kosten für ausgehenden Traffic für regionenübergreifenden Traffic, bei dem eine VM-Instanz mit Ressourcen in einer anderen Region kommuniziert, fallen weiterhin an.
• Google weist dem Dataproc Metastore-Dienst die IP-Adresse 10.100.0.100 zu. Im VPC-Netzwerk des Kunden werden Anfragen mit dem Ziel 10.100.0.100 über das VPC-Peering an das Netzwerk des Diensterstellers weitergeleitet. Nachdem die Anfrage das Dienstnetzwerk erreicht hat, enthält das Dienstnetzwerk Routen, die die Anfrage an die richtige Ressource weiterleiten.
• Der Traffic zwischen VPC-Netzwerken wird intern im Netzwerk von Google und nicht über das öffentliche Internet übertragen.

Nächste Schritte

• VPC Service Controls mit Dataproc Metastore
• Dataproc Metastore-IAM (Identity and Access Management) und -Zugriffssteuerung
• Private Service Connect mit Dataproc Metastore