Netzwerkzugriff für Dataproc Metastore konfigurieren

Auf dieser Seite finden Sie eine detaillierte Anleitung zum Konfigurieren des Netzwerkzugriffs für Ihre Dataproc Metastore-Instanzen. Eine korrekte Netzwerkeinrichtung ist unerlässlich, damit Managed Service for Apache Spark-Cluster und Managed Service for Apache Spark-Arbeitslasten sicher und privat mit Ihrem verwalteten Dataproc Metastore-Dienst kommunizieren können.

Eine allgemeinere Übersicht über Netzwerkkonzepte finden Sie unter Networking Overview

Wichtige Netzwerkkonzepte

Dataproc Metastore-Instanzen befinden sich in der Regel in einem von Google verwalteten Dienstersteller-Netzwerk und kommunizieren über eine private Verbindung mit Ihrem VPC-Netzwerk (Virtual Private Cloud). Die folgenden Konzepte sind für eine erfolgreiche Einrichtung entscheidend:

  • Freigegebene Virtual Private Cloud:Wenn sich Ihre Managed Service for Apache Spark-Cluster oder Managed Service for Apache Spark-Arbeitslasten in einem Dienstprojekt befinden, das ein freigegebene VPC-Netzwerk aus einem Hostprojekt verwendet, prüfen Sie, ob die entsprechenden Netzwerkkonfigurationen im Hostprojekt vorgenommen wurden. Weitere Informationen finden Sie unter Übersicht über freigegebene VPC.
  • Privater Google-Zugriff:Dataproc Metastore-Instanzen verwenden häufig den privaten Google-Zugriff für die private Kommunikation mit Ihrem VPC-Netzwerk. Dadurch können VM-Instanzen (Virtual Machine) in Ihrer VPC über interne IP-Adressen eine Verbindung zu Google APIs und -Diensten herstellen. Weitere Informationen finden Sie unter Privater Google-Zugriff.
  • VPC-Netzwerk-Peering:Dieser Mechanismus ermöglicht die private IP-Verbindung zwischen zwei VPC-Netzwerken, sodass Ressourcen in einem Netzwerk über interne IP-Adressen mit Ressourcen im anderen Netzwerk kommunizieren können. Dataproc Metastore stellt im Rahmen der Einrichtung eine verwaltete VPC-Netzwerk-Peering-Verbindung zu Ihrem VPC-Netzwerk her. Weitere Informationen finden Sie unter VPC-Netzwerk-Peering.
  • Firewallregeln:Richtige Firewallregeln sind erforderlich, um Traffic zwischen Ihren Managed Service for Apache Spark-Arbeitslasten und der Dataproc Metastore-Instanz zuzulassen.
  • Cloud DNS-Auflösung:Prüfen Sie, ob die DNS-Auflösung in Ihrem VPC-Netzwerk richtig konfiguriert ist, um die Dataproc Metastore-Endpunkt-URI in die private IP-Adresse aufzulösen.

Konfigurationsschritte

So prüfen Sie den richtigen Netzwerkzugriff für Ihre Dataproc Metastore-Instanz:

1. Privaten Dienstzugriff konfigurieren

Dataproc Metastore verwendet den privaten Dienstzugriff, um eine private Verbindung zwischen Ihrem VPC-Netzwerk und dem von Google verwalteten Dienstersteller-Netzwerk herzustellen, in dem sich Ihre Dataproc Metastore-Instanz befindet.

  • Verbindung für den Zugriff auf private Dienste prüfen:
    1. Rufen Sie in der Google Cloud Console Virtual Private Cloud-Netzwerk > VPC-Netzwerk-Peering auf.
    2. Prüfen Sie, ob eine Peering-Verbindung mit dem Namen servicenetworking-googleapis-com vorhanden ist und der Status ACTIVE lautet.
    3. Wenn diese Verbindung fehlt oder nicht aktiv ist, folgen Sie der Anleitung unter Privaten Dienstzugriff konfigurieren. Dazu gehört das Zuweisen eines IP-Adressbereichs für das Dienstersteller-Netzwerk.

2. Firewallregeln konfigurieren

Prüfen Sie, ob die Firewallregeln in Ihrem VPC-Netzwerk (oder im Hostprojekt der freigegebene VPC, falls zutreffend) den erforderlichen Traffic zulassen.

  • Ausgangsregel von der Arbeitslast zum Metastore:
    • Prüfen Sie, ob eine Ausgangs-Firewallregel ausgehenden TCP-Traffic von Ihrem Managed Service for Apache Spark-Cluster oder Ihren Managed Service for Apache Spark-Arbeitslasten zum IP-Adressbereich Ihrer Dataproc Metastore-Instanz auf Port 9083 zulässt. Dies ist der Standardport für Hive Metastore.
    • Wenn Sie den privaten Dienstzugriff verwenden, wird dieser Traffic privat weitergeleitet.
  • Eingangsregeln (weniger häufig für Client-zu-Metastore):
    • Im Allgemeinen müssen Sie in Ihrer VPC keine Eingangsregeln für Traffic von der Dataproc Metastore-Instanz zu Ihrer Arbeitslast konfigurieren, da die Kommunikation in der Regel von der Arbeitslast ausgeht. Prüfen Sie jedoch, ob übermäßig restriktive Eingangsregeln erforderliche Antworten versehentlich blockieren.

3. DNS-Auflösung prüfen

Ihre Managed Service for Apache Spark-Arbeitslasten müssen die Dataproc Metastore-Endpunkt-URI in die private IP-Adresse auflösen.

  • DNS-Peering oder private Zonen:Wenn Sie benutzerdefinierte DNS-Server oder private Cloud DNS-Zonen verwenden, prüfen Sie, ob DNS-Abfragen für den Dataproc Metastore-Endpunkt (z. B. your-metastore-endpoint.us-central1.dataproc.cloud.google.com) korrekt weitergeleitet oder in den privaten IP-Bereich aufgelöst werden, der vom privaten Dienstzugriff verwendet wird.
  • DNS-Auflösung testen:Verwenden Sie von einer VM im selben Subnetz wie Ihre Managed Service for Apache Spark-Arbeitslast nslookup oder dig, um zu prüfen, ob der Dataproc Metastore-Endpunkt in eine private IP-Adresse aufgelöst wird.

Fehlerbehebung bei Netzwerkverbindungen

Wenn nach dem Konfigurieren des Netzwerkzugriffs Verbindungsprobleme auftreten, können Sie die folgenden Schritte zur Fehlerbehebung ausführen:

Nächste Schritte