Wenn Sie einen Dataproc Metastore-Dienst erstellen, müssen Sie eines der folgenden Endpunktprotokolle auswählen:
- Das Apache Thrift-Protokoll
- Das gRPC-Protokoll
Dieses Protokoll definiert, wie Ihre Hive Metastore-Clients auf Metadaten zugreifen, die in Ihrem Dataproc Metastore-Dienst gespeichert sind. Diese Wahl kann sich auch auf die Funktionen auswirken, die Sie in Ihren Dienst einbinden und mit ihm verwenden können.
Auf dieser Seite werden die konzeptionellen Unterschiede zwischen den einzelnen Endpunktprotokollen erläutert.
Apache Thrift
Das Apache Thrift-Protokoll ist die Standardoption, die beim Erstellen eines Dataproc Metastore-Dienstes vorab ausgewählt ist.
Das Thrift-Protokoll unterstützt Kerberos nur für Dienste mit einer einzelnen Region, die mit VPC-Peering konfiguriert sind. Für Dienste, die mit Private Service Connect konfiguriert sind, wird Kerberos nicht unterstützt.
Wenn Sie Kerberos benötigen, empfehlen wir stattdessen die Verwendung des gRPC-Protokolls. Das gRPC-Protokoll unterstützt Kerberos für Dienste mit einer einzelnen Region mit allen Netzwerkkonfigurationen.
Wenn Sie einen Thrift-Endpunkt verwenden, können Sie die Portnummer auswählen, mit der die Thrift-Schnittstelle verbunden wird. Standardmäßig wird die Portnummer 9083 verwendet.
Nachdem Sie das Thrift-Protokoll ausgewählt haben
Nachdem Sie einen Dataproc Metastore mit Thrift erstellt haben, können Sie eine Verbindung herstellen zu ihm von einem Managed Service for Apache Spark-Cluster oder einem selbstverwalteten Cluster. Ihr Cluster verwendet dann Dataproc Metastore als Hive-Metastore.
gRPC
Das gRPC-Protokoll ist die moderne, portable und leistungsstarke Option, die Sie beim Erstellen eines Dataproc Metastore-Dienstes explizit auswählen müssen.
Wenn Sie das gRPC-Protokoll auswählen, können Sie es später nicht auf Thrift aktualisieren. Wenn Sie von gRPC zu Thrift wechseln möchten, müssen Sie einen neuen Dataproc Metastore erstellen.
Wenn Sie einen gRPC-Endpunkt verwenden, können Sie die Portnummer, die von der gRPC-Schnittstelle verwendet wird, nicht auswählen. Stattdessen wird Ihrer Schnittstelle automatisch die Portnummer 443 zugewiesen.
Nachdem Sie das gRPC-Protokoll ausgewählt haben
Nachdem Sie einen Dataproc Metastore mit dem gRPC-Endpunktprotokoll erstellt haben, müssen Sie zusätzliche IAM-Rollen gewähren. Anschließend können Sie von einem Managed Service for Apache Spark Cluster aus eine Verbindung herstellen. Ihr Cluster verwendet dann Dataproc Metastore als Hive-Metastore.