Informationen zum Hive-Katalogendpunkt

Mit dem Lakehouse-Laufzeitkatalog können Sie Daten in Apache Spark, Apache Hive und BigQuery freigeben, indem Sie einen serverlosen, einheitlichen Metastore bereitstellen. Diese vollständig verwaltete Metadatenebene macht separate, selbst gehostete Hive-Metastores für Open-Source-Arbeitslasten überflüssig.

Diese Integration ist für die Apache Spark-Kompatibilität mit ExternalCatalog optimiert und unterstützt eine Teilmenge der Hive-Metastore-Schnittstelle. Ob Ihre Arbeitslasten von nicht unterstützten Funktionen wie Transaktionen, Komprimierungen oder Kerberos abhängen, erfahren Sie im Funktionsvergleich und unter Einschränkungen.

So wird Hive in den Lakehouse-Laufzeitkatalog eingebunden

Der Hive-Metastore-Endpunkt verwaltet Standard-Apache Hive- und Spark-Tabellen (mit Hive SerDes oder Spark-Datenquellen) anstelle von Apache Iceberg-Tabellen. Um die Verbindung Ihrer Spark-Jobs mit diesem Endpunkt zu vereinfachen, sind Managed Service for Apache Spark-Images mit den erforderlichen Clientbibliotheken und Abhängigkeiten vorkonfiguriert.

Die folgende Sequenz beschreibt, wie Spark eine Verbindung zum Metastore herstellt:

  1. Apache Spark stellt über die Standard-Apache Hive-Schnittstelle IMetastoreClient eine Verbindung zu externen Metadatenkatalogen her.
  2. Der Lakehouse-Laufzeitkatalog implementiert einen benutzerdefinierten IMetastoreClient, um einen vollständig verwalteten Metastore-Dienst für Ihre Spark- und Hive-Metadaten bereitzustellen.
  3. Vorkonfigurierte Managed Service for Apache Spark-Laufzeiten verwenden diesen benutzerdefinierten Client automatisch, um Metadatenvorgänge direkt an den Metastore weiterzuleiten.

Nach der Einrichtung können Sie Ihre mit Spark erstellten Tabellen direkt in BigQuery abfragen. Diese Integration unterstützt verschiedene Speicher formate wie Parquet, ORC, Avro und Delta Lake sowie bestimmte Datentyp zuordnungen zwischen Spark und BigQuery und kundenverwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK) für in Cloud Storage gespeicherte Daten.

So wird der Hive-Katalogendpunkt in Google Cloud Dienste eingebunden

Informationen dazu, wie Borderless Lakehouse Ihre Daten verwaltet, finden Sie unter So wird die Hive-Katalogarchitektur in Google Cloud Dienste eingebunden. Anstatt selbst gehostete Metastores zu verwalten, stellen Ihre Open-Source-Arbeitslasten eine Verbindung zum Lakehouse-Laufzeitkatalog her, um Hive-Datenbank- und Tabellendefinitionen zu verwalten. Die zugrunde liegenden Datendateien werden direkt in Cloud Storage-Warehouse-Verzeichnissen gespeichert.

Das folgende Diagramm veranschaulicht, wie Compute-Engines wie Managed Service for Apache Spark den Lakehouse-Laufzeitkatalog verwenden, um Tabellenmetadaten zu verwalten, während sie zugrunde liegende Datendateien direkt in Hive lesen und schreiben.

Komponenten einer Lakehouse-Architektur, einschließlich Managed Service for Apache Spark, Cloud Storage und dem Apache Hive-Katalog.
Lakehouse Hive-Katalog-Architekturdiagramm.

Funktionsvergleich mit Hive-Metastore

In der folgenden Tabelle werden Entitäten und Vorgänge in Hive-Metastore und Lakehouse verglichen:

Entität oder Vorgang Hive-Metastore Lakehouse-Laufzeitkatalog
Katalog ✅ ✅
Datenbank (erstellen, löschen, aktualisieren) ✅ ✅
Tabelle (erstellen, löschen, aktualisieren) ✅ ✅
Partition (hinzufügen, löschen, aktualisieren) ✅ ✅
Tabellenberechtigungen ✅ ✅ (über Identity and Access Management (IAM))
Partitionsberechtigungen ✅ ✅ (über IAM)
Benutzerdefinierte Funktionen ✅ Nicht unterstützt
Bucketing-/Skewing-Spalten ✅ Nicht unterstützt
Tabellen- und Partitionsspaltenstatistiken ✅ Nicht unterstützt
Schlüsseleinschränkungen ✅ Nicht unterstützt
Delegierungstokens (Kerberos) ✅ Nicht unterstützt
Spaltenberechtigungen ✅ Nicht unterstützt
Rollen ✅ Nicht unterstützt
Workload Manager-Ressourcenpläne ✅ Nicht unterstützt
Transaktionen und Komprimierungen ✅ Nicht unterstützt

Von Dataproc Metastore migrieren

Informationen zum Upgrade und zur Migration Ihrer Metadaten von Dataproc Metastore zum Lakehouse-Laufzeitkatalog finden Sie unter Metadaten von Dataproc Metastore zu Lakehouse migrieren.

Nächste Schritte