Mit der richtigen Tabellenarchitektur können Sie die Leistung optimieren, Kosten senken und den Datenzugriff über Ihre Analysetools hinweg aufrechterhalten. Borderless Lakehouse bietet mehrere Tabellentypen und Bereitstellungsendpunkte, sodass Sie die Option auswählen können, die Ihren Schreib-Engines, Leseanforderungen und Verwaltungsanforderungen entspricht.
Tabellenformate nach Katalog oder Engine
Wählen Sie einen Katalog oder eine Engine aus, um mehr über die unterstützten Tabellenformate, die Metastore-Konfiguration, die Funktionen zur Speicheroptimierung und die Interoperabilität der Engine zu erfahren.
Lakehouse-Laufzeitkatalog
Der Lakehouse-Laufzeitkatalog verwaltet Apache Iceberg-Tabellen über den Apache Iceberg REST-Katalogendpunkt und bietet eine nahtlose Lese- und Schreibinteroperabilität zwischen Iceberg-kompatiblen Engines (Apache Spark, Apache Flink und Trino) und BigQuery. Dabei wird die branchenübliche Iceberg REST-Katalogschnittstelle verwendet.
Unterstützte Tabellenformate
Apache Iceberg V2-Tabellen (GA) und V3-Tabellen (Vorabversion) werden unterstützt. Iceberg-V1-Tabellen werden nicht unterstützt. Bevor Sie vorhandene V1-Tabellen mit Lakehouse verwenden können, müssen Sie sie auf eine unterstützte Version aktualisieren. Weitere Informationen finden Sie unter Iceberg-V1-Tabellen auf V2 aktualisieren.
Besondere Merkmale:
- Metastore: Lakehouse-Laufzeitkatalog.
- Speicher: Cloud Storage.
- Speicheroptimierung: Wird von Ihnen, einem Drittanbieter oder (von Google verwaltet, Vorabversion) verwaltet.
- Lese- und Schreibzugriff:
- Open-Source-Engines: Lesen und Schreiben (GA)
- BigQuery: Lesen/Schreiben (Vorabversion)
- Anwendungsfälle: Offenes Lakehouse mit leistungsstarkem Speicher auf Unternehmensniveau für erweiterte Analysen, Streaming und KI.
Hive-Metastore
Der Lakehouse-Laufzeitkatalog verwaltet Apache Hive-Tabellen über einen Apache Hive Metastore (HMS)-Endpunkt, der für die Spark-ExternalCatalog-Kompatibilität optimiert ist. So können Sie Daten nahtlos zwischen Spark, Apache Hive und BigQuery freigeben. Sie erstellen diese Tabellen mit Open-Source-Engines und speichern sie in Cloud Storage. Diese Option eignet sich gut, wenn Sie Ihren ETL-Workflow von Open-Source-Engines verwalten lassen möchten, ohne einen separaten selbst gehosteten Hive-Metastore zu benötigen, und nur Lesezugriff von BigQuery benötigen.
Vom Hive-Metastore-Endpunkt verwaltete Tabellen sind Standard-Apache Hive- und Spark-Tabellen (mit Hive-SerDes oder Spark-Datenquellen), keine Apache Iceberg-Tabellen. Wenn Sie Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog erstellen und verwalten möchten, verwenden Sie stattdessen den Apache Iceberg REST-Katalogendpunkt.
Besondere Merkmale:
- Metastore: Lakehouse-Laufzeitkatalog (über benutzerdefinierten
IMetastoreClient). - Speicher: Cloud Storage (unterstützt Formate wie Parquet, ORC und Avro).
- Speicheroptimierung: Wird von Ihnen oder einem Drittanbieter verwaltet.
- Lese- und Schreibzugriff:
- Open-Source-Engines (Spark und Apache Hive): Lesen und Schreiben.
- BigQuery: schreibgeschützt.
- Anwendungsfälle: Migration vorhandener Spark- und Apache Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore in Google Cloud.
Tabellenformate nach Produkt
In der folgenden Tabelle werden die Tabellentypen im Lakehouse-Laufzeitkatalog verglichen.
Lakehouse
| Apache Iceberg (GA) | Cloudübergreifender Datenzugriff (Vorabversion) | Apache Hive (GA) | |
|---|---|---|---|
| Metastore | Lakehouse-Laufzeitkatalog | Lakehouse-Laufzeitkatalog | Lakehouse-Laufzeitkatalog |
| Speicher | Cloud Storage | Cloud Storage / Amazon S3 | Cloud Storage |
| Speicheroptimierung | Vom Kunden verwaltet, von Drittanbietern verwaltet oder von Google verwaltet (Vorabversion) | Kundenverwaltet oder von Drittanbietern verwaltet | Kundenverwaltet oder von Drittanbietern verwaltet |
| Lese-/Schreibzugriff |
Open-Source-Engines (Lesen/Schreiben) BigQuery (Lesen/Schreiben [Vorabversion]) |
Open-Source-Engines (Lesen) BigQuery (Lesen) |
Open-Source-Engines (Lesen/Schreiben) BigQuery (schreibgeschützt) |
| Erweiterte Vorgänge | Keine | EUR | Keine |
| Zugriffssteuerung | Sicherheit auf Tabellenebene mit IAM | Sicherheit auf Tabellenebene mit IAM | Sicherheit auf Tabellenebene mit IAM |
| Anwendungsfälle | Offenes Lakehouse | Daten bei anderen Cloud-Anbietern abfragen, ohne Dateien zu migrieren oder komplexe ETL-Pipelines zu erstellen | Vorhandene Spark- und Apache Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore migrieren |
Funktionen von Iceberg-Tabellen
In der folgenden Tabelle finden Sie weitere Informationen zu den Funktionen, die in Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog angeboten werden.
Einen Vergleich der Funktionen von Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog verwaltet werden, und Apache Iceberg-Tabellen, die von BigQuery verwaltet werden, finden Sie unter Vergleich der Funktionen von Iceberg-Tabellen.
| Funktion | Support |
|---|---|
| Katalog | Lakehouse-Laufzeitkatalog (kompatibel mit Iceberg-REST-Katalog) |
| Speicher | Cloud Storage |
| Über den Iceberg-REST-Katalogendpunkt zugänglich | Ja |
| Lese-/Schreibinteroperabilität | |
BigQuery-Leseabfragen (SELECT, BigQuery ML, KI-Funktionen)
|
Unterstützt (GA) |
BigQuery-DML (INSERT, UPDATE, DELETE, MERGE)
|
Unterstützt (Vorabversion) |
| OSS-Engine-Lesevorgänge | Unterstützt (GA) |
| OSS-Engine-Schreibvorgänge | Unterstützt (GA) |
| Streaming-Schreibvorgänge von OSS-Engines (Kafka, Spark, Dataflow mit Iceberg-E/A-Senke) | Unterstützt (GA) |
| Verwaltete und erweiterte Funktionen | |
| Tabellenverwaltung (Komprimierung, automatische Speicherbereinigung) | Unterstützt (Vorabversion) |
| BigQuery Change Data Capture (CDC) | Unterstützt (Vorabversion) |
| Zeitreise | |
| Zeitreise (mit OSS-Engines) | Flexibel (über Tabelleneigenschaften konfiguriert) |
| Zeitreise (mit BigQuery) | Beschränkt auf 7 Tage |
| Snapshot-Verlauf und Rollback zu vorherigem Snapshot | Unterstützt (GA) |
| Knowledge Catalog-Funktionen | |
| Metadatenkatalogisierung, -suche und -erkennung | Unterstützt (GA) |
| Lineage | Unterstützt (GA) |
| Datenqualität/-profilerstellung | Unterstützt (GA) |
| Statistiken | Unterstützt (GA) |
| KI-basierte Generierung von Spalten- und Tabellenbeschreibungen | Unterstützt (GA) |