Mit der richtigen Tabellenarchitektur können Sie die Leistung optimieren, Kosten senken und den Datenzugriff über Ihre Analysetools hinweg aufrechterhalten. Borderless Lakehouse bietet mehrere Tabellentypen und Bereitstellungsendpunkte, sodass Sie die Option auswählen können, die Ihren Schreib-Engines, Leseanforderungen und Verwaltungsanforderungen entspricht.
Tabellenformate nach Katalog oder Engine
Wählen Sie einen Katalog oder eine Engine aus, um mehr über die unterstützten Tabellenformate, die Metastore-Konfiguration, die Funktionen zur Speicheroptimierung und die Interoperabilität der Engine zu erfahren.
Lakehouse-Laufzeitkatalog
Der Lakehouse-Laufzeitkatalog verwaltet Apache Iceberg-Tabellen über den Iceberg-REST-Katalogendpunkt und bietet eine nahtlose Lese- und Schreibinteroperabilität zwischen Iceberg-kompatiblen Engines (Spark, Flink, Trino) und BigQuery. Dabei wird die branchenübliche Iceberg-REST-Katalogschnittstelle verwendet.
Unterstützte Tabellenformate
Apache Iceberg V2-Tabellen (GA) und V3-Tabellen (Vorabversion) werden unterstützt. Iceberg-V1-Tabellen werden nicht unterstützt. Bevor Sie vorhandene V1-Tabellen mit Lakehouse verwenden können, müssen Sie sie auf eine unterstützte Version aktualisieren. Weitere Informationen finden Sie unter Iceberg-V1-Tabellen auf V2 aktualisieren.
Besondere Merkmale:
- Metastore: Lakehouse-Laufzeitkatalog.
- Speicher: Cloud Storage.
- Speicheroptimierung: Wird von Ihnen oder optional von Google verwaltet (Vorabversion).
- Lese- und Schreibzugriff:
- Open-Source-Engines: Lesen und Schreiben (GA)
- BigQuery: Lesen/Schreiben (Vorabversion)
- Anwendungsfälle: Offenes Lakehouse mit leistungsstarkem Speicher auf Unternehmensniveau für erweiterte Analysen, Streaming und KI.
Hive-Metastore
Der Lakehouse-Laufzeitkatalog verwaltet Apache Hive-Tabellen über einen Apache Hive Metastore-Endpunkt (HMS), der für die Kompatibilität mit Apache Spark ExternalCatalog optimiert ist. So können Sie Daten nahtlos zwischen Apache Spark, Apache Hive und BigQuery freigeben. Sie erstellen diese Tabellen mit Open-Source-Engines und speichern sie in Cloud Storage. Diese Option ist am besten geeignet, wenn Ihr ETL-Workflow von Open-Source-Engines verwaltet werden soll, ohne dass ein separater selbst gehosteter Hive-Metastore erforderlich ist, und Sie nur Lesezugriff von BigQuery benötigen.
Vom Hive-Metastore-Endpunkt verwaltete Tabellen sind Standard-Apache Hive- und Spark-Tabellen (mit Hive-SerDes oder Spark-Datenquellen), keine Apache Iceberg-Tabellen. Wenn Sie Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog erstellen und verwalten möchten, verwenden Sie stattdessen den Iceberg REST-Katalogendpunkt.
Besondere Merkmale:
- Metastore: Lakehouse-Laufzeitkatalog (über benutzerdefinierten
IMetastoreClient). - Speicher: Cloud Storage (unterstützt Formate wie Parquet, ORC und Avro).
- Speicheroptimierung: Wird von Ihnen oder einem Drittanbieter verwaltet.
- Lese- und Schreibzugriff:
- Open-Source-Engines (Spark und Hive): Lesen und Schreiben.
- BigQuery: schreibgeschützt.
- Anwendungsfälle: Migration vorhandener Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore in Google Cloud.
Tabellenformate nach Produkt
In der folgenden Tabelle werden die Tabellentypen im Lakehouse-Laufzeitkatalog verglichen.
Lakehouse
| Apache Iceberg (GA) | Cloudübergreifender Datenzugriff (Vorabversion) | Apache Hive (Vorabversion) | |
|---|---|---|---|
| Metastore | Lakehouse-Laufzeitkatalog | Lakehouse-Laufzeitkatalog | Lakehouse-Laufzeitkatalog |
| Speicher | Cloud Storage | Cloud Storage / Amazon S3 | Cloud Storage |
| Speicheroptimierung | Vom Kunden, von einem Drittanbieter oder von Google verwaltet (Vorabversion) | Verwaltung durch Kunden oder Drittanbieter | Verwaltung durch Kunden oder Drittanbieter |
| Lese-/Schreibzugriff |
Open-Source-Engines (Lesen/Schreiben) BigQuery (Lesen/Schreiben [Vorabversion]) |
Open-Source-Engines (Lesen) BigQuery (Lesen) |
Open-Source-Engines (Lesen/Schreiben) BigQuery (schreibgeschützt) |
| Erweiterte Vorgänge | Keine | EUR | Keine |
| Zugriffssteuerung | Sicherheit auf Tabellenebene mit IAM | Sicherheit auf Tabellenebene mit IAM | Sicherheit auf Tabellenebene mit IAM |
| Anwendungsfälle | Offenes Lakehouse | Sie können Daten bei anderen Cloud-Anbietern abfragen, ohne Dateien migrieren oder komplexe ETL-Pipelines erstellen zu müssen. | Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore migrieren |
Funktionen von Iceberg-Tabellen
In der folgenden Tabelle finden Sie weitere Informationen zu den Funktionen, die in Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog angeboten werden.
Einen Vergleich der Funktionen von Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog verwaltet werden, und Apache Iceberg-Tabellen, die von BigQuery verwaltet werden, finden Sie unter Vergleich der Funktionen von Iceberg-Tabellen.
| Funktion | Support |
|---|---|
| Katalog | Lakehouse-Laufzeitkatalog (kompatibel mit Iceberg-REST-Katalog) |
| Speicher | Cloud Storage |
| Über den Iceberg-REST-Katalogendpunkt zugänglich | Ja |
| Lese-/Schreibinteroperabilität | |
| BigQuery-Leseabfragen (SELECT, BQML, KI-Funktionen) | Unterstützt (GA) |
| BigQuery-DML (INSERT, UPDATE, DELETE, MERGE) | Unterstützt (Vorabversion) |
| OSS-Engine-Lesevorgänge | Unterstützt (GA) |
| OSS-Engine-Schreibvorgänge | Unterstützt (GA) |
| Streaming-Schreibvorgänge von OSS-Engines (Kafka, Spark, Dataflow mit Iceberg-E/A-Senke) | Unterstützt (GA) |
| Verwaltete und erweiterte Funktionen | |
| Tabellenverwaltung (Komprimierung, automatische Speicherbereinigung) | Unterstützt (Vorabversion) |
| BigQuery Change Data Capture (CDC) | Unterstützt (Vorabversion) |
| Zeitreise | |
| Zeitreise (mit OSS-Engines) | Flexibel (über Tabelleneigenschaften konfiguriert) |
| Zeitreise (mit BigQuery) | Beschränkt auf 7 Tage |
| Snapshot-Verlauf und Rollback zu vorherigem Snapshot | Unterstützt (GA) |
| Knowledge Catalog-Funktionen | |
| Metadatenkatalogisierung, Suche und Erkennung | Unterstützt (GA) |
| Lineage | Unterstützt (GA) |
| Datenqualität/-profilerstellung | Unterstützt (GA) |
| Statistiken | Unterstützt (GA) |
| KI-basierte Generierung von Spalten- und Tabellenbeschreibungen | Unterstützt (GA) |