Tabellentypen vergleichen

Die Auswahl der richtigen Tabellenarchitektur ist entscheidend, um die Leistung zu maximieren, Kosten zu senken und den Datenzugriff über Ihre Analysetools hinweg zu gewährleisten. Auf dieser Seite werden die verschiedenen Tabellentypen und Serving-Endpunkte erläutert, die in borderless Lakehouse verfügbar sind. So können Sie die beste Option basierend auf Ihren Schreib-Engines, Leseanforderungen und Anforderungen an die Verwaltungssteuerung auswählen.

Tabellenformate nach Katalog oder Engine

Wählen Sie einen Katalog oder eine Engine aus, um mehr über die unterstützten Tabellenformate, die Metastore-Konfiguration, die Funktionen zur Speicheroptimierung und die Interoperabilität der Engine zu erfahren.

Lakehouse-Laufzeitkatalog

Der Lakehouse-Laufzeitkatalog verwaltet Apache Iceberg-Tabellen über den Iceberg-REST-Katalogendpunkt und bietet nahtlose Lese-/Schreib interoperabilität zwischen Iceberg-kompatiblen Engines (Spark, Flink, Trino) und BigQuery. Dabei wird die branchenübliche Iceberg-REST-Katalog oberfläche verwendet.

Unterstützte Tabellenformate

Apache Iceberg V2-Tabellen (allgemeine Verfügbarkeit) und V3-Tabellen (Vorschau) werden unterstützt. Iceberg V1-Tabellen werden nicht unterstützt. Bevor Sie vorhandene V1-Tabellen mit Lakehouse verwenden, müssen Sie sie auf eine unterstützte Version aktualisieren. Weitere Informationen finden Sie unter Iceberg V1-Tabellen auf V2 aktualisieren.

Besondere Merkmale:

  • Metastore: Lakehouse-Laufzeitkatalog.
  • Speicher: Cloud Storage.
  • Speicheroptimierung: Von Ihnen oder optional von Google verwaltet (Vorschau).
  • Lese- und Schreibzugriff:
    • Open-Source-Engines: Lesen und Schreiben (allgemeine Verfügbarkeit)
    • BigQuery: Lesen/Schreiben (Vorschau)
  • Anwendungsfälle: Offenes Lakehouse mit leistungsstarkem Speicher auf Unternehmensniveau für erweiterte Analysen, Streaming und KI.

Hive-Metastore

Der Lakehouse-Laufzeitkatalog verwaltet Apache Hive-Tabellen über einen Apache Hive-Metastore-Endpunkt (HMS), der für die Apache Spark ExternalCatalog-Kompatibilität optimiert ist. So können Sie Daten nahtlos zwischen Apache Spark, Apache Hive und BigQuery freigeben. Sie erstellen diese Tabellen aus Open-Source-Engines und speichern sie in Cloud Storage. Diese Option ist am besten geeignet, wenn Ihr ETL-Workflow von Open-Source-Engines verwaltet werden soll, ohne dass ein separater selbst gehosteter Hive-Metastore erforderlich ist, und Sie nur Lesezugriff von BigQuery benötigen.

Bei Tabellen, die vom Hive-Metastore-Endpunkt verwaltet werden, handelt es sich um Standard-Apache Hive- und Spark-Tabellen (mit Hive SerDes oder Spark-Datenquellen) und nicht um Apache Iceberg-Tabellen. Wenn Sie Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog erstellen und verwalten möchten, verwenden Sie stattdessen den Iceberg-REST-Katalogendpunkt.

Besondere Merkmale:

  • Metastore: Lakehouse-Laufzeitkatalog (über benutzerdefinierten IMetastoreClient).
  • Speicher: Cloud Storage (unterstützt Formate wie Parquet, ORC und Avro).
  • Speicheroptimierung: Von Ihnen oder einem Drittanbieter verwaltet.
  • Lese- und Schreibzugriff:
    • Open-Source-Engines (Spark und Hive): Lesen und Schreiben.
    • BigQuery: Nur Lesen.
  • Anwendungsfälle: Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore in migrieren Google Cloud.

Tabellenformate nach Produkt

In der folgenden Tabelle werden die Tabellentypen im Lakehouse-Laufzeitkatalog verglichen.

Lakehouse

Apache Iceberg (GA) Cloudübergreifender Datenzugriff (Vorschau) Apache Hive (Vorschau)
Metastore Lakehouse-Laufzeitkatalog Lakehouse-Laufzeitkatalog Lakehouse-Laufzeitkatalog
Speicher Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
Speicheroptimierung Vom Kunden, von einem Drittanbieter oder von Google verwaltet (Vorschau) Vom Kunden oder von einem Drittanbieter verwaltet Vom Kunden oder von einem Drittanbieter verwaltet
Lesen/Schreiben Open-Source-Engines (Lesen/Schreiben)

BigQuery (Lesen/Schreiben [Vorschau])		 Open-Source-Engines (Lesen)

BigQuery (Lesen)		 Open-Source-Engines (Lesen/Schreiben)

BigQuery (Nur Lesen)
Erweiterte Vorgänge Keine EUR Keine
Zugriffssteuerung Sicherheit auf Tabellenebene mit IAM Sicherheit auf Tabellenebene mit IAM Sicherheit auf Tabellenebene mit IAM
Anwendungsfälle Offenes Lakehouse Daten bei anderen Cloud-Anbietern abfragen, ohne Dateien zu migrieren oder komplexe ETL-Pipelines zu erstellen. Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore migrieren

Funktionen von Iceberg-Tabellen

In der folgenden Tabelle finden Sie weitere Informationen zu den Funktionen, die in Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog verfügbar sind.

Funktion Support
Katalog Lakehouse-Laufzeitkatalog (kompatibel mit Iceberg-REST-Katalog)
Speicher Cloud Storage
Über den Iceberg-REST-Katalogendpunkt zugänglich Ja
Interoperabilität beim Lesen/Schreiben
BigQuery-Leseabfragen (SELECT, BQML, KI-Funktionen) Unterstützt (GA)
BigQuery DML (INSERT, UPDATE, DELETE, MERGE) Unterstützt (Vorschau)
Lesevorgänge der OSS-Engine Unterstützt (GA)
Schreibvorgänge der OSS-Engine Unterstützt (GA)
Streaming-Schreibvorgänge der OSS-Engine (Kafka, Spark, Dataflow mit Iceberg-E/A-Senke) Unterstützt (GA)
Verwaltete und erweiterte Funktionen
Tabellenverwaltung (Komprimierung, Garbage Collection) Unterstützt (Vorschau)
BigQuery Change Data Capture (CDC) Unterstützt (Vorschau)
Zeitreise
Zeitreise (mit OSS-Engines) Flexibel (über Tabelleneigenschaften konfiguriert)
Zeitreise (mit BigQuery) Beschränkt auf 7 Tage
Snapshot-Verlauf und Rollback zum vorherigen Snapshot Unterstützt (GA)
Knowledge Catalog-Funktionen
Metadatenkatalogisierung, Suche und Ermittlung Unterstützt (GA)
Lineage Unterstützt (GA)
Datenqualität/-profilerstellung Unterstützt (GA)
Statistiken Unterstützt (GA)
KI-basierte Generierung von Spalten- und Tabellenbeschreibungen Unterstützt (GA)

Nächste Schritte