Tabellentypen vergleichen

Die Auswahl der richtigen Tabellenarchitektur ist entscheidend, um die Leistung zu maximieren, Kosten zu senken und den Datenzugriff über Ihre Analysetools hinweg zu gewährleisten. Auf dieser Seite werden die verschiedenen Tabellentypen und Serving-Endpunkte in Lakehouse für Apache Iceberg erläutert. So können Sie die beste Option basierend auf Ihren Schreib-Engines, Leseanforderungen und Anforderungen an die Verwaltungssteuerung auswählen.

Tabellenformate nach Katalog oder Engine

Wählen Sie einen Katalog oder eine Engine aus, um mehr über die unterstützten Tabellenformate, die Metastore-Konfiguration, die Möglichkeiten zur Speicheroptimierung und die Interoperabilität der Engine zu erfahren.

Lakehouse-Laufzeitkatalog

Der Lakehouse-Laufzeitkatalog verwaltet Apache Iceberg-Tabellen über den Iceberg-REST-Katalogendpunkt und bietet nahtlose Lese-/Schreib- Interoperabilität zwischen Iceberg-kompatiblen Engines (Spark, Flink, Trino) und BigQuery. Dabei wird die branchenübliche Iceberg-REST-Katalog- Oberfläche verwendet.

Unterstützte Tabellenformate

Apache Iceberg V2-Tabellen (GA) und V3-Tabellen (Vorschau) werden unterstützt. Iceberg V1-Tabellen werden nicht unterstützt. Bevor Sie vorhandene V1-Tabellen mit Lakehouse für Apache Iceberg verwenden, müssen Sie sie auf eine unterstützte Version aktualisieren. Weitere Informationen finden Sie unter Iceberg V1-Tabellen auf V2 aktualisieren.

Besondere Merkmale:

  • Metastore: Lakehouse-Laufzeitkatalog.
  • Speicher: Cloud Storage.
  • Speicheroptimierung: Von Ihnen oder optional von Google verwaltet (Vorschau).
  • Lese- und Schreibzugriff:
    • Open-Source-Engines: Lesen und Schreiben (GA)
    • BigQuery: Lesen/Schreiben (Vorschau)
  • Anwendungsfälle: Offenes Lakehouse mit leistungsstarkem Speicher der Enterprise-Klasse für erweiterte Analysen, Streaming und KI.

Hive-Metastore

Der Lakehouse-Laufzeitkatalog verwaltet Apache Hive-Tabellen über einen Apache Hive-Metastore-Endpunkt (HMS), der für die Apache Spark ExternalCatalog-Kompatibilität optimiert ist. So können Sie Daten nahtlos zwischen Apache Spark, Apache Hive und BigQuery austauschen. Sie erstellen diese Tabellen aus Open-Source-Engines und speichern sie in Cloud Storage. Diese Option ist am besten geeignet, wenn Ihr ETL-Workflow von Open-Source-Engines verwaltet werden soll, ohne dass ein separater selbst gehosteter Hive-Metastore erforderlich ist, und Sie nur Lesezugriff von BigQuery benötigen.

Bei Tabellen, die vom Hive-Metastore-Endpunkt verwaltet werden, handelt es sich um Standardtabellen von Apache Hive und Spark (mit Hive SerDes oder Spark-Datenquellen) und nicht um Apache Iceberg-Tabellen. Wenn Sie Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog erstellen und verwalten möchten, verwenden Sie stattdessen den Iceberg-REST-Katalogendpunkt.

Besondere Merkmale:

  • Metastore: Lakehouse-Laufzeitkatalog (über benutzerdefinierten IMetastoreClient).
  • Speicher: Cloud Storage (unterstützt Formate wie Parquet, ORC und Avro).
  • Speicheroptimierung: Von Ihnen oder einem Drittanbieter verwaltet.
  • Lese- und Schreibzugriff:
    • Open-Source-Engines (Spark und Hive): Lesen und Schreiben.
    • BigQuery: Nur Lesen.
  • Anwendungsfälle: Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore auf Google Cloudmigrieren.

BigQuery

BigQuery unterstützt verwaltete Apache Iceberg-Tabellen, native Tabellen und externe Tabellen.

  • Verwaltete Apache Iceberg-Tabellen: Das sind Apache Iceberg-Tabellen, die Sie in BigQuery erstellen und verwalten und in Cloud Storage speichern. Sie können zwar von Open-Source-Engines gelesen werden, aber BigQuery ist die Engine, die die Metadaten verwaltet und in sie schreibt. Diese Option ist am besten geeignet, wenn Ihr Workflow vollständig von BigQuery verwaltet werden soll.

  • Native Tabellen: Das sind native BigQuery-Tabellen. Sie sind vollständig verwaltet und bieten die fortschrittlichsten Analyse- und Verwaltungsfunktionen. Diese Option ist am besten für Nicht-Iceberg-Arbeitslasten geeignet.

  • Externe Tabellen: Diese Tabellen sind BigQuery-spezifische Konstrukte für Daten, die in Cloud Storage, Amazon S3 oder Azure Blob Storage gespeichert sind. Die Daten und Metadaten werden selbst verwaltet und BigQuery hat nur Lesezugriff. Wählen Sie diese Option für Daten aus, die Sie direkt in einem Katalog oder Speicher eines Drittanbieters verwalten möchten.

Tabellenformate nach Produkt

In der folgenden Tabelle werden die Tabellentypen zwischen dem Lakehouse-Laufzeitkatalog und BigQuery verglichen.

Lakehouse

Apache Iceberg (GA) Apache Hive (Vorschau)
Metastore Lakehouse-Laufzeitkatalog Lakehouse-Laufzeitkatalog
Speicher Cloud Storage Cloud Storage
Speicheroptimierung Kunde, von einem Drittanbieter verwaltet oder von Google verwaltet (Vorschau) Kunde oder von einem Drittanbieter verwaltet
Lesen/Schreiben Open-Source-Engines (Lesen/Schreiben)

BigQuery (Lesen/Schreiben). Vorschau 		Open-Source-Engines (Lesen/Schreiben)

BigQuery (Nur Lesen)
Erweiterte Vorgänge Keine –
Anwendungsfälle Offenes Lakehouse Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore migrieren

BigQuery

Verwaltete Apache Iceberg-Tabellen Externe Tabellen Standardtabellen
Metastore BigQuery Externer oder selbst gehosteter Metastore BigQuery
Speicher Cloud Storage Cloud Storage / Amazon S3 / Azure BigQuery
Speicheroptimierung Von Google verwaltet Kunde oder von einem Drittanbieter verwaltet Von Google verwaltet
Lesen/Schreiben Open-Source-Engines (Nur Lesen mit Iceberg Bibliotheken, Lesen/Schreiben-Interoperabilität mit der BigQuery Storage API)

BigQuery (Lesen/Schreiben)

 Open-Source-Engines (Lesen/Schreiben)

BigQuery (Nur Lesen) 		Open-Source-Engines (Lesen/Schreiben-Interoperabilität mit BigQuery Storage API)

BigQuery (Lesen/Schreiben)
Erweiterte Vorgänge Streaming mit hohem Durchsatz mit der BigQuery Storage Write API, Change Data Capture (CDC) und Transaktionen mit mehreren Anweisungen Keine Streaming mit hohem Durchsatz mit der BigQuery Storage Write API, Change Data Capture (CDC) und Transaktionen mit mehreren Anweisungen
Anwendungsfälle Offenes Lakehouse mit leistungsstarkem Speicher der Enterprise-Klasse für erweiterte Analysen, Streaming und KI Staging-Tabellen für BigQuery-Ladevorgänge, Legacy-Tabellen nur für Abfragen Speicher der Enterprise-Klasse für erweiterte Analysen, Streaming und KI

Nächste Schritte