Tabellentypen vergleichen

Die Auswahl der richtigen Tabellenarchitektur ist entscheidend, um die Leistung zu maximieren, Kosten zu senken und den Datenzugriff über Ihre Analysetools hinweg zu gewährleisten. Auf dieser Seite werden die verschiedenen Tabellentypen und Serving-Endpunkte in Lakehouse für Apache Iceberg erläutert. So können Sie die beste Option basierend auf Ihren Schreib-Engines, Leseanforderungen und Anforderungen an die Verwaltungssteuerung auswählen.

Tabellenformate nach Katalog oder Engine

Wählen Sie einen Katalog oder eine Engine aus, um mehr über die unterstützten Tabellenformate, die Metastore-Konfiguration, die Möglichkeiten zur Speicheroptimierung und die Interoperabilität der Engine zu erfahren.

Lakehouse-Laufzeitkatalog

Der Lakehouse-Laufzeitkatalog verwaltet Apache Iceberg-Tabellen über den Iceberg-REST-Katalogendpunkt und bietet eine nahtlose Lese-/Schreib interoperabilität zwischen Iceberg-kompatiblen Engines (Spark, Flink, Trino) und BigQuery. Dabei wird die Iceberg-REST-Katalog oberfläche als Industriestandard verwendet.

Unterstützte Tabellenformate

Apache Iceberg V2-Tabellen (GA) und V3-Tabellen (Vorschau) werden unterstützt. Iceberg V1-Tabellen werden nicht unterstützt. Bevor Sie vorhandene V1-Tabellen mit Lakehouse für Apache Iceberg verwenden, müssen Sie sie auf eine unterstützte Version aktualisieren. Weitere Informationen finden Sie unter Iceberg V1-Tabellen auf V2 aktualisieren.

Besondere Merkmale:

  • Metastore: Lakehouse-Laufzeitkatalog.
  • Speicher: Cloud Storage.
  • Speicheroptimierung: Von Ihnen oder optional von Google verwaltet (Vorschau).
  • Lese- und Schreibzugriff:
    • Open-Source-Engines: Lesen und Schreiben (GA)
    • BigQuery: Lesen/Schreiben (Vorschau)
  • Anwendungsfälle: Offenes Lakehouse mit leistungsstarkem Speicher der Enterprise-Klasse für erweiterte Analysen, Streaming und KI.

Hive-Metastore

Der Lakehouse-Laufzeitkatalog verwaltet Apache Hive-Tabellen über einen Apache Hive-Metastore-Endpunkt (HMS), der für die Apache Spark-Kompatibilität mit ExternalCatalog optimiert ist. So können Sie Daten nahtlos zwischen Apache Spark, Apache Hive und BigQuery austauschen. Sie erstellen diese Tabellen aus Open-Source-Engines und speichern sie in Cloud Storage. Diese Option ist am besten geeignet, wenn Ihr ETL-Workflow von Open-Source-Engines verwaltet werden soll, ohne dass ein separater selbst gehosteter Hive-Metastore erforderlich ist, und Sie nur Lesezugriff von BigQuery benötigen.

Bei Tabellen, die vom Hive-Metastore-Endpunkt verwaltet werden, handelt es sich um Standardtabellen von Apache Hive und Spark (mit Hive SerDes oder Spark-Datenquellen) und nicht um Apache Iceberg-Tabellen. Wenn Sie Apache Iceberg-Tabellen im Lakehouse-Laufzeitkatalog erstellen und verwalten möchten, verwenden Sie stattdessen den Iceberg-REST-Katalogendpunkt.

Besondere Merkmale:

  • Metastore: Lakehouse-Laufzeitkatalog (über benutzerdefiniertes IMetastoreClient).
  • Speicher: Cloud Storage (unterstützt Formate wie Parquet, ORC und Avro).
  • Speicheroptimierung: Von Ihnen oder einem Drittanbieter verwaltet.
  • Lese- und Schreibzugriff:
    • Open-Source-Engines (Spark und Hive): Lesen und Schreiben.
    • BigQuery: Nur Lesen.
  • Anwendungsfälle: Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore auf Google Cloudmigrieren.

BigQuery

BigQuery unterstützt verwaltete Apache Iceberg-Tabellen, native Tabellen und externe Tabellen.

  • Verwaltete Apache Iceberg-Tabellen: Das sind Apache Iceberg-Tabellen, die Sie in BigQuery erstellen und verwalten und in Cloud Storage speichern. Sie können zwar von Open-Source-Engines gelesen werden, aber BigQuery ist die Engine, die die Metadaten verwaltet und in sie schreibt. Diese Option ist am besten geeignet, wenn Ihr Workflow vollständig von BigQuery verwaltet werden soll.

  • Native Tabellen: Das sind native BigQuery-Tabellen. Sie sind vollständig verwaltet und bieten die fortschrittlichsten Analyse- und Verwaltungsfunktionen. Diese Option ist am besten für Nicht-Iceberg-Arbeitslasten geeignet.

  • Externe Tabellen: Diese Tabellen sind BigQuery-spezifische Konstrukte für Daten, die in Cloud Storage, Amazon S3 oder Azure Blob Storage gespeichert sind. Die Daten und Metadaten werden selbst verwaltet und BigQuery hat nur Lesezugriff. Wählen Sie diese Option für Daten aus, die Sie direkt in einem Katalog oder Speicher eines Drittanbieters verwalten möchten.

Tabellenformate nach Produkt

In der folgenden Tabelle werden die Tabellentypen zwischen dem Lakehouse-Laufzeitkatalog und BigQuery verglichen.

Lakehouse

Apache Iceberg (GA) Borderless Lakehouse (Vorschau) Apache Hive (Vorschau)
Metastore Lakehouse-Laufzeitkatalog Lakehouse-Laufzeitkatalog Lakehouse-Laufzeitkatalog
Speicher Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
Speicheroptimierung Kunde, Drittanbieter oder Google (Vorschau) Kunde oder Drittanbieter Kunde oder Drittanbieter
Lesen/Schreiben Open-Source-Engines (Lesen/Schreiben)

BigQuery (Lesen/Schreiben [Vorschau])		 Open-Source-Engines (Lesen)

BigQuery (Lesen)		 Open-Source-Engines (Lesen/Schreiben)

BigQuery (Nur Lesen)
Erweiterte Vorgänge Keine EUR Keine
Zugriffssteuerung Sicherheit auf Tabellenebene mit IAM Sicherheit auf Tabellenebene mit IAM Sicherheit auf Tabellenebene mit IAM
Anwendungsfälle Offenes Lakehouse Daten bei anderen Cloud-Anbietern abfragen, ohne Dateien zu migrieren oder komplexe ETL-Pipelines zu erstellen. Vorhandene Spark- und Hive-Arbeitslasten zu einem vollständig verwalteten, serverlosen Metastore migrieren

BigQuery

Verwaltete Apache Iceberg-Tabellen Externe Apache Iceberg-Tabellen Standardtabellen
Metastore BigQuery Externer oder selbst gehosteter Metastore BigQuery
Speicher Cloud Storage Cloud Storage / Amazon S3 / Azure BigQuery
Speicheroptimierung Von Google verwaltet Kunde oder Drittanbieter Von Google verwaltet
Lesen/Schreiben Open-Source-Engines (Nur Lesen mit Iceberg Bibliotheken, Lese-/Schreibinteroperabilität mit der BigQuery Storage API)

BigQuery (Lesen/Schreiben)

 Open-Source-Engines (Lesen/Schreiben)

BigQuery (Nur Lesen) 		Open-Source-Engines (Lese-/Schreibinteroperabilität mit der BigQuery Storage API)

BigQuery (Lesen/Schreiben)
Erweiterte Vorgänge Streaming mit hohem Durchsatz mit der BigQuery Storage Write API (gRPC), Change Data Capture (CDC) und Transaktionen mit mehreren Anweisungen Keine Streaming mit hohem Durchsatz mit der BigQuery Storage Write API (gRPC), Change Data Capture (CDC) und Transaktionen mit mehreren Anweisungen
Zugriffssteuerung Sicherheit auf Tabellenebene mit IAM, Sicherheit auf Spaltenebene und Daten maskierung Sicherheit auf Tabellenebene mit IAM, Sicherheit auf Spaltenebene, Sicherheit auf Zeilenebene Sicherheit und Datenmaskierung Sicherheit auf Tabellenebene mit IAM, Sicherheit auf Spaltenebene, Sicherheit auf Zeilenebene Sicherheit und Datenmaskierung
Anwendungsfälle Offenes Lakehouse mit leistungsstarkem Speicher der Enterprise-Klasse für erweiterte Analysen, Streaming und KI Staging-Tabellen für BigQuery-Ladevorgänge, alte Tabellen, die nur für Abfragen verwendet werden Speicher der Enterprise-Klasse für erweiterte Analysen, Streaming und KI

Nächste Schritte