Mit grenzenlosen Lakehouse-Daten in BigQuery interagieren

Borderless Lakehouse ist eine Speicher Engine, die Google Cloud und Open-Source-Dienste vereint, um eine einheitliche Schnittstelle für erweiterte Analysen und KI zu schaffen. Sie bietet die Grundlage für die Erstellung eines offenen, verwalteten und leistungsstarken Lakehouse mit automatisiertem Datenmanagement und integrierter Governance mit Apache Iceberg.

Wenn Sie eine Tabelle in Lakehouse erstellen, kann sie automatisch über BigQuery abgefragt werden und ist auf der BigQuery-Seite der Google Cloud Konsole sichtbar. Ihre Lakehouse-Namespaces und -Schemas werden ebenfalls automatisch BigQuery-Datasets zugeordnet.

Unterschiede zwischen Lakehouse-Ressourcen und anderen BigQuery-Ressourcen

Die wichtigsten Unterschiede zwischen Lakehouse- und Standard-BigQuery-Ressourcen sind:

  • Lakehouse-Datasets werden auf der BigQuery-Seite der Google Cloud Konsole neben dem Wasser-Symbol angezeigt.
  • Sie können Lakehouse-Ressourcen nicht über BigQuery ändern.
  • Lakehouse-Ressourcen enthalten zusätzliche Metadaten im jeweiligen Abschnitt Details.

Vergleich der Funktionen von Iceberg-Tabellen

In der folgenden Tabelle können Sie die Funktionen von Apache Iceberg-Tabellen vergleichen, die vom Lakehouse-Laufzeitkatalog verwaltet werden, und Apache Iceberg-Tabellen, die von BigQuery verwaltet werden.

Funktion Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog verwaltet werden Apache Iceberg-Tabellen, die von BigQuery verwaltet werden
Katalog Lakehouse-Laufzeitkatalog (mit Iceberg-REST-Katalog kompatibel) BigQuery
Speicher Cloud Storage Cloud Storage
Über den Iceberg-REST-Katalogendpunkt zugänglich Ja Ja, mit der BigQuery-Katalogföderation
Interoperabilität für Lese-/Schreibvorgänge
BigQuery-Leseabfragen (SELECT, BQML, KI-Funktionen) Unterstützt Unterstützt
BigQuery-DML (INSERT, UPDATE, DELETE, MERGE) Unterstützt (Vorschau) Unterstützt (allgemeine Verfügbarkeit)
OSS-Engine-Lesevorgänge Unterstützt (allgemeine Verfügbarkeit) Unterstützt (allgemeine Verfügbarkeit) (mit der BigQuery-Katalogföderation)
OSS-Engine-Schreibvorgänge Unterstützt (allgemeine Verfügbarkeit) Nicht unterstützt
OSS-Engine-Streaming-Schreibvorgänge (Kafka, Spark, Dataflow mit Iceberg-I/O-Senke) Unterstützt (allgemeine Verfügbarkeit) Nicht unterstützt
Verwaltete und erweiterte Funktionen
Tabellenverwaltung (Komprimierung, automatische Speicherbereinigung) Unterstützt (Vorschau) Unterstützt (allgemeine Verfügbarkeit)
BigQuery-Streaming-Schreibvorgänge (Storage Write API) Nicht unterstützt Unterstützt (allgemeine Verfügbarkeit)
Pub/Sub-Streaming/-Abo, Dataflow-Streaming mit BigQuery-I/O-Senke Nicht unterstützt Unterstützt (allgemeine Verfügbarkeit)
BigQuery Change Data Capture (CDC) Nicht unterstützt Unterstützt (private Vorschau)
BigQuery-Transaktionen mit mehreren Anweisungen Nicht unterstützt Unterstützt (Vorschau)
Verwaltete Notfallwiederherstellung Nicht unterstützt Nicht unterstützt
Google-Suchindex Nicht unterstützt Nicht unterstützt
Vektorindex (einschließlich automatischer Einbettungsgenerierung) Nicht unterstützt Nicht unterstützt
Zeitreise
Zeitreise (mit OSS-Engines) Flexibel (über Tabelleneigenschaften konfiguriert) Nicht unterstützt
Zeitreise (mit BigQuery) Auf 7 Tage beschränkt Auf 7 Tage beschränkt
Snapshot-Verlauf und Rollback zum vorherigen Snapshot Unterstützt Nicht unterstützt
Governance, Sicherheit und Freigabe
Autorisierte BigQuery-Ansichten Nicht unterstützt Nicht unterstützt
BigQuery-Sicherheit auf Spaltenebene Nicht unterstützt Unterstützt (allgemeine Verfügbarkeit)
BigQuery-Datenmaskierung und Richtlinien-Tags Nicht unterstützt Unterstützt (allgemeine Verfügbarkeit)
BigQuery-Sicherheit auf Zeilenebene Nicht unterstützt Nicht unterstützt
Analytics Hub-Integration Nicht unterstützt Unterstützt
Knowledge Catalog-Funktionen
Metadatenkatalogisierung, Suche und Ermittlung Unterstützt Unterstützt
Lineage Unterstützt Unterstützt
Datenqualität/-profilerstellung Unterstützt Unterstützt
Statistiken Unterstützt Unterstützt
KI-basierte Generierung von Spalten- und Tabellenbeschreibungen Unterstützt Unterstützt

Auf cloudübergreifende Daten zugreifen

Mit der Funktion für den cloudübergreifenden Datenzugriff von Lakehouse können Sie Daten, die bei anderen Cloud-Anbietern gespeichert sind, direkt aus BigQuery abfragen, ohne Dateien migrieren oder komplexe ETL Pipelines erstellen zu müssen. Informationen zur Konfiguration finden Sie unter Remote-Daten abfragen.

Nächste Schritte