Mit grenzenlosen Lakehouse-Daten in BigQuery interagieren

Borderless Lakehouse ist eine Speicher-Engine, die Google Cloud und Open-Source-Dienste vereint, um eine einheitliche Oberfläche für erweiterte Analysen und KI zu erstellen. Sie bietet die Grundlage für die Erstellung eines offenen, verwalteten und leistungsstarken Lakehouse mit automatisiertem Datenmanagement und integrierter Governance mithilfe von Apache Iceberg.

Wenn Sie eine Tabelle in Lakehouse erstellen, kann sie automatisch über BigQuery abgefragt werden und ist auf der BigQuery-Seite der Google Cloud Console sichtbar. Ihre Lakehouse-Namespaces und -Schemas werden ebenfalls automatisch BigQuery-Datasets zugeordnet. Darüber hinaus können Sie Lakehouse-Kataloge, ‑Namespaces und ‑Tabellen direkt in BigQuery Studio erstellen und aktualisieren.

Unterschiede zwischen Lakehouse-Ressourcen und anderen BigQuery-Ressourcen

Im Folgenden sind die wichtigsten Unterschiede zwischen Lakehouse- und BigQuery-Standardressourcen aufgeführt:

  • Lakehouse-Datasets werden auf der BigQuery-Seite der Google Cloud Console neben dem Wassersymbol angezeigt.
  • Lakehouse-Ressourcen haben zusätzliche Metadaten im jeweiligen Abschnitt Details.

Lakehouse-Tabelle in BigQuery Studio erstellen

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Bereich Explorer auf Daten hinzufügen.

  3. Klicken Sie auf die Datenquellenkarte Google Cloud Storage.

  4. Klicken Sie unter Direkt auf externe Daten zugreifen auf die Karte GCS-Datendateien.

  5. Wählen Sie für GCS-Bucket-Quelle oder Dateipfad Ihren Cloud Storage-Bucket aus.

  6. Wählen Sie als Dateiformat die Option Parquet.

  7. Geben Sie unter Tabellenname einen Namen für die Tabelle ein.

  8. Wählen Sie unter Projekt Ihr Projekt aus.

  9. Wählen Sie unter Katalog-ID den vorhandenen Lakehouse-Katalog für den Bucket aus oder erstellen Sie einen, falls noch keiner vorhanden ist.

  10. Wählen Sie unter Namespace-ID einen vorhandenen Lakehouse-Namespace aus oder erstellen Sie einen neuen. Namespace-IDs dürfen nur Buchstaben, Ziffern und Unterstriche enthalten.

  11. Optional: Definieren Sie unter Schema Feldnamen und Datentypen für die neue Tabelle.

  12. Klicken Sie auf Tabelle erstellen.

Ihre Lakehouse-Tabelle ist jetzt in BigQuery sichtbar und kann wie eine BigQuery-Standardtabelle abgefragt und geändert werden.

Anstatt eine Tabelle mit Daten zu erstellen, können Sie eine leere Lakehouse-Tabelle erstellen, genau wie bei BigQuery-Standardtabellen. Der einzige Unterschied besteht darin, dass Sie einen Lakehouse-Namespace als Ziel-Dataset auswählen.

Andere Kataloge zu Lakehouse migrieren oder föderieren

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Bereich Explorer auf Daten hinzufügen.

  3. Klicken Sie auf die Datenquellenkarte Google Cloud Storage.

  4. Klicken Sie unter Direkt auf externe Daten zugreifen auf die Karte Externe oder alte Kataloge.

  5. Wählen Sie unter Katalogquelle auswählen die Katalogquelle aus.

    • Wenn Sie Hive-Metastore ausgewählt haben, gehen Sie so vor:
      1. Wählen Sie unter Region eine Region für den neuen Lakehouse-Katalog aus.
      2. Geben Sie unter Anzeigename der Migration einen neuen Namen für die Migration ein.
      3. Klicken Sie auf Weiter.
      4. Geben Sie unter Quellsystemkonfiguration die URL, das Dienstkonto und einen Netzwerkanhang ein.
    • Wenn Sie eine andere Katalogquelle ausgewählt haben, gehen Sie so vor:
      1. Geben Sie unter Katalogname (in Lakehouse) einen Namen für den Katalog ein.
      2. Wählen Sie unter Speicherort der Daten eine Region für den neuen Lakehouse-Katalog aus.
      3. Klicken Sie auf Weiter.
      4. Geben Sie unter Katalogkonfiguration die Details zum Remote-Katalog, die Authentifizierungsmethode und das Aktualisierungsintervall ein.

  6. Klicken Sie auf Erstellen.

Auf cloudübergreifende Daten zugreifen

Mit der Cloud-übergreifenden Datenzugriffsfunktion von Lakehouse können Sie Daten, die bei anderen Cloud-Anbietern gespeichert sind, direkt aus BigQuery abfragen, ohne Dateien migrieren oder komplexe ETL-Pipelines erstellen zu müssen. Informationen zur Konfiguration finden Sie unter Remote-Daten abfragen.

Vergleich der Funktionen von Iceberg-Tabellen

In der folgenden Tabelle werden die Funktionen von Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog verwaltet werden, mit denen von Apache Iceberg-Tabellen, die von BigQuery verwaltet werden, verglichen.

Funktion Apache Iceberg-Tabellen, die vom Lakehouse-Laufzeitkatalog verwaltet werden Von BigQuery verwaltete Apache Iceberg-Tabellen
Katalog Lakehouse-Laufzeitkatalog (kompatibel mit Iceberg-REST-Katalog) BigQuery
Speicher Cloud Storage Cloud Storage
Über den Iceberg-REST-Katalogendpunkt zugänglich Ja Ja, mit der BigQuery-Katalogföderation
Lese-/Schreibinteroperabilität
BigQuery-Leseabfragen (SELECT, BQML, KI-Funktionen) Unterstützt Unterstützt
BigQuery-DML (INSERT, UPDATE, DELETE, MERGE) Unterstützt (Vorabversion) Unterstützt (GA)
OSS-Engine-Lesevorgänge Unterstützt (GA) Unterstützt (GA) (mit BigQuery-Katalogföderation)
OSS-Engine-Schreibvorgänge Unterstützt (GA) Nicht unterstützt
Streaming-Schreibvorgänge von OSS-Engines (Kafka, Spark, Dataflow mit Iceberg-E/A-Senke) Unterstützt (GA) Nicht unterstützt
Verwaltete und erweiterte Funktionen
Tabellenverwaltung (Komprimierung, automatische Speicherbereinigung) Unterstützt (Vorabversion) Unterstützt (GA)
BigQuery-Streaming-Schreibvorgänge (Storage Write API) Nicht unterstützt Unterstützt (GA)
Pub/Sub-Streaming/Abo, Dataflow-Streaming mit BigQuery-E/A-Senke Nicht unterstützt Unterstützt (GA)
BigQuery Change Data Capture (CDC) Unterstützt (Vorabversion) Unterstützt
BigQuery-Transaktionen mit mehreren Anweisungen Nicht unterstützt Unterstützt (Vorabversion)
Verwaltete Notfallwiederherstellung Nicht unterstützt Nicht unterstützt
Google-Suchindex Nicht unterstützt Nicht unterstützt
Vektorindex (einschließlich automatischer Einbettungsgenerierung) Nicht unterstützt Nicht unterstützt
Zeitreise
Zeitreise (mit OSS-Engines) Flexibel (über Tabelleneigenschaften konfiguriert) Nicht unterstützt
Zeitreise (mit BigQuery) Beschränkt auf 7 Tage Beschränkt auf 7 Tage
Snapshot-Verlauf und Rollback zu vorherigem Snapshot Unterstützt Nicht unterstützt
Governance, Sicherheit und Freigabe
Autorisierte BigQuery-Ansichten Nicht unterstützt Nicht unterstützt
BigQuery-Sicherheit auf Spaltenebene Nicht unterstützt Unterstützt (GA)
BigQuery-Datenmaskierung und Richtlinien-Tags Nicht unterstützt Unterstützt (GA)
BigQuery-Sicherheit auf Zeilenebene Nicht unterstützt Unterstützt (GA)
Analytics Hub-Integration Nicht unterstützt Unterstützt
Knowledge Catalog-Funktionen
Metadatenkatalogisierung, Suche und Erkennung Unterstützt Unterstützt
Lineage Unterstützt Unterstützt
Datenqualität/-profilerstellung Unterstützt Unterstützt
Statistiken Unterstützt Unterstützt
KI-basierte Generierung von Spalten- und Tabellenbeschreibungen Unterstützt Unterstützt

Nächste Schritte