Was ist ein grenzenloses Lakehouse?

Mit Borderless Lakehouse können Sie Open-Data-Lakehouses aufGoogle Cloud erstellen, indem Sie das offene Tabellenformat Apache Iceberg mit verwaltetem Speicher kombinieren. Diese Architektur entkoppelt den Speicher von der Rechenleistung, um eine einheitliche Grundlage für Analyse- und KI-Arbeitslasten zu bieten.

Zum Verwalten von Metadaten für offene Tabellen verwendet Lakehouse den Lakehouse-Laufzeitkatalog, einen serverlosen Metadatendienst, der die Erkennung zentralisiert und die Synchronisierung zwischen Repositories überflüssig macht. Dieses Design ermöglicht es mehreren Engines, darunter Managed Service for Apache Spark, Apache Flink, Apache Hive, Trino und BigQuery, direkt auf eine zentrale Datenquelle zuzugreifen, ohne dass Daten dupliziert werden müssen.

Hauptvorteile

  • Serverlose Architektur: Mit dem Lakehouse von Google Cloud ist keine Server- oder Clusterverwaltung mehr erforderlich. Das reduziert den Betriebsaufwand und ermöglicht eine automatische Skalierung nach Bedarf. Bei Rechenarbeitslasten werden durch serverlose Batch- und interaktive Sitzungen Ressourcenkonflikte zwischen Jobs vermieden und die Infrastrukturwartung automatisiert.
  • Einheitliches Datenmanagement und einheitliche Governance: Die Integration in Knowledge Catalog ermöglicht die zentrale Definition und Durchsetzung von Governance-Richtlinien über mehrere Engines hinweg sowie semantische Suche, Datenherkunft und Qualitätsprüfungen.
  • Speichererweiterungen: Das Lakehouse von Google Cloud erweitert die Verwaltungsfunktionen von Cloud Storage um Features wie Autoclass-Tiering und kundenverwaltete Verschlüsselungsschlüssel (CMEK).
  • Vollständig verwaltete Umgebung: Wenn das Lakehouse von Google Cloud in BigQuery eingebunden ist, bietet es eine vollständig verwaltete Analyse- und KI-Umgebung.
  • Hochverfügbarkeit und Notfallwiederherstellung: Das Lakehouse von Google Cloud bietet Optionen für die regionenübergreifende Replikation und Notfallwiederherstellung (Vorabversion), um die Hochverfügbarkeit Ihrer Daten zu unterstützen.

Anwendungsfälle

  • Offenes Lakehouse: Verwenden Sie Cloud Storage als Speicherebene. Das Lakehouse von Google Cloud bietet die Verwaltungs- und Governance-Schnittstelle für Apache Iceberg-Daten.
  • Integration von Analyse- und Transaktionsdaten: Sie können direkt in AlloyDB for PostgreSQL ([Vorabversion][4]) auf analytische Apache Iceberg-Tabellen zugreifen, um analytische Daten mit Transaktionsarbeitslasten zu kombinieren.
  • Einheitlicher Zugriff: Verschiedene Engines (Apache Spark, Apache Flink, BigQuery) können mit denselben Apache Iceberg-Tabellen mit konsistenten Metadaten interagieren.
  • Cloudübergreifende Analysen und KI: Greifen Sie auf cloudübergreifende Daten (Vorabversion) zu, um Metadaten von anderen Cloud-Anbietern zu synchronisieren. So können Sie Daten mit BigQuery oder externen Open-Source-Engines über den Apache Iceberg REST-Katalogendpunkt abfragen, ohne die Daten migrieren zu müssen.
  • Öffentliche Datasets erkunden: Sie können hochwertige öffentliche Datasets ganz einfach über den Apache Iceberg REST-Katalogendpunkt abfragen, ohne eine Infrastruktur verwalten zu müssen.
  • Hive Metastore: Verbinden Sie Open-Source-Engines wie Apache Spark und Apache Hive über den Hive-Katalog mit dem Lakehouse-Laufzeitkatalog. Dadurch entfällt der Betriebsaufwand für die Verwaltung eines selbst gehosteten Hive Metastore (HMS). Gleichzeitig wird eine nahtlose Datenweitergabe und direkte Tabellenabfragen in BigQuery ermöglicht.

Schnittstellen und Tools

Sie können mit den folgenden Tools mit den Lakehouse-Ressourcen von Google Cloud interagieren:

  • Google Cloud Console: Verwenden Sie die Console, um Kataloge zu erstellen, Katalogattribute aufzurufen, Audit-Logs anzusehen und Berechtigungen zu konfigurieren.
  • BigQuery SQL: Verwenden Sie Standard-SQL-DDL (Data Definition Language), um Apache Iceberg-Tabellen und externe Tabellen zu erstellen und zu verwalten, die in den Lakehouse-Laufzeitkatalog eingebunden sind.
  • Open-Source-Engines: Verwenden Sie Engines wie Apache Spark, Apache Flink und Apache Hive mit dem Lakehouse-Laufzeitkatalog, um Daten zu lesen und zu schreiben.
  • IDEs und Notebooks: Verwenden Sie interaktive Apache Spark-Notebooks und IDE-Erweiterungen wie die Data Agent Kit (DAK)-Erweiterung für VS Code, um sich bei Google Cloud zu authentifizieren, Code interaktiv zu schreiben und Notebook-Sitzungen direkt in Ihrer Entwicklungsumgebung zu verwalten.
  • Orchestrierungs- und MLOps-Tools: Integrieren Sie serverlose Batch-Pipelines und Katalogvorgänge in Orchestrierungs-Workflows mit Managed Service for Apache Airflow (ehemals Cloud Composer) und Kubeflow Pipelines in Vertex AI.
  • Apache Iceberg REST Catalog API: Verwenden Sie den Apache Iceberg REST-Katalogendpunkt, um mit dem Dienst über Tools zu interagieren, die mit der offenen Apache Iceberg REST-Spezifikation kompatibel sind.
  • Unterstützung für Apache Iceberg-Tabellen: Apache Iceberg V2-Tabellen (allgemeine Verfügbarkeit) und V3-Tabellen (Vorabversion) werden unterstützt. Iceberg V1-Tabellen werden nicht unterstützt.

Nächste Schritte