Funktionsweise von Borderless Lakehouse

Mit Borderless Lakehouse können BigQuery und Open-Source-Engines dieselben offenen Tabellen gemeinsam nutzen, indem Metadaten im Lakehouse-Laufzeitkatalog zentralisiert werden. Wenn Sie die Architektur, die Ressourcenhierarchie und den Abfragepfad verstehen, können Sie Kataloge entwerfen, Tabellentypen auswählen und Engines verbinden. Definitionen der einzelnen Begriffe finden Sie unter Wichtige Konzepte.

Architektur

Das Lakehouse von Google Cloud besteht aus den folgenden technischen Komponenten:

  • Speicher: Cloud Storage und BigQuery-Speicher dienen als Speicherebene, wobei Apache Iceberg als empfohlenes offenes Tabellenformat für leistungsstarken, interoperablen Speicher in Cloud Storage dient. Mit dem grenzenlosen Lakehouse müssen Ihre Daten nicht in Google Cloudgespeichert werden. Wenn Sie cloudübergreifende Verbindungen zu unterstützten Remote-Katalogen einrichten, können Sie Ihre Daten in anderen Cloud-Speichersystemen wie Amazon S3 speichern und abfragen, ohne Dateien migrieren oder ETL-Pipelines erstellen zu müssen.

  • Katalog: Der Lakehouse-Laufzeitkatalog bietet eine zentrale Datenquelle für die Verwaltung von Metadaten. Er zentralisiert die Metadatenerkennung über mehrere Engines hinweg mithilfe verschiedener Kompatibilitätsoptionen, z. B. dem Apache Iceberg REST-Katalogendpunkt und dem Apache Hive-Katalogendpunkt. Tabellen, die Sie im Katalog registrieren, werden automatisch in Knowledge Catalog registriert.

  • Abfrage-Engine: BigQuery und Open-Source-Engines wie Apache Spark, Apache Flink und Trino arbeiten nahtlos zusammen, indem sie eine Verbindung zum Lakehouse-Laufzeitkatalog herstellen. Compute-Engines wie Managed Service for Apache Spark verwenden Open-Source-Apache Spark mit Ausführungsoptimierungen, um die Portabilität von Arbeitslasten zu gewährleisten und eine Anbieterabhängigkeit zu vermeiden.

  • Governance: Knowledge Catalog bietet zentrale Sicherheits-, Herkunfts- und Governance-Richtlinien für Ihr gesamtes Lakehouse.

  • Tools zum Schreiben und Analysieren von Daten: Integrierte Engines und Tools bieten mehrere Möglichkeiten für die Datenaufnahme und -analyse und sorgen für einen konsistenten Datenzugriff für Data Scientists und Analysten.

Ressourcenhierarchie

Das Lakehouse von Google Cloud organisiert Daten mithilfe einer Hierarchie, die den Apache Iceberg-Standards und Standarddatenbankkonzepten entspricht. Mit dieser Struktur kann der Lakehouse-Laufzeitkatalog logische Identitäten physischen Speicherpfaden zuordnen. Wenn Sie mit dieser Ressourcenhierarchie interagieren und Ihre Abfrage-Engines mit dem Katalog verbinden möchten, verwenden Sie bestimmte Endpunkte, wie in der folgenden Liste beschrieben.

  1. Lakehouse-Laufzeitkatalog: Die regionale Dienstressource auf oberster Ebene in Google Cloud , die Ihre Metadaten hostet. Wenn Sie Abfrage-Engines mit diesem Dienst verbinden und die zugrunde liegenden Kataloge verwalten möchten, konfigurieren Sie Clientanwendungen mit einem bestimmten Katalogendpunkt, z. B. dem Apache Iceberg REST-Katalogendpunkt.
  2. Katalog: Ein logischer Container im Laufzeitkatalogdienst. In der Namensstruktur „Projekt/Katalog/Namespace/Tabelle“ (P.C.N.T) steht dies für die spezifische Kataloginstanz, die Sie abfragen.
  3. Namespace: Eine logische Gruppierung von Tabellen innerhalb eines Katalogs. Für Nutzer, die mit BigQuery vertraut sind, ist ein Namespace funktional mit einem Dataset vergleichbar.
  4. Tabelle: Die spezifische Entität, die auf Daten in Cloud Storage verweist. Die Tabellenmetadaten enthalten das Schema, Partitionierungsinformationen und einen Verweis auf den aktuellen Tabellenstatus über eine Apache Iceberg-metadata.json-Datei.

Unterstützte Endpunkte

Der Lakehouse-Laufzeitkatalog bietet mehrere Endpunkte, um Ihre Daten in Cloud Storage und BigQuery zu verbinden.

  • Apache Iceberg REST-Katalogendpunkt: Bietet eine standardmäßige REST-Schnittstelle für eine breite Kompatibilität mit Open-Source-Engines wie Apache Spark, Apache Flink und Trino. Dies ist die empfohlene Schnittstelle für neue Arbeitslasten und bietet vollständige Lese- und Schreibinteroperabilität.

  • Benutzerdefinierter Apache Iceberg-Katalog für BigQuery-Endpunkt: Eine frühere Integration, die ein Katalog-Plug-in (BigQueryMetastoreCatalog) verwendet, um Open-Source-Engines das Speichern von Apache Iceberg-Tabellendefinitionen in BigQuery-Datasets zu ermöglichen. Verwenden Sie für neue Arbeitslasten stattdessen den Apache Iceberg REST-Katalogendpunkt.

  • Apache Hive-Katalogendpunkt: Bietet Kompatibilität für Open-Source-Arbeitslasten, die von der Apache Hive Metastore-Schnittstelle (HMS) abhängen. Dieser Endpunkt wird vom Lakehouse-Laufzeitkatalog bereitgestellt, sodass Sie Apache Hive- oder Spark-Arbeitslasten ausführen können, ohne einen selbst gehosteten Hive-Metastore verwalten zu müssen. Dieser Endpunkt verwaltet Standard-Hive- und Spark-Tabellen anstelle von Apache Iceberg-Tabellen.

Lakehouse-Laufzeitkatalog

In der Ressourcenhierarchie dient der Lakehouse-Laufzeitkatalog als regionaler Metadatendienst der obersten Ebene in Google Cloud. Er fungiert als Stammcontainer, der Ihre einzelnen Kataloginstanzen hostet, und zentralisiert die Metadatenerkennung über verschiedene Abfrage-Engines hinweg.

Sie implementiert die Open-Source-Apache Iceberg REST Catalog API, um Namespaces und Tabellen zu verwalten, und bietet Erweiterungen speziell für die Katalogverwaltung.

Weitere Informationen zum Metastore-Dienst, einschließlich wichtiger Funktionen, unterstützter Engines, Endpunktkonfiguration und Einschränkungen, finden Sie unter Lakehouse-Laufzeitkatalog.

Katalog

Ein Katalog ist ein logischer Metastore-Container, der von Cloud Storage-Warehouse-Standorten unterstützt wird. In der Project.Catalog.Namespace.Table-Namensstruktur (P.C.N.T) stellt der Katalog die eindeutige Metastore-Instanz dar, die die Metadaten Ihrer offenen Tabelle mit Abfrage-Engines verbindet.

Zu den wichtigsten Merkmalen von Katalogen gehören:

  • Speicherzuordnung: Die Beziehung zwischen einem Katalog und dem zugrunde liegenden Speicher hängt vom konfigurierten Katalogtyp ab.
  • Regionalität: Die Region eines Katalogs wird von seinem Speicher abgeleitet. Bei einem Katalog mit mehreren Buckets stammt die Region aus dem Bucket in default_location. Bei einem Katalog mit einem Bucket entspricht sie der Region des Buckets. Weitere Informationen finden Sie unter Bucket- und Katalogregionen.
  • Regionenübergreifende Replikation: Wenn der Katalog einen Dual-Region- oder multiregionalen Bucket verwendet, kann der Lakehouse-Laufzeitkatalog Katalogmetadaten in eine sekundäre Region replizieren und unterstützt Failover (Vorabversion).
  • Zugriffsdelegierung: Administratoren können die Bereitstellung von Anmeldedaten im Katalog aktivieren, um den Zugriff zu delegieren. Dadurch werden kurzlebige Anmeldedaten mit eingeschränktem Umfang automatisch generiert, anstatt Nutzern direkte Bucket-Berechtigungen zu gewähren.

Namespace

Ein Namespace ist eine logische Gruppierung von Tabellen in einem Katalog, die ähnlich wie eine Datenbank, ein Schema oder ein BigQuery-Dataset funktioniert. Sie bietet eine Struktur zum Organisieren und Verwalten von Zugriffssteuerungen für Tabellen.

Zu den wichtigsten Merkmalen von Namespaces gehören:

  • Regionalität: Wenn Sie einen Namespace erstellen, wird automatisch dieselbe Region wie für den übergeordneten Katalog verwendet.
  • Standortflexibilität: Die Optionen zum Angeben benutzerdefinierter Namespace-Standorte hängen vom Warehouse-Typ des Katalogs ab.
  • Einschränkungen bei der Verschachtelung: Verschachtelte Namespaces (Sub-Namespaces) werden nicht unterstützt.
  • Sicherheitsgrenzen: Sie können IAM-Rollen auf Namespace-Ebene gewähren, um den Zugriff auf alle darin enthaltenen Tabellen zu verwalten.

Tabellen

Wenn Sie mit dem Lakehouse von Google Cloud arbeiten, können Sie aus den folgenden Tabellentypen auswählen:

Unterstützt vom Lakehouse-Laufzeitkatalog

Empfohlen

  • Apache Iceberg-Tabellen: Apache Iceberg-Tabellen, die mit Open-Source-Engines erstellt und in Cloud Storage gespeichert wurden. Diese bieten offene Kompatibilität und Verwaltung über den Apache Iceberg REST-Katalogendpunkt. Open-Source-Engines können diese Tabellen lesen und schreiben. BigQuery kann in sie schreiben (Vorabversion), wenn Sie BigQuery-DML aktivieren. Damit keine zwei Tabellen denselben Speicherort belegen, müssen benutzerdefinierte Tabellenpfade unter dem übergeordneten Namespace-Pfad verschachtelt sein. Die resultierenden Tabellenspeicherorte erhalten automatisch ein zufälliges String-Suffix, um Konflikte zu vermeiden.

    Unterstützte Tabellenformate: Apache Iceberg V2-Tabellen (GA) und V3-Tabellen (Vorabversion) werden unterstützt. Iceberg V1-Tabellen werden nicht unterstützt. Bevor Sie vorhandene V1-Tabellen mit Lakehouse verwenden können, müssen Sie sie auf eine unterstützte Version aktualisieren. Weitere Informationen finden Sie unter Iceberg-V1-Tabellen auf V2 aktualisieren.

  • Apache Hive-Tabellen: Standard-Hive- und Spark-Tabellen (in Formaten wie Parquet, ORC, Avro und Delta Lake), die über den Apache Hive-Katalogendpunkt verwaltet werden. Open-Source-Engines können diese Tabellen lesen und schreiben und BigQuery kann sie lesen. Weitere Informationen finden Sie unter Unterstützte Speicherformate und -typen.

Von BigQuery unterstützt

  • Apache Iceberg-Tabellen: Apache Iceberg-Tabellen, die von BigQuery erstellt und verwaltet werden. Die Metadaten für diese Tabellen werden im BigQuery-Katalog gespeichert. Tabellendaten und physische Metadaten werden in Cloud Storage gespeichert.
  • Native Tabellen: Vollständig von BigQuery verwaltete Tabellen, die mit dem Lakehouse-Laufzeitkatalog verbunden werden können, um die Interoperabilität mit Open-Source-Engines zu ermöglichen.
  • Externe Tabellen: Tabellen außerhalb des Lakehouse-Laufzeitkatalogs, in denen Daten und Metadaten selbst verwaltet werden. Diese unterstützen den delegierten Zugriff über Verbindungen für Daten, die in Cloud Storage, Amazon S3 oder Azure Blob Storage gespeichert sind.

Einen detaillierten Vergleich dieser Optionen finden Sie unter Tabellentypen vergleichen.

Abfolge der Abfrageverarbeitung

Wenn Sie eine Abfrage an eine von Lakehouse verwaltete Apache Iceberg-Tabelle senden, folgt die Anfrage einem bestimmten Pfad, um Richtlinien durchzusetzen und Metadaten abzurufen, bevor die Daten verarbeitet werden.

  1. Einreichung: Sie senden eine SQL-Abfrage an eine kompatible Engine wie Apache Spark, Trino oder BigQuery.
  2. Metadatenanfrage: Die Engine fordert Tabellenmetadaten aus dem Lakehouse-Laufzeitkatalog an, um die Tabelle und den Speicherort ihrer Metadaten zu identifizieren.
  3. Autorisierung: Wenn der von Ihnen verwendete Endpunkt dies unterstützt, validiert der Katalog die Anfrage anhand von Identity and Access Management (IAM) und detaillierten Sicherheitsrichtlinien.
  4. Metadatenantwort: Der Katalog gibt die Metadaten zurück. Wenn die Bereitstellung von Anmeldedaten aktiviert ist, wird auch ein kurzlebiges Token bereitgestellt, um den sicheren Speicherzugriff zu erleichtern.
  5. Datenabruf: Die Engine verwendet die Metadaten und das optionale Token, um Datendateien direkt aus Cloud Storage zu lesen.
  6. Ausführung: Die Engine verarbeitet die Daten und gibt die Ergebnisse zurück.

Best Practices

Beachten Sie beim Entwerfen und Betreiben eines Data Lakehouse in Google Cloud die folgenden Best Practices:

  • Medallion-Architektur einführen: Strukturieren Sie Ihr Data Warehouse in progressive logische Ebenen (Bronze für die Rohdatenaufnahme, Silber für bereinigte und konforme Daten und Gold für kuratierte Aggregationen auf Geschäftsebene). Verwenden Sie BigQuery für die Gold-Verbrauchsebene, um die Abfrageleistung und Nebenläufigkeit zu maximieren.
  • Sitzungsvorlagen für interaktive Arbeitslasten verwenden: Verwenden Sie für explorative Analysen und das Erstellen von Notebooks Sitzungsvorlagen, um Umgebungskonfigurationen für alle Entwicklungsteams zu standardisieren und wiederholte Einrichtungsschritte zu reduzieren.
  • Benutzerdefinierte Batch-IDs zuweisen: Wenn Sie nicht interaktive serverlose Apache Spark-Batcharbeitslasten senden, weisen Sie benutzerdefinierte Batch- und Jobnamen zu. Dies verbessert die Beobachtbarkeit, sodass Sie Jobausführungen in Cloud Logging und der Google Cloud Console filtern und verfolgen können.
  • Diagnose-Logging aktivieren: Aktivieren Sie für komplexe Data-Engineering-Pipelines Diagnose-Bundles und sorgen Sie dafür, dass Treiber- und Executor-Logs aufbewahrt werden, um die Fehlerbehebung und den Support zu erleichtern.

Nächste Schritte