Wichtige Konzepte

In diesem Dokument werden die wichtigsten Begriffe und Konzepte für das grenzenlose Lakehouse definiert.

Diese Seite ist keine vollständige Liste der Funktionen, sondern eine allgemeine Referenz für Begriffe und Konzepte, die in der gesamten Lakehouse-Dokumentation von Google Cloud verwendet werden.

Wichtige Konzepte

Die folgenden Konzepte bilden die Grundlage der Lakehouse-Architektur von Google Cloud.

Data Lakehouse

Ein Data Lakehouse vereint die Kosteneinsparungen und die Flexibilität eines Data Lake mit der Datenverwaltung und Leistung eines Data Warehouse. Damit können Sie Daten in offenen Formaten in Cloud Storage speichern und BigQuery-Funktionen wie präzise Sicherheitskontrollen und schnelle Abfragen nutzen.

Medaillon-Architektur

Ein gängiges Designmuster in einem Data Lakehouse ist die Medallion-Architektur, bei der Daten logisch in progressive Ebenen mit Struktur und Qualität unterteilt werden:

• Bronze-Ebene (Rohdaten):Rohdaten werden in offenen Formaten wie Apache Iceberg in Cloud Storage aufgenommen und gespeichert.
• Silber-Ebene (bereinigt):Hier werden die Rohdaten bereinigt, gefiltert und in standardisierte Tabellen angereichert.
• Gold-Ebene (kuratiert):Bietet vollständig kuratierte, aggregierte Tabellen auf Unternehmensebene. Im Lakehouse von Google Cloud wird BigQuery häufig verwendet, um die Gold-Ebene für leistungsstarke Nutzung, Berichterstellung und Analyse bereitzustellen.

Offene Interoperabilität

Offene Interoperabilität bedeutet, dass mehrere Analyse- und Transaktionssysteme wie BigQuery, Apache Spark und Apache Flink mit einer einzigen Kopie von Daten in offenen Formaten wie Apache Iceberg arbeiten können. So müssen Daten nicht dupliziert werden und Sie erhalten in allen Tools eine einheitliche Ansicht der Daten.

Lakehouse-Laufzeitkatalog

Der Lakehouse-Laufzeitkatalog ist ein zentraler, serverloser Metadatendienst, der als einzige zuverlässige Informationsquelle für das Lakehouse von Google Cloud dient. Er ermöglicht es mehreren Engines wie Apache Spark, Apache Flink und BigQuery, dieselben Tabellen gleichzeitig zu erkennen und abzufragen.

Katalogtypen

Der Lakehouse-Laufzeitkatalog bietet verschiedene Arten von Katalogen zum Verwalten Ihrer Metadaten.

Apache Iceberg-REST-Katalogendpunkt

Dies ist ein Katalog, der auf dem Apache Iceberg REST-Katalogendpunkt basiert. Sie bietet Interoperabilität zwischen Open-Source-Engines und BigQuery und unterstützt Funktionen wie die Bereitstellung von Anmeldedaten und die Notfallwiederherstellung.

Speicherkonfigurationen für Kataloge

Beim Erstellen eines Apache Iceberg REST-Katalogendpunkts können Sie zwischen zwei Speichermodellen wählen:

• Katalog mit mehreren Buckets (empfohlen): Sie können Ihren Katalog unabhängig benennen und bis zu 15 Cloud Storage-Buckets (default_location und restricted_locations) konfigurieren. Wenn Sie Client-Abfrage-Engines (z. B. Spark oder Trino) konfigurieren, legen Sie den Warehouse-Pfad auf bl://projects/PROJECT_ID/catalogs/CATALOG_ID fest.
• Katalog mit einem Bucket:Eine Legacy-Konfiguration, bei der der Katalog an einen einzelnen Cloud Storage-Bucket gebunden ist und den Namen des Buckets übernimmt. Wenn Sie Client-Abfrage-Engines konfigurieren, legen Sie den Warehouse-Pfad auf gs://CLOUD_STORAGE_BUCKET_NAME fest.

Benutzerdefinierter Apache Iceberg-Katalog für BigQuery

Bei dieser Integration wird der BigQuery-Katalog direkt als zugrunde liegender Metadatendienst für verwaltete Apache Iceberg-Tabellen verwendet.

Apache Hive-Katalogendpunkt

Dieser Endpunkt bietet Kompatibilität für Open-Source-Arbeitslasten, die von der Apache Hive-Metastore-Schnittstelle (HMS) abhängen. So können Sie Apache Hive- oder Spark-Arbeitslasten für einen vollständig verwalteten Metastore-Dienst aufGoogle Cloudausführen.

Tabellentypen

Das Lakehouse von Google Cloud unterstützt je nach Engine, die zum Verwalten der Daten verwendet wird, und dem verwendeten Katalogendpunkt verschiedene Tabellenformate.

Apache Iceberg-Tabellen

Dies sind Apache Iceberg-Tabellen, die Sie mit Open-Source-Engines erstellen und in Cloud Storage speichern. Der Lakehouse-Laufzeitkatalog verwaltet diese Tabellen und bietet über den Apache Iceberg-REST-Katalogendpunkt Zugriff darauf. Open-Source-Engines haben Lese- und Schreibzugriff auf diese Tabellen, während BigQuery Lese- und Schreibzugriff (Vorabversion) hat. Diese Option ist am besten geeignet, wenn Ihr ETL-Workflow von Open-Source-Engines verwaltet werden soll.

BigQuery-Tabellen

Diese Tabellen werden mit BigQuery verwaltet.

Apache Iceberg-Tabellen

Dies sind Apache Iceberg-Tabellen, die Sie in BigQuery erstellen und in Cloud Storage speichern. BigQuery übernimmt die gesamte Datenstrukturierung und ‑optimierung. Diese Tabellen können zwar von mehreren Engines gelesen werden, aber nur BigQuery kann direkt in sie schreiben.

Native Tabellen

Diese Tabellen werden von BigQuery verwaltet und speichern Daten im BigQuery-Speicher. Sie können diese Tabellen mit dem Lakehouse-Laufzeitkatalog verbinden.

Externe Tabellen

Externe Tabellen befinden sich außerhalb des Lakehouse-Laufzeitkatalogs. Die Daten und Metadaten werden selbst in einem Drittanbieterkatalog (z. B. Cloud Storage, S3 oder Azure Blob Storage) verwaltet. BigQuery kann nur aus diesen Tabellen lesen.

Tabellenfunktionen

Tabellenentwicklung

Google Cloud Lakehouse unterstützt die Apache Iceberg-Tabellenentwicklung. So können Sie das Schema oder die Partitionsspezifikation einer Tabelle im Laufe der Zeit ändern, ohne die Tabellendaten neu zu schreiben oder die Tabelle neu zu erstellen.

Zeitreise

Mit Zeitreisen können Sie die Daten einer Tabelle so abfragen, wie sie zu einem bestimmten Zeitpunkt oder einer bestimmten Snapshot-ID vorhanden waren. Das ist nützlich für Audits, zum Reproduzieren von Tests oder zum Wiederherstellen von Daten nach versehentlichem Löschen.

Caching von Metadaten

Das Metadaten-Caching ist ein Feature, mit dem die Abfrageleistung für externe Tabellen verbessert wird. Dabei wird eine Kopie der Metadaten der Tabelle im BigQuery-Speicher gespeichert. So müssen während der Ausführung von Abfragen weniger Metadatendateien aus Cloud Storage gelesen werden.

Verwaltung von Lakehouse-Tabellen in Google Cloud

Die Lakehouse-Tabellenverwaltung von Google Cloud vereinfacht die Lakehouse-Wartung, indem Aufgaben wie die Komprimierung und die automatische Speicherbereinigung für verwaltete Tabellen automatisiert werden. So wird eine optimale Abfrageleistung und Speichereffizienz gewährleistet.

Konzepte zur Interoperabilität

Grenzenloses Lakehouse

Borderless Lakehouse erweitert das Lakehouse von Google Cloud und ermöglicht es Ihnen, eine Verbindung zu externen Remote-Katalogen wie Databricks Unity Catalog, AWS Glue, Snowflake Horizon Catalog, Workday Data Lake oder SAP BDC herzustellen. Es synchronisiert Metadaten von anderen Cloud-Anbietern, sodass Sie Daten mit BigQuery oder externen Open-Source-Engines über den Apache Iceberg-REST-Katalogendpunkt abfragen können, ohne die Daten migrieren zu müssen.

Öffentliche Datasets

Das Lakehouse von Google Cloud hostet hochwertige öffentliche Datasets, die über den Apache Iceberg REST-Katalog bereitgestellt werden. Es bietet schreibgeschützten Zugriff für die explorative Datenanalyse und Tests, ohne dass eine Infrastrukturverwaltung erforderlich ist.

Namensstruktur für P.C.N.T.

Die P.C.N.T.-Namensstruktur ist die vierteilige Konvention, die verwendet wird, um Tabellen im Lakehouse-Laufzeitkatalog eindeutig zu identifizieren und aus BigQuery abzufragen. Es steht für Project.Catalog.Namespace.Table:

• Project: Die Google Cloud Projekt-ID.
• Katalog: Der Name des Lakehouse-Laufzeitkatalogs.
• Namespace: Die logische Gruppierung für Tabellen (ähnlich einem Dataset).
• Tabelle: Der Name der Datentabelle.

Sicherheitskonzepte

Verbindungen

Eine Verbindung ist eine BigQuery-Ressource, in der Anmeldedaten für den Zugriff auf externe Daten gespeichert werden. In Google Cloud Lakehouse wird der Zugriff auf Cloud Storage über Verbindungen delegiert. Das Dienstkonto der Verbindung kann in Ihrem Namen auf den Speicher-Bucket zugreifen.

Bereitstellung von Anmeldedaten

Die Bereitstellung von Anmeldedaten ist ein Sicherheitsmechanismus, der dazu beiträgt, die Zugriffskontrolle bei Verwendung des Lakehouse-Laufzeitkatalogs zu verschärfen. Wenn diese Option aktiviert ist, generiert der Dienst kurzlebige, eingeschränkte Anmeldedaten, die nur Zugriff auf die für eine Anfrage erforderlichen Dateipfade gewähren.

Einheitliche Governance

Mit der einheitlichen Governance können Sie Sicherheits- und Datenverwaltungsrichtlinien zentral über die Integration mit Knowledge Catalog definieren und erzwingen. Wenn Sie Tabellen im Lakehouse-Laufzeitkatalog registrieren, registriert das System automatisch entsprechende Einträge im Katalog für Geschäftsmetadaten (Knowledge Catalog). So können Sie Datenherkunft, semantische Suche und zentrale Verwaltung über verschiedene Engines hinweg nutzen, ohne Dateien verschieben oder kopieren zu müssen.

Konzepte der Abfrage-Engine

Im Lakehouse von Google Cloud wird der Speicher vom Computing entkoppelt, sodass verschiedene Analyse-Engines mit offenen Tabellen interagieren können.

Managed Service for Apache Spark

Managed Service for Apache Spark (ehemals Managed Service for Apache Spark) bietet eine vollständig verwaltete Laufzeitumgebung für die Verarbeitung offener Tabellenformate wie Apache Iceberg. Es werden zwei primäre Ausführungsmodi unterstützt:

• Serverlose Batches:Für automatisierte, nicht interaktive Datenverarbeitungspipelines und ETL-Arbeitslasten konzipiert. Bei diesem Modell mit nutzungsbasierter Abrechnung entfällt die Clusterverwaltung, es gibt keine Ressourcenkonflikte zwischen Jobs und die Infrastrukturwartung wird automatisiert.
• Serverlose interaktive Sitzungen:Für explorative Datenanalysen, Data Engineering und Data Science-Tests. Interaktive Sitzungen nutzen Apache Spark-Notebooks im Hintergrund mit Spark Connect oder Remote-Spark-Kernels und bieten eine Umgebung mit automatischer Skalierung ohne Infrastruktureinrichtung.

Dienststufen

Wenn Sie Apache Spark-Arbeitslasten für den Lakehouse-Laufzeitkatalog ausführen, können Sie zwischen verschiedenen Dienststufen wählen:

• Standardstufe:Die Standardausführungsstufe, die für Standard-Batchverarbeitungslasten geeignet ist.
• Premium-Tier:Bietet erweiterte Funktionen, darunter Unterstützung für serverlose interaktive Notebook-Sitzungen und leistungssteigernde Funktionen wie die Lightning Engine.

Sitzungsvorlagen

Sitzungsvorlagen vereinfachen die Konfiguration serverloser interaktiver Sitzungen. Administratoren können damit allgemeine Umgebungseinstellungen (z. B. Katalogeigenschaften, Netzwerkkonfigurationen und Laufzeitversionen) definieren und beibehalten. Dies fördert die Konsistenz und steigert die Produktivität der Entwickler, da wiederholte Einrichtungsvorgänge minimiert werden. Sitzungsvorlagen können mit der Google Cloud -Konsole, der gcloud-CLI, der REST API oder Terraform erstellt und verwaltet werden.

Zuverlässigkeitskonzepte

Regionsübergreifende Replikation

Bei der regionsübergreifenden Replikation werden Metadaten in mehreren Regionen repliziert, um die Katalogverfügbarkeit bei regionalen Ausfällen zu gewährleisten.

Failover

Failover ist der Vorgang, bei dem während eines regionalen Ausfalls zwischen primären und sekundären Regionen gewechselt wird, um den Katalogbetrieb aufrechtzuerhalten.