(Eingestellt) Data Mesh-Konzepte

Warnung:Die Data Mesh-Funktion im Google Cloud Cortex Framework ist jetzt eingestellt und deaktiviert. Diese Änderung ist auf die Weiterentwicklung der Datenverwaltungsdienste von Google Cloud's zurückzuführen. Die Data Mesh Lösung wurde mit Data Catalog für die Metadatenverwaltung erstellt. Data Catalog wird jetzt durch das fortschrittlichere Knowledge Catalogersetzt. Knowledge Catalog bietet eine einheitliche API, erweiterte Metadatenfunktionen und neue Features für eine umfassendere Data Governance.

Für bestehende Cortex Framework-Nutzer, die die Data Mesh-Funktion implementiert haben, empfehlen wir den Wechsel zu Knowledge Catalog, um weiterhin Support zu erhalten und auf die neuesten Funktionen zugreifen zu können. Eine detaillierte Migrationsanleitung finden Sie unter Zu Knowledge Catalog wechseln.

Bevor Sie sich mit der detaillierten Anleitung zur Bereitstellung von Data Mesh mit dem Google Cloud Cortex Framework befassen, finden Sie auf dieser Seite eine Grundlage dafür, wie relevante Data Mesh Konzepte allgemein in einem Google Cloud Produkt und speziell im Kontext des Cortex Framework implementiert werden. Nachdem Sie die Data Mesh-Konzepte verstanden haben, lesen Sie die Data Mesh-Nutzeranleitung für die Cortex Framework Data Foundation.

**Hinweis**: Weitere Informationen zu allgemeinen Data Mesh-Konzepten finden Sie unter Ein modernes verteiltes Data Mesh mit Google Cloud erstellen.

Knowledge Catalog

In der folgenden Tabelle werden Data Mesh-Konzepte in Knowledge Catalog definiert:

Konzept	Beschreibung	Cortex Framework-Kontext
Lake	Einheit der obersten Ebene zum Organisieren von Daten in einem Data Mesh. Knowledge Catalog verwalten – Lakes.	Eine Datenquelle, z. B. SAP ECC, Salesforce, Google Ads.
Zone	Einheit der zweiten Ebene zum Organisieren von Daten in einem Lake.	Bestimmte Verarbeitungsebenen in einer Daten quelle, z. B. Rohdaten im Vergleich zu CDC.
Knowledge Catalog-Asset	Verweis auf Daten, die in Cloud Storage oder BigQuery gespeichert sind und mit einer Zone verknüpft sind. Dies ist ein Verweis auf das Daten-Asset und nicht auf die Daten selbst.	Verweis auf BigQuery Datasets, die in Zonen registriert sind.
Label	Beliebige Schlüssel/Wert-Paare, die auf Lakes oder Zonen angewendet werden können.	Ganze Lakes oder Zonen (nicht Tabellen oder Spalten) mit Metadaten kennzeichnen, die in Knowledge Catalog angezeigt oder für benutzerdefinierte Anwendungen verwendet werden können.
Data Catalog	Technische Geschäftsmetadaten, mit denen Daten-Assets in einem Data Warehouse gefunden, verstanden oder verwaltet werden können.	Tabellen oder Spalten (nicht Lakes oder Zonen) mit umfangreichen Metadaten-Tags versehen, die in der Knowledge Catalog Suche oder in benutzerdefinierten Anwendungen verwendet werden können.
Catalog-Tag-Vorlagen	Eine Vorlage, die die verfügbaren Felder und ihre Typen in einem Tag definiert. Knowledge Catalog verwalten – Tag-Vorlagen	Eine Reihe von Vorlagen für Anwendungsfälle wie das Taggen von Daten-Assets mit Geschäftsbereichen definieren.
Catalog-Tag	Eine Reihe von Feldern und ihren Werten, die Metadaten enthalten, die auf eine Tabelle oder Spalte angewendet werden können. Eine Instanz einer Tag-Vorlage.	Eine Tabelle oder Spalte mit Metadaten Werten versehen, die für dieses Asset relevant sind, z. B. ein bestimmter Geschäftsbereich.
Catalog-Glossar	Ein Wörterbuch mit Begriffen, die definiert und mit BigQuery-Spalten verknüpft werden können. Knowledge Catalog verwalten – Glossare.	Begriffe oder Akronyme definieren, die in BigQuery-Assets verwendet werden. Hinweis: Diese Funktion ist für die Zukunft geplant und wird derzeit nicht unterstützt.
Data Lineage	Ein Diagramm, das die Abhängigkeiten von BigQuery Assets darstellt.	Diese werden nicht vom Cortex Data Mesh definiert. Es ist jedoch ein relevantes Knowledge Catalog-Tool, mit dem Nutzer Datenquellen für BigQuery-Assets finden können.
Lineage-Ereignis	Ein Zeitpunkt, zu dem ein Vorgang ausgeführt wurde, um Daten zwischen BigQuery-Assets zu verschieben. Enthält eine Liste von Links.	Wird automatisch für unterstützte BigQuery- und Composer-Vorgänge erstellt.
Lineage-Link	Eine Kante, die Daten darstellt, die im Rahmen eines Lineage-Ereignisses von einem Quell- zu einem Ziel-Asset fließen.	Kann analysiert werden, um Anwendungsfälle zu unterstützen, die über die in der Konsole dargestellten Lineage-Visualisierungsdiagramme hinausgehen.

BigQuery

In der folgenden Tabelle werden Data Mesh-Konzepte in BigQuery definiert:

Konzept	Beschreibung	Cortex Framework-Kontext
Richtlinientaxonomie	Eine Hierarchie von Richtlinien-Tags. BigQuery verwalten – Richtlinien-Tags.	Verwandte Richtlinien-Tags, die für die Zugriffssteuerung verwendet werden können, in einer Hierarchie mit vererbten Berechtigungen organisieren.
Richtlinien-Tag	Ein Tag, das auf bestimmte Spalten in einer BigQuery-Tabelle oder -Ansicht angewendet wird. Richtlinien-Tags können auf jeder Ebene der Hierarchie angewendet werden. Auf eine bestimmte Spalte kann nur ein Richtlinien-Tag angewendet werden.	Spalten mit Tags versehen, die für die Zugriffssteuerung auf Spaltenebene verwendet werden. Hauptkonten für das Richtlinien-Tag definieren „detaillierte“ oder „nicht maskierte“ Leser, die die Rohdaten der Spalte sehen können.
Datenrichtlinie	Richtlinien, die auf ein Richtlinien-Tag angewendet werden und definieren, wie und wer die maskierten Spaltendaten sehen kann.	Hauptkonten für die Datenrichtlinie definieren die „maskierten Leser“, die die maskierten Spaltendaten sehen können. Nutzer ohne Berechtigungen für maskierte oder nicht maskierte Leser können keine Abfragen für die Spalte ausführen.
Maskierungsregel	Regeln, die auf eine Datenrichtlinie angewendet werden und definieren, wie die Daten maskiert werden, z. B. Hashing, Anzeigen eines Standardwerts, der letzten vier Zeichen usw.	Situationsabhängig auf sensible Spalten angewendet.
Zugriffsrichtlinie auf Zeilenebene	SQL-Anweisungen, die definieren, welche Gruppen Abfragen für Zeilen in Tabellen basierend auf bestimmten Spaltenwerten ausführen können.	Wird für die Zugriffssteuerung auf Zeilenebene verwendet, wenn Asset- und Spaltenebene nicht ausreicht.

Cortex Data Mesh-Konzept

In der folgenden Tabelle werden bestimmte Data Mesh-Konzepte im Cortex Framework definiert:

Konzept	Beschreibung	Cortex Framework-Kontext
Metadaten-Ressource	Metadateneinheiten, die in mehreren BigQuery-Assets wiederverwendet werden können. Beispiele sind Lakes, Catalog Tag-Vorlagen und Richtlinientaxonomien. Dies sind speziell die Metadaten und nicht die Daten in BigQuery selbst.	Definiert wiederverwendbare Ressourcen, um eine konsistente Verwaltung des Cortex Data Mesh zu ermöglichen.
BigQuery-Asset	BigQuery-Tabelle oder -Ansicht.	Vorhandene Cortex-BigQuery Objekte, die mit dem Data Mesh verwaltet werden.
BigQuery-Asset-Annotation	Metadaten, die auf eine bestimmte BigQuery-Tabelle oder -Ansicht angewendet werden. Dazu gehören Beschreibungen, Zugriffsrichtlinien, und Zuordnungen zu Metadaten-Ressourcen.	Metadaten mit BigQuery-Assets verknüpfen, um die Auffindbarkeit und Zugriffssteuerung zu ermöglichen.
Ressourcenspezifikation	Eine YAML-Datei, die eine Metadaten-Ressource oder eine BigQuery-Asset-Annotation definiert.	Die vollständige Reihe von Ressourcenspezifikationen codiert die Data Mesh-Konfiguration, die bereitgestellt werden soll.