Wenn Sie Ihre Data Governance-Strategie planen, kann es hilfreich sein, zu verstehen, wie die Datenherkunft im Knowledge Catalog funktioniert, um bessere Architektur-Entscheidungen zu treffen. Beachten Sie Folgendes:
- Aktivierung auf Projektebene:Wenn Sie die Data Lineage API aktivieren, ist die Nachverfolgung der Datenherkunft standardmäßig für das gesamte Projekt aktiv. Informationen für mehrere Systeme werden automatisch gemeldet, je nach den Steuerelementen auf Produktebene. Sie können die Erfassung von Herkunftsinformationen auch hierarchisch für bestimmte Dienste steuern.
- Einhaltung von Vorschriften:Sie erhalten einen klaren Überblick über die Datenübertragung und wissen genau, welche Metadaten aufgezeichnet werden und wie sie geschützt sind.
- Kostenverwaltung:Sie können die Auswirkungen der Herkunftsanalyse auf die Abrechnung in Ihren Projekten proaktiv prüfen und verwalten.
Steuerung des Datenursprungs auf Produktebene
Wenn die Data Lineage API aktiviert ist, melden unterstützte Systeme die Herkunft gemäß ihren Kontrollen auf Produktebene:
| System | Verfügbare Einstellungen für den Datenursprung |
|---|---|
| BigQuery, Cloud Data Fusion |
Sie können die Lineage-Erfassung nicht auf Cloud Data Fusion oder BigQuery beschränken, wenn die Data Lineage API in einem Projekt aktiviert ist. Sie können die Aufnahme von Data Lineage für BigQuery konfigurieren , um die automatische Aufnahme von Data Lineage zu aktivieren oder zu deaktivieren. |
| Managed Service for Apache Airflow | Bei Managed Airflow wird die Integration der Datenherkunft auf Umgebungsebene gesteuert. Die Datenherkunft wird automatisch für alle neuen Managed Airflow-Umgebungen aktiviert, die die Anforderungen erfüllen. Weitere Informationen finden Sie unter Data Lineage mit Managed Airflow. Verwenden Sie für vorhandene Umgebungen die Umgebungseinstellungen, um die Integration der Datenherkunft zu aktivieren oder zu deaktivieren. Sie können die Erfassung des Datenursprungs für Managed Airflow konfigurieren, um die automatische Erfassung des Datenursprungs zu aktivieren oder zu deaktivieren. |
| Dataflow | Sie können Herkunftsereignisse mit Dataflow-Jobs erfassen und in der Data Lineage API veröffentlichen. Weitere Informationen finden Sie unter Data Lineage in Dataflow verwenden. |
| Managed Service for Apache Spark | Sie können Lineage-Ereignisse mit Managed Service for Apache Spark-Jobs erfassen und in der Data Lineage API veröffentlichen. Weitere Informationen finden Sie unter Spark-Datenherkunft verwenden. Sie können die Erfassung der Datenherkunft für Managed Service for Apache Spark konfigurieren, um die automatische Erfassung der Datenherkunft zu aktivieren oder zu deaktivieren. |
| Looker (Google Cloud Core) (Vorschau) | Die Visualisierung von Looker (Google Cloud Core)-Metadaten aus BigQuery-Quellen mit Datenherkunft wird unterstützt. Data Lineage muss auf der Ressourcenebene von Looker (Google Cloud Core) und auf der Ebene des Data Lineage-Dienstes aktiviert sein. Weitere Informationen finden Sie unter Datenherkunft mit Knowledge Catalog nachverfolgen. |
| Vertex AI | Die Datenherkunft ist für Vertex AI-Pipelines automatisch aktiviert. Dabei werden Eingabeartefakte und Ausführungsparameter (z. B. Modelle, Datasets und Komponenten) sowie abgeleitete Downstream-Assets verfolgt. Weitere Informationen finden Sie unter Herkunft von Pipeline-Artefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API für ein Projekt aktivieren, sollten Sie sich die Auswirkungen auf Ihre Abrechnungsgebühren ansehen, da die Data Lineage API pro Projekt aktiviert wird (siehe vorheriger Abschnitt). Weitere Informationen zur Abrechnung der Datenherkunft finden Sie unter Knowledge Catalog-Preise.
Bei BigQuery Omni wird die Verarbeitung von Lineage-Daten auf bestimmte Regionen verteilt. Die Kosten hängen von den Regionen ab, in denen die Verarbeitung erfolgt.
Compliance mit der Datenherkunft
- Data-Lineage-Datensätze enthalten Metadaten zur Datenübertragung, aber nicht die Daten selbst. Weitere Informationen dazu, welche Felder in den Metadaten enthalten sind, finden Sie im Informationsmodell für den Datenursprung und in der Data Lineage API-Referenz.
- Die Datenherkunft als Teil von Knowledge Catalog bietet Unterstützung für VPC-SC.
- Knowledge Catalog bietet nicht die Möglichkeit, vom Kunden verwaltete Verschlüsselungsschlüssel zum Schutz der erfassten Lineage-Metadaten zu verwenden.
Einschränkungen bei der Datenherkunft
Wenn Sie einen Knoten im Lineage-Diagramm auswählen, ist die Seitenleiste mit den Knotendetails in den folgenden Fällen leer:
- Die Ressource befindet sich in einer anderen Organisation.
- Der Nutzer ist kein Mitglied der Organisation, in der die Ressource gehostet wird.