In diesem Dokument finden Sie Informationen zur Compliance und zu den Einschränkungen der Datenherkunft. Die Datenherkunft wird pro Projekt und nicht pro System aktiviert. Das bedeutet, dass nach der Aktivierung der Data Lineage API Herkunftsinformationen automatisch für mehrere Systeme im Projekt gemeldet werden können, je nach der Herkunftssteuerung auf Produktebene des jeweiligen Systems.
Die automatische Herkunftsverfolgung wird für die folgenden Systeme unterstützt:
| System | Verfügbare Herkunftssteuerung |
|---|---|
| BigQuery, Cloud Data Fusion |
Es gibt keine Konfigurationsmöglichkeit, die Herkunftsverfolgung auf Cloud Data Fusion oder BigQuery zu beschränken, wenn die Data Lineage API in einem Projekt aktiviert ist. |
| Managed Service for Apache Airflow | Managed Airflow verwendet die Datenherkunft Integrationssteuerung auf Umgebungsebene. Die Datenherkunft wird automatisch aktiviert für alle neuen Managed Airflow-Umgebungen, sofern sie die Anforderungen erfüllen. Weitere Informationen finden Sie unter Datenherkunft mit Knowledge Catalog (ehemals Dataplex Universal Catalog). Bei vorhandenen Umgebungen können Sie die Datenherkunft-Integration in den Umgebungseinstellungen aktivieren oder deaktivieren. |
| Dataflow | Dataflow-Jobs können Herkunftsereignisse erfassen und an die Data Lineage API senden. Weitere Informationen finden Sie unter Datenherkunft in Dataflow verwenden. |
| Managed Service for Apache Spark | Managed Service for Apache Spark-Jobs können Herkunftsereignisse erfassen und an die Data Lineage API senden. Weitere Informationen finden Sie unter Spark-Datenherkunft verwenden. |
| Looker (Google Cloud core) (Vorschau) | Looker (Google Cloud core)-Metadaten aus BigQuery-Quellen können mithilfe der Datenherkunft visualisiert werden. Die Datenherkunft muss auf Ressourcenebene von Looker (Google Cloud core) und auf Dienstebene der Datenherkunft aktiviert sein. Weitere Informationen finden Sie unter Datenherkunft mit Knowledge Catalog verfolgen. |
| Vertex AI | Die Datenherkunft wird automatisch für Vertex AI-Artefakte und -Parameter aktiviert, z. B. für Modelle, Datasets, Pipelinevorlagen und Komponenten. Die Herkunft einer Pipeline umfasst Faktoren, die zu ihrer Erstellung beigetragen haben, sowie Artefakte und Metadaten, die danach abgeleitet wurden. Weitere Informationen finden Sie unter Herkunft von Pipeline-Artefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API in einem Projekt aktivieren, sollten Sie sich die Auswirkungen auf Ihre Abrechnungsgebühren ansehen, da die Data Lineage API pro Projekt aktiviert wird (weitere Informationen finden Sie im vorherigen Abschnitt). Weitere Informationen zur Abrechnung der Datenherkunft finden Sie unter Knowledge Catalog – Preise.
Bei BigQuery Omni wird die Herkunftsverarbeitung auf bestimmte Regionen verteilt. Die Kosten hängen von den Regionen ab, in denen die Verarbeitung erfolgt.
Compliance mit der Datenherkunft
- In den Datenherkunftsdatensätzen werden Metadaten zur Datenbewegung erfasst, aber nicht die Daten selbst. Details zu den Feldern, die in den Metadaten enthalten sind, finden Sie unter Datenherkunft – Informationsmodell und Data Lineage API-Referenz.
- Die Datenherkunft als Teil von Knowledge Catalog bietet VPC-SC-Support.
- Knowledge Catalog bietet keine Möglichkeit, kundenverwaltete Verschlüsselungsschlüssel zum Schutz der erfassten Herkunftsmetadaten zu verwenden.
Einschränkungen der Datenherkunft
Wenn Sie einen Knoten im Herkunftsgraphen auswählen, ist die Seitenleiste mit den Knotendetails leer, wenn
- sich die Ressource in einer anderen Organisation befindet oder
- der Nutzer kein Mitglied der Organisation ist, die die Ressource hostet.