Cuando planifiques tu estrategia de administración de datos, comprender cómo funciona el linaje de datos en Knowledge Catalog puede ayudarte a tomar mejores decisiones de arquitectura. Ten en cuenta las siguientes consideraciones:
- Activación a nivel del proyecto: Cuando habilitas la API de Data Lineage, el seguimiento del linaje de datos está activo en todo el proyecto de forma predeterminada, y se informa automáticamente la información de varios sistemas según sus controles a nivel del producto. También puedes controlar la transferencia de linaje de forma jerárquica para servicios específicos.
- Cumplimiento de reglamentaciones: Obtienes visibilidad clara del movimiento de datos y comprendes exactamente qué metadatos se registran y cómo se protegen.
- Administración de costos: Puedes revisar y administrar de forma proactiva el impacto en la facturación del seguimiento del linaje en tus proyectos.
Controles de linaje a nivel del producto
Cuando la API de Data Lineage está habilitada, los sistemas compatibles informan el linaje según sus controles a nivel del producto:
| Sistema | Controles de linaje disponibles |
|---|---|
| BigQuery, Cloud Data Fusion |
No puedes restringir el seguimiento del linaje solo a Cloud Data Fusion o BigQuery cuando la API de Data Lineage está habilitada en un proyecto. Puedes configurar la transferencia de linaje de datos para BigQuery para habilitar o inhabilitar la transferencia automática de linaje de datos. |
| Managed Service para Apache Airflow | Managed Airflow usa el control de integración de linaje de datos a nivel del entorno El linaje de datos se habilita automáticamente para todos los entornos nuevos de Managed Airflow que cumplen con los requisitos. Consulta Linaje de datos con Managed Airflow para obtener más información. Para los entornos existentes, usa la configuración del entorno para habilitar o inhabilitar el linaje de datos. Puedes configurar la transferencia de linaje de datos para Managed Airflow para habilitar o desactivar la transferencia automática de linaje de datos. |
| Dataflow | Puedes capturar eventos de linaje con trabajos de Dataflow y publicarlos en la API de Data Lineage. Consulta Usa el linaje de datos en Dataflow para obtener más información. |
| Managed Service para Apache Spark | Puedes capturar eventos de linaje con trabajos de Managed Service para Apache Spark y publicarlos en la API de Data Lineage. Consulta Usa el linaje de datos de Spark para obtener más información. Puedes configurar la transferencia de linaje de datos para Managed Service para Apache Spark para habilitar o desactivar la transferencia automática de linaje de datos. |
| Looker (Google Cloud core) (versión preliminar) | Se admite la visualización de metadatos de Looker (Google Cloud core) de fuentes de BigQuery con el linaje de datos. El linaje de datos debe habilitarse a nivel del recurso de Looker (Google Cloud core) y a nivel del servicio de linaje de datos. Consulta Realiza un seguimiento del linaje de datos con Knowledge Catalog para obtener más información. |
| Vertex AI | El linaje de datos se habilita automáticamente para las canalizaciones de Vertex AI, y realiza un seguimiento de los artefactos de entrada y los parámetros de ejecución (como modelos, conjuntos de datos y componentes), así como de los recursos derivados descendentes. Consulta Realiza un seguimiento del linaje de artefactos de canalización para obtener más información. |
Impacto en la facturación
Cuando habilites la API de Data Lineage en un proyecto, revisa el impacto en tus cargos de facturación, ya que la API de Data Lineage se habilita por proyecto (consulta la sección anterior para obtener más detalles). Para obtener más información sobre cómo se cobra el linaje de datos, consulta Precios de Knowledge Catalog.
En el caso de BigQuery Omni, el procesamiento de linaje se distribuye a regiones específicas, y los costos dependen de las regiones en las que se realiza el procesamiento.
Cumplimiento del linaje de datos
- El linaje de datos registra metadatos sobre el movimiento de datos, pero no captura los datos en sí. Consulta el modelo de información del linaje de datos y la referencia de la API de Data Lineage para obtener detalles sobre qué campos se incluyen en los metadatos.
- El linaje de datos como parte de Knowledge Catalog ofrece compatibilidad con VPC-SC.
- Knowledge Catalog no ofrece la capacidad de usar claves de encriptación administradas por el cliente para proteger los metadatos de linaje recopilados.
Limitaciones del linaje de datos
Cuando seleccionas un nodo en el gráfico de linaje, el panel lateral de detalles del nodo estará vacío en los siguientes casos:
- El recurso se encuentra en otra organización.
- El usuario no es miembro de la organización que aloja el recurso.