Acerca del control de transferencia del linaje de datos

Para administrar los costos y las políticas de administración, puedes activar o desactivar la transferencia del linaje de datos para servicios de Google Cloud específicos. Por ejemplo, puedes inhabilitar la recopilación de linaje para proyectos de desarrollo o cargas de trabajo de gran volumen que no requieran un seguimiento del linaje.

Integraciones de servicios admitidas

En la siguiente tabla, se enumeran las integraciones que admiten el control de transferencia del linaje de datos:

Nombre de la integración Compatibilidad con el control de transferencia Valor predeterminado Detalles de la integración
Managed Service para Apache Spark: Clústeres de Apache Spark Sí Habilitado Usa el linaje de datos de Spark
Managed Service para Apache Spark: clústeres de Apache Hive Sí Habilitado Habilita el linaje de datos de Hive
Managed Service para Apache Spark: implementación sin servidores Sí Habilitado Usa el linaje de datos con Managed Service para Apache Spark
BigQuery Sí Habilitado Realiza un seguimiento del linaje de una tabla de BigQuery
Managed Service para Apache Airflow Sí Habilitado Linaje de datos con Knowledge Catalog
Looker (Google Cloud Core) Sí (versión preliminar) Habilitado Linaje de datos de Looker Core
Cloud Data Fusion No Habilitado Consulta el linaje en Knowledge Catalog
Dataflow No Inhabilitado desde el lado de Dataflow Usa el linaje de datos en Dataflow
Vertex AI Pipelines No Habilitado Realiza un seguimiento del linaje de los artefactos de canalización

Cómo funciona el control de transferencia del linaje de datos

Puedes controlar la transferencia de datos a nivel de la organización, la carpeta y el proyecto, y combinar estos parámetros con configuraciones específicas del servicio para lograr un control detallado de la transferencia del linaje de datos.

Knowledge Catalog evalúa la jerarquía de recursos comenzando por un proyecto, luego las carpetas y, por último, la organización para determinar la configuración efectiva. La primera configuración establecida de forma explícita en cualquier nivel de este recorrido ascendente se aplica.

  • Si estableces un parámetro de configuración a nivel de proyecto, Knowledge Catalog lo usará.
  • Si no se establece ninguna configuración a nivel del proyecto, Knowledge Catalog usa la configuración de la carpeta superior más cercana con una configuración explícita.
  • Si no se establece ninguna configuración a nivel de proyecto o carpeta, Knowledge Catalog usa la configuración a nivel de organización.
  • Si no se establece ninguna configuración en ninguno de estos niveles, Knowledge Catalog usa el valor predeterminado del sistema para la integración.

Para administrar el control de transferencia de forma masiva, habilita la API de Data Lineage para todos los proyectos dentro de una carpeta o una organización siguiendo las reglas de activación jerárquica de servicios. Después de habilitar la API de Data Lineage, puedes controlar de forma detallada la transferencia del linaje de datos por integración de servicio para una organización, carpeta o proyecto.

Cómo funciona la configuración de transferencia de datos para las integraciones de un solo servicio

En la siguiente situación, se ilustra cómo Knowledge Catalog resuelve la configuración de transferencia del linaje para un solo servicio en la jerarquía de recursos.

Considera una organización test-org con las siguientes parámetros de configuración de linaje de Managed Service para Apache Spark:

  • Organización test-org: Habilitada
    • Carpeta folder-a: Inhabilitada
      • Proyecto project-a: No se estableció ninguna configuración
    • Carpeta folder-b: Habilitada
      • Proyecto project-b: Inhabilitado

En esta situación, se aplican los siguientes parámetros de configuración:

  • Para project-a, la transferencia de linaje está Inhabilitada. Knowledge Catalog comienza a evaluar desde project-a, no encuentra ninguna configuración, sube a folder-a y aplica la configuración Inhabilitada de folder-a.
  • Para project-b, la transferencia de linaje está Inhabilitada. Knowledge Catalog comienza a evaluar desde project-b y aplica su configuración Inhabilitado, lo que anula los parámetros de configuración en folder-b y test-org.

Cómo funciona la configuración de transferencia de datos para las integraciones de varios servicios

En la siguiente situación, se ilustra cómo Knowledge Catalog resuelve de forma independiente las configuraciones de varios servicios en la jerarquía de recursos.

Considera una organización test-org con los siguientes parámetros de configuración de linaje en varias integraciones de servicios:

  • Organización test-org
    • Managed Service para Apache Spark: Habilitado
    • Carpeta folder-a
      • BigQuery: Habilitado
      • Proyecto project-a
        • BigQuery: Inhabilitado
        • Managed Service para Apache Airflow: Habilitado
      • Proyecto project-b: No se estableció ninguna configuración

En esta situación, Knowledge Catalog evalúa cada integración de servicio de forma independiente en la jerarquía de recursos:

  • Para project-a:
    • La transferencia de linaje de Managed Service para Apache Spark está habilitada. Knowledge Catalog comienza a evaluar desde project-a, no encuentra ninguna configuración para Managed Service para Apache Spark, sube a folder-a (no se estableció ninguna configuración) y aplica la configuración Habilitado desde test-org.
    • La transferencia de linaje de BigQuery está inhabilitada. Knowledge Catalog aplica la configuración explícita a nivel de proyecto, que anula el parámetro Habilitado establecido en folder-a.
    • La transferencia de linaje de Managed Service para Apache Airflow está habilitada. Knowledge Catalog aplica la configuración explícita a nivel del proyecto.
  • Para project-b:
    • La transferencia de linaje de Managed Service para Apache Spark está habilitada (heredada de test-org).
    • La transferencia del linaje de BigQuery está habilitada (heredada de folder-a).
    • La transferencia de linaje de Managed Service para Apache Airflow usa el valor predeterminado del sistema (Habilitado de forma predeterminada cuando la API de Data Lineage está activa), ya que no se establece ninguna configuración explícita en ningún nivel de la jerarquía.

¿Qué sigue?