El linaje de datos te ayuda a comprender cómo se mueven los datos por tus sistemas, ya que hace un seguimiento de las relaciones entre los activos de datos y los procesos que los transforman. Puedes ver esta información de linaje como gráficos y listas en la consola de Google Cloud .
En este documento, se describe la granularidad del linaje de datos a nivel de la tabla y la columna, y se proporcionan instrucciones para usar las vistas de gráfico y de lista para explorar el linaje de datos en la consola de Google Cloud .
Para obtener detalles sobre el modelo de datos subyacente, consulta el modelo de información del linaje de datos.
Diferencias entre el linaje a nivel de la tabla y el linaje a nivel de la columna
El linaje de datos te permite rastrear el origen y la ruta de transformación de tus datos a nivel de tabla y columna.
Cuándo usar el linaje a nivel de la tabla
El linaje a nivel de la tabla proporciona una descripción general de alto nivel de tus canalizaciones de datos, ya que muestra las relaciones entre tablas completas. Usa el linaje a nivel de la tabla para tareas a nivel macro, como las siguientes:
Descubrimiento de datos: Un analista que crea un panel nuevo puede usar el linaje a nivel de la tabla para rastrear una tabla de resumen hasta sus fuentes y confirmar que los datos provienen de una base de datos autorizada.
Planificación de la migración. Un administrador de bases de datos que planea migrar una base de datos principal puede usar el linaje a nivel de la tabla para identificar cada informe y panel descendente que dependa de ella.
Auditoría y administración. Un administrador de datos puede usar el linaje a nivel de tabla y columna para verificar cómo fluyen los datos de una tabla que contiene información de identificación personal (PII) a través de una canalización.
Cuándo usar el linaje a nivel de la columna
El linaje a nivel de columna proporciona una vista más detallada, ya que hace un seguimiento del flujo de datos entre columnas individuales. En esta vista, los vínculos dentro de un evento de linaje representan la relación entre una columna de origen y una columna de destino. Cada uno de estos vínculos a nivel de la columna tiene un tipo de dependencia que describe la transformación:
Exact copy: Los valores se copian entre columnas.Other: Otros tipos de dependencias entre columnas.
Usa el linaje a nivel de la columna para tareas como las siguientes:
Análisis de la causa raíz Si un analista de datos encuentra un valor incorrecto en una columna, puede usar el linaje a nivel de la columna para rastrearlo hasta las columnas de origen y encontrar la causa raíz.
Análisis del impacto: Antes de que un ingeniero de datos deje de utilizar una columna, puede usar el linaje a nivel de la columna para encontrar cada columna descendiente que dependa de ella.
Verificación de la fuente de datos para las métricas. Un analista de datos puede usar el linaje a nivel de la columna para identificar qué columnas de origen se usan para calcular una métrica sin tener que descifrar una consulta en SQL compleja.
El linaje a nivel de la columna se recopila automáticamente para los siguientes tipos de trabajos de BigQuery:
En el caso de los trabajos de Managed Service para Apache Spark, la compatibilidad depende del tipo y la versión de la dependencia de Open Lineage que utiliza Managed Service para Apache Spark. La versión mínima admitida es la 1.34. A continuación, se indican las versiones mínimas admitidas de la imagen del clúster de Managed Service para Apache Spark:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
A continuación, se indican las versiones mínimas compatibles del entorno de ejecución de Managed Service para Apache Spark:
- 3.0.3
- 2.3.20
Vistas de linaje en la consola de Google Cloud
El linaje de datos en la consola de Google Cloud te permite interactuar con la información del linaje de dos maneras: puedes explorar el gráfico de linaje en varias regiones disponibles o usar el panel del Explorador de linaje para obtener una vista más enfocada dentro de una región específica. También puedes alternar entre la vista de gráfico y la vista de lista para analizar el flujo de datos en diferentes niveles de detalle.
Las vistas de linaje solo están disponibles para las entradas de Knowledge Catalog (anteriormente, Dataplex Universal Catalog), los recursos de BigQuery y los recursos de Vertex AI (modelos, conjuntos de datos, vistas de almacén de atributos y grupos de atributos).
Para ver las diferentes vistas que se analizan en este documento, consulta Usa el linaje de datos con sistemas de Google Cloud .
Vista del gráfico de linaje
La vista de grafo visualiza el flujo y las relaciones de los activos de datos en los sistemas y las regiones, lo que te ayuda a comprender la arquitectura de datos, rastrear los orígenes y los destinos, y a identificar patrones. Estos gráficos de linaje, generados por el servicio de la API de Data Lineage para una entrada específica de Knowledge Catalog, muestran cómo se transforman los datos con el tiempo y muestran los flujos upstream, downstream o ambos desde una entrada raíz seleccionada.
La API de Data Lineage recibe automáticamente información de los recursos de los sistemas compatibles y a través de llamadas a la API para fuentes personalizadas.
Los elementos clave del gráfico son los siguientes:
Nodos: Los nodos representan las entidades de datos. En una vista a nivel de la tabla, un nodo muestra el nombre de la tabla y sus columnas. En una vista a nivel de columna, cada nodo representa una tabla y una columna específicas.
Bordes. Las aristas son las líneas que conectan los nodos y representan los procesos que ocurren entre ellos. La apariencia de una arista depende de la vista de linaje:
- En la vista a nivel de la tabla, los bordes tienen íconos que indican las transformaciones de datos.
- En la vista a nivel de la columna, las aristas tienen etiquetas para indicar las transformaciones de datos. Por ejemplo, una etiqueta de borde podría decir
Exact copypara describir cómo se copió una columna de origen a una columna de destino.
Procesa íconos y etiquetas. Los íconos y las etiquetas de proceso aparecen en los bordes para proporcionar más información sobre la transformación.
- Íconos. Los íconos representan el proceso de transformación. Cuando exploras el gráfico de forma manual, los íconos en los bordes representan el sistema fuente del proceso (por ejemplo, BigQuery o Vertex AI). Si hay varios procesos involucrados, se muestra un ícono de "varios procesos". Si se desconoce el sistema fuente del proceso, se usa un ícono de engranaje. Cuando aplicas filtros, se usa un ícono de ajustes para todos los procesos.
- Etiquetas. En la vista de linaje a nivel de la columna, una etiqueta describe el tipo de dependencia entre las columnas:
Exact copyoOther.
Explora el gráfico de linaje
Cuando abres la pestaña Linaje, ves la vista predeterminada Gráfico. La vista predeterminada proporciona una descripción general de alto nivel en todos los sistemas y regiones, con una expansión manual e incremental del gráfico que puede cargar cinco nodos a la vez. Los íconos de proceso en los bordes representan el sistema fuente o indican múltiples procesos.
Cómo filtrar y destacar vistas de linaje de datos
En el caso de los gráficos de linaje grandes y complejos, puedes aplicar filtros o resaltados para reducir el ruido visual y concentrarte en explorar el linaje dentro de una región específica. Usa el panel Lineage Explorer para establecer tus criterios. Cuando se aplican filtros, aparece una barra de filtros en la parte superior de las vistas de Gráfico y Lista, en la que se muestran los filtros activos como chips.
Para definir mejor la visualización del linaje, puedes elegir uno de los siguientes modos:
Destacar: Los nodos coincidentes se destacan visualmente con colores y bordes, mientras que el gráfico completo permanece visible. Esto ayuda a ubicar recursos específicos sin perder el contexto general del gráfico de linaje.
Filtro: Se ocultan los nodos que no coinciden y se simplifica el gráfico para mostrar solo los nodos que coinciden y las rutas entre ellos. Los recursos que no coinciden y que forman parte de una ruta entre nodos coincidentes se agrupan en nodos contraídos. Este modo es útil para reducir la complejidad y enfocarse solo en los recursos pertinentes y sus relaciones directas.
Para filtrar o destacar el linaje, usa los siguientes criterios:
- Proyecto: Filtra por Google Cloud ID del proyecto.
- Sistema: Filtra por el sistema en el que se encuentra el recurso de datos (por ejemplo, BigQuery o Cloud Storage).
- Nombre de la entidad: Filtra por nombre del activo. Puedes usar
*para búsquedas con comodines (solo prefijo y sufijo, por ejemplo,*tableotest*). - Subtype: Filtra por subtipo de recurso (por ejemplo,
dashboardomodel). - Nombre de la columna: Filtra el linaje por nombre de columna para ver los detalles a nivel de la columna.
- Dirección: Muestra el linaje ascendente o descendente, o ambos.
- Intervalo de tiempo: Filtra el linaje según una hora de inicio o finalización específica.
- Tipo de dependencia: Filtra el linaje a nivel de la columna según el tipo de dependencia.
Entre los ejemplos de opciones disponibles, se incluyen
AlloExact copy.
Para reducir aún más el desorden, puedes seleccionar Ocultar tablas temporales de BigQuery y ocultar los recursos transitorios creados por BigQuery, como las tablas en conjuntos de datos con nombres que comienzan con _script.
La vista enfocada en la pestaña de vista Gráfico expande automáticamente el gráfico hasta tres niveles y carga todo el linaje que coincide con los criterios de filtro. El Explorador de linaje recupera hasta 10 niveles del gráfico de linaje, pero solo los tres primeros se expanden de forma predeterminada. Puedes expandir el gráfico para ver los niveles restantes haciendo clic en las flechas.
La vista enfocada admite el linaje a nivel de la tabla y de la columna, incluida la visualización de la ruta desde cualquier nodo seleccionado hasta la raíz. En esta vista enfocada, se usa un ícono de ajustes genérico para todos los procesos.
Para ver el linaje a nivel de la columna, usa uno de los siguientes métodos:
En una vista de gráfico enfocada, haz clic en el ícono de columna de una tabla para cambiar al linaje a nivel de la columna.
Ícono de columna En la vista Gráfico predeterminada o enfocada, aplica un nombre de columna en el panel Explorador de linaje.
Para quitar todos los filtros y volver a la vista predeterminada, haz clic en Restablecer.
Para cambiar entre los modos de destacar y filtrar, consulta Cómo definir mejor la visualización del linaje.
Cómo ver los detalles del nodo de linaje
Para ver los detalles de un nodo, haz clic en él. Aparecerá un panel lateral en el que se muestra información detallada sobre el activo de datos seleccionado. Por ejemplo, en una vista del linaje a nivel de la tabla, hacer clic en un nodo muestra información como el nombre completamente calificado, el tipo y otros atributos relevantes del activo.
Visualiza el historial de ejecuciones del linaje
Un gráfico de linaje completo es el resultado de las ejecuciones de muchos trabajos diferentes. Cada trabajo crea un vínculo específico en el gráfico. Se registran varias ejecuciones como ejecuciones nuevas, pero no cambian la apariencia estática del gráfico.
Para ver los detalles de estas ejecuciones individuales, haz clic en una arista con un proceso en el gráfico. En el panel Consulta que aparece, haz clic en la pestaña Ejecuciones.
Inspecciona la lógica de transformación de datos
Para comprender la lógica empresarial de una transformación sin buscar el código, puedes ver la consulta en SQL exacta que se ejecutó. Para ver el código SQL, haz clic en una arista con un proceso en el gráfico. En el panel lateral que aparece, haz clic en la pestaña Detalles.
Visualiza una ruta de linaje de datos
La visualización de la ruta de linaje te ayuda a rastrear la ruta desde cualquier nodo seleccionado en el gráfico hasta la entrada raíz. Cuando seleccionas un nodo y haces clic en Visualizar ruta, el grafo destaca solo los nodos y procesos que forman la ruta de linaje directa hacia la entrada raíz.
Para ver la visualización de la ruta de linaje, en el panel Explorador de linaje, aplica un filtro para crear una vista enfocada del gráfico. Luego, en la vista Gráfico enfocada, selecciona un nodo. En el panel de detalles del nodo seleccionado, haz clic en Visualizar ruta.
La visualización de la ruta de linaje está disponible para el linaje a nivel de la tabla y de la columna. También puedes usar la visualización de la ruta de linaje en la vista de Lista.
Vista de lista de linaje
La vista List ofrece una representación tabular y estructurada del linaje, sincronizada con la vista Graph. Te ayuda a ordenar, filtrar y descargar recursos de datos. Esta vista es ideal para analizar las relaciones entre la fuente y el destino, detallar los activos involucrados y exportar datos de linaje.
La vista de lista está disponible para el linaje a nivel de la tabla y de la columna. Puedes alternar entre las siguientes vistas de lista detalladas y simplificadas:
Vista de lista simplificada: Esta vista es útil para obtener una lista condensada y única de todos los recursos involucrados en el linaje. Las columnas como Sistema, Proyecto, Entidad, FQN (nombre completamente calificado), Dirección y Profundidad te ayudan a ver todos los recursos de datos en el linaje, dónde residen, su fuente original y su distancia del recurso central que se analiza. Es ideal para obtener una descripción general de alto nivel de todas las entidades que participan en el flujo de datos. Es la vista predeterminada.
Vista de lista detallada: Esta vista está diseñada para analizar las relaciones individuales entre la fuente y el destino. Si proporcionas columnas separadas para Fuente y Destino, puedes ver cada vínculo de transformación de datos específico. Esta vista es ideal para tareas que requieren una comprensión profunda de cómo se mueven los datos entre pares específicos de recursos, como auditar flujos de datos individuales, comprender las dependencias entre las tablas o exportar registros detallados del linaje para cada conexión.
Vista de lista del linaje a nivel de la tabla
En esta vista, se muestran las relaciones entre las tablas en su totalidad. Usa los filtros proporcionados para seleccionar las columnas que necesitas.
Expande las siguientes secciones para ver las columnas disponibles en las vistas de lista a nivel de la tabla.
Columnas disponibles en la vista de lista simplificada a nivel de la tabla
- Sistema: Es el sistema en el que se encuentra el recurso de datos. Entre los ejemplos, se incluye [BigQuery](/bigquery/docs).
- Proyecto: Es el ID del proyecto de Google Cloud que contiene el activo de datos.
- Entidad: Es el nombre del recurso de datos. Los ejemplos incluyen un nombre de tabla.
- FQN: Es el nombre completamente calificado (FQN) de la entidad o columna de la fuente original.
- Dirección: Indica si el recurso que se muestra en la lista es upstream (fuente) o downstream (destino) en el flujo de linaje.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
Columnas disponibles en la vista de lista detallada a nivel de la tabla
- Sistema de origen: Es el sistema en el que se encuentra el recurso de datos de origen. Algunos ejemplos son BigQuery.
- Proyecto de origen: Es el ID del proyecto de Google Cloud que contiene el activo de datos de origen.
- Fuente: Es el nombre del recurso de datos de origen. Los ejemplos incluyen el nombre de una tabla.
- FQN de origen: Es el FQN de la entidad de origen.
- Sistema de destino: Es el sistema en el que se encuentra el recurso de datos de destino. Algunos ejemplos son BigQuery.
- Proyecto de destino: Es el ID del proyecto de Google Cloud que contiene el activo de datos de destino.
- Destino: Es el nombre del recurso de datos de destino. Los ejemplos incluyen el nombre de una tabla.
- FQDN de destino: Es el FQDN de la entidad de destino.
- Dirección: Indica si el recurso que se muestra en la lista es upstream (fuente) o downstream (destino) en el flujo de linaje.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
Vista de lista del linaje a nivel de columna
En esta vista, se muestran las relaciones entre las columnas individuales de las tablas de origen y destino. Usa los filtros proporcionados para seleccionar las columnas que necesitas.
Expande las siguientes secciones para ver las columnas disponibles en las vistas de lista a nivel de la columna.
Columnas disponibles en la vista de lista simplificada a nivel de la columna
- Sistema: Es el sistema en el que se encuentra el recurso de datos. Entre los ejemplos, se incluye BigQuery.
- Proyecto: Es el ID del proyecto de Google Cloud que contiene el activo de datos.
- Entidad: Es el nombre del recurso de datos. Los ejemplos incluyen un nombre de tabla.
- Columna: Es la columna específica elegida en el panel Lineage Explorer dentro de la entidad.
- FQN: Es el nombre completamente calificado (FQN) de la entidad o columna de la fuente original.
- Dirección: Indica si el recurso que se muestra en la lista es upstream (fuente) o downstream (destino) en el flujo de linaje.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
Columnas disponibles en la vista de lista detallada a nivel de columna
- Sistema de origen: Es el sistema en el que se encuentra el recurso de datos de origen.
- Proyecto de origen: Es el ID del proyecto Google Cloud que contiene el activo de datos de origen.
- FQDN de origen: Es el FQDN de la columna de origen.
- Sistema de destino: Es el sistema en el que se encuentra el recurso de datos de destino.
- Proyecto de destino: Es el ID del proyecto de Google Cloud que contiene el recurso de datos de destino.
- FQDN de destino: Es el FQDN de la columna objetivo.
- Dirección: Indica si el flujo de datos es upstream o downstream.
- Tipos de dependencia: Describe la naturaleza de la relación entre las columnas.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
¿Qué sigue?
Obtén más información sobre las fuentes de linaje.
Obtén información para usar el linaje de datos con sistemas de Google Cloud .