El linaje de datos te ayuda a comprender cómo se mueven los datos por tus sistemas, ya que hace un seguimiento de las relaciones entre los recursos de datos y los procesos que los transforman. Puedes ver esta información de linaje como gráficos y listas en la consola de Google Cloud .
En este documento, se describe el nivel de detalle del linaje de datos a nivel de tabla y de columna, y se proporcionan instrucciones para usar las vistas de gráfico y de lista para explorar el linaje de datos en la consola de Google Cloud .
Para obtener detalles sobre el modelo de datos subyacente, consulta el modelo de información del linaje de datos.
Diferencias entre el linaje a nivel de tabla y a nivel de columna
El linaje de datos te permite rastrear el origen y la ruta de transformación de tus datos a nivel de tabla y de columna.
Cuándo usar el linaje a nivel de tabla
El linaje a nivel de tabla proporciona una descripción general de alto nivel de tus canalizaciones de datos, ya que muestra las relaciones entre tablas completas. Usa el linaje a nivel de tabla para tareas a nivel de macro, como las siguientes:
Descubrimiento de datos. Un analista que crea un panel nuevo puede usar el linaje a nivel de tabla para rastrear una tabla de resumen hasta sus fuentes y confirmar que los datos se originan en una base de datos autorizada.
Planificación de la migración. Un administrador de bases de datos que planea migrar una base de datos principal puede usar el linaje a nivel de la tabla para identificar cada informe y panel descendente que dependa de ella.
Auditoría y administración Un administrador de datos puede usar el linaje a nivel de tabla y de columna para verificar cómo fluyen los datos de una tabla que contiene información de identificación personal (PII) a través de una canalización.
Cuándo usar el linaje a nivel de columna
El linaje a nivel de columna proporciona una vista más detallada, ya que hace un seguimiento del flujo de datos entre columnas individuales. En esta vista, los vínculos dentro de un evento de linaje representan la relación entre una columna de origen y una de destino. Cada uno de estos vínculos a nivel de columna tiene un tipo de dependencia que describe la transformación:
Exact copy: Los valores se copian entre columnas.Other: otros tipos de dependencias entre columnas.
Usa el linaje a nivel de columna para tareas como las siguientes:
Análisis de la causa raíz Si un analista de datos encuentra un valor incorrecto en una columna, puede usar el linaje a nivel de columna para rastrearlo hasta las columnas de origen y encontrar la causa raíz.
Análisis del impacto. Antes de que un ingeniero de datos deje de usar una columna, puede usar el linaje a nivel de columna para encontrar todas las columnas descendientes que dependen de ella.
Verificación de la fuente de datos para las métricas. Un analista de datos puede usar el linaje a nivel de columna para identificar qué columnas de origen se usan para calcular una métrica sin descifrar una consulta en SQL compleja.
El linaje a nivel de columna se recopila automáticamente para los siguientes tipos de trabajos de BigQuery:
En el caso de los trabajos de Managed Service para Apache Spark, la compatibilidad depende del tipo y la versión de la dependencia de Open Lineage que usa Managed Service para Apache Spark. La versión mínima compatible es la 1.34. A continuación, se indican las versiones mínimas admitidas de la imagen de clúster de Managed Service para Apache Spark:
- 3.0.3
- 2.3.22
- 2.2.75
- 2.1.107
A continuación, se muestran las versiones mínimas compatibles del entorno de ejecución de Managed Service para Apache Spark:
- 3.0.3
- 2.3.20
Vistas de linaje en la consola de Google Cloud
El linaje de datos en la consola de Google Cloud te permite interactuar con la información de linaje de dos maneras: puedes explorar el gráfico de linaje en varias regiones disponibles o puedes usar el panel Explorador de linaje para obtener una vista más enfocada dentro de una región específica. También puedes alternar entre la vista de Gráfico y la de Lista para analizar el flujo de datos en diferentes niveles de detalle.
Las vistas de linaje solo están disponibles para las entradas de Knowledge Catalog (anteriormente, Dataplex Universal Catalog), los recursos de BigQuery y los recursos de Vertex AI (modelos, conjuntos de datos, vistas de Feature Store y grupos de atributos).
Para ver las diferentes vistas que se analizan en este documento, consulta Usa el linaje de datos con sistemas de Google Cloud .
Vista de gráfico de linaje
La vista Gráfico visualiza el flujo y las relaciones de los recursos de datos en los sistemas y las regiones, lo que te ayuda a comprender la arquitectura de los datos, rastrear los orígenes y los destinos, y, además, identificar patrones. Estos gráficos de linaje, generados por el servicio de la API de Data Lineage para una entrada específica de Knowledge Catalog, muestran cómo se transforman los datos con el tiempo, ya que muestran los flujos ascendentes, descendentes o ambos desde una entrada raíz seleccionada.
La API de Data Lineage recibe automáticamente información de los recursos de los sistemas compatibles y a través de llamadas a la API para fuentes personalizadas.
Los elementos clave del gráfico son los siguientes:
Nodos. Los nodos representan las entidades de datos. En una vista a nivel de tabla, un nodo muestra el nombre de la tabla y sus columnas. En una vista a nivel de columna, cada nodo representa una tabla y una columna específicas.
Perímetros. Las aristas son las líneas que conectan los nodos y representan los procesos que ocurren entre ellos. La apariencia de un borde depende de la vista de linaje:
- En la vista a nivel de la tabla, los bordes tienen íconos para indicar las transformaciones de datos.
- En la vista a nivel de columna, las aristas tienen etiquetas para indicar las transformaciones de datos. Por ejemplo, una etiqueta de borde puede decir
Exact copypara describir cómo se copió una columna de origen en una columna de destino.
Íconos y etiquetas de procesos. Los íconos y las etiquetas de los procesos aparecen en los bordes para proporcionar más información sobre la transformación.
- Íconos Los íconos representan el proceso de transformación. Cuando exploras el grafo de forma manual, los íconos en los bordes representan el sistema de origen del proceso (por ejemplo, BigQuery o Vertex AI). Si hay varios procesos involucrados, se muestra un ícono de "varios procesos". Si se desconoce el sistema de origen del proceso, se usa un ícono de engranaje. Cuando aplicas filtros, se usa un ícono de engranaje para todos los procesos.
- Etiquetas. En la vista de linaje a nivel de columna, una etiqueta describe el tipo
de dependencia entre columnas:
Exact copyoOther.
Explora el gráfico de linaje
Cuando abres la pestaña Linaje, ves la vista predeterminada Gráfico. La vista predeterminada proporciona una descripción general de alto nivel de los sistemas y las regiones, con una expansión manual e incremental del gráfico que puede cargar cinco nodos a la vez. Los íconos de proceso en los bordes representan el sistema de origen o indican varios procesos.
Filtra y destaca las vistas de linaje de datos
En el caso de los gráficos de linaje grandes y complejos, puedes aplicar filtros o destacar elementos para reducir el ruido visual y enfocarte en explorar el linaje dentro de una región específica. Usa el panel Explorador de linaje para establecer tus criterios. Cuando se aplican filtros, aparece una barra de filtros en la parte superior de las vistas Gráfico y Lista, que muestra los filtros activos como chips.
Para definir mejor la visualización del linaje, puedes elegir uno de los siguientes modos:
Destacar: Los nodos que coinciden se enfatizan visualmente con colores y bordes, mientras que el gráfico completo permanece visible. Esto ayuda a ubicar recursos específicos sin perder el contexto general del gráfico de linaje.
Filtrar: Se ocultan los nodos que no coinciden y se simplifica el gráfico para mostrar solo los nodos que coinciden y las rutas de acceso entre ellos. Los recursos que no coinciden y que forman parte de una ruta de acceso entre nodos coincidentes se agrupan en nodos contraídos. Este modo es útil para reducir la complejidad y enfocarse solo en los recursos relevantes y sus relaciones directas.
Para filtrar o destacar el linaje, usa los siguientes criterios:
- Proyecto: Filtra por el ID del proyecto de Google Cloud .
- Sistema: Filtra por el sistema en el que se encuentra el recurso de datos (por ejemplo, BigQuery o Cloud Storage).
- Nombre de entidad: Filtra por nombre de recurso. Puedes usar
*para búsquedas con comodines (solo prefijo y sufijo, por ejemplo,*tableotest*). - Subtipo: Filtra por subtipo de recurso (por ejemplo,
dashboardomodel). - Nombre de la columna: Filtra el linaje por nombre de columna para ver los detalles a nivel de la columna.
- Dirección: Muestra el linaje upstream o downstream, o ambos.
- Período: filtra el linaje según una hora de inicio o finalización específica.
- Tipo de dependencia: Filtra el linaje a nivel de columna según el tipo de dependencia.
Algunos ejemplos de opciones disponibles son
AlloExact copy.
Para reducir aún más el desorden, puedes seleccionar Ocultar tablas temporales de BigQuery para
ocultar los recursos transitorios que crea BigQuery, como las tablas en
conjuntos de datos con nombres que comienzan con _script.
La vista enfocada en la pestaña de vista Gráfico expande automáticamente el gráfico hasta tres niveles y carga todo el linaje que coincide con los criterios de filtro. El explorador de linaje recupera hasta 10 niveles del gráfico de linaje, pero solo se expanden los primeros tres niveles de forma predeterminada. Puedes expandir el gráfico para ver los niveles restantes haciendo clic en las flechas.
La vista enfocada admite el linaje a nivel de tabla y de columna, incluida la visualización de la ruta de acceso desde cualquier nodo seleccionado hasta la raíz. En esta vista enfocada, se usa un ícono de ajustes genérico para todos los procesos.
Para ver el linaje a nivel de columna, usa uno de los siguientes métodos:
En una vista de gráfico enfocada, haz clic en el ícono de columna de una tabla para cambiar al linaje a nivel de columna.
Ícono de columna En la vista predeterminada Gráfico o en la vista enfocada Gráfico, aplica un nombre de columna en el panel Explorador de linaje.
Para quitar todos los filtros y volver a la vista predeterminada, haz clic en Restablecer.
Para cambiar entre los modos de destacar y filtrar, consulta Define mejor la visualización del linaje.
Consulta los detalles del nodo de linaje
Para ver los detalles de un nodo, haz clic en él. Aparecerá un panel lateral con información detallada sobre el recurso de datos seleccionado. Por ejemplo, en una vista de linaje a nivel de tabla, si haces clic en un nodo, se muestra información como el nombre completamente calificado, el tipo y otros atributos relevantes del recurso.
Visualiza el historial de ejecuciones de linaje
Un gráfico de linaje completo es el resultado de ejecuciones de muchos trabajos diferentes. Cada trabajo crea un vínculo específico en el gráfico. Las ejecuciones múltiples se registran como ejecuciones nuevas, pero no cambian la apariencia estática del gráfico.
Para ver los detalles de estas ejecuciones individuales, haz clic en un borde con un proceso en el gráfico. En el panel Consulta que aparece, haz clic en la pestaña Ejecuciones.
Inspecciona la lógica de transformación de datos
Para comprender la lógica empresarial de una transformación sin buscar el código, puedes ver la consulta en SQL exacta que se ejecutó. Para ver el código SQL, haz clic en un borde con un proceso en el gráfico. En el panel lateral que aparece, haz clic en la pestaña Detalles.
Visualiza una ruta de linaje de datos
La visualización de la ruta de linaje te ayuda a rastrear la ruta desde cualquier nodo seleccionado en el gráfico hasta la entrada raíz. Cuando seleccionas un nodo y haces clic en Visualizar ruta de acceso, el grafo destaca solo los nodos y los procesos que forman la ruta de acceso de linaje directo a la entrada raíz.
Para ver la visualización de la ruta de linaje, en el panel Explorador de linaje, aplica un filtro para crear una vista de Gráfico enfocada. Luego, en la vista Graph enfocada, selecciona un nodo. En el panel de detalles del nodo seleccionado, haz clic en Visualizar ruta de acceso.
La visualización de la ruta de linaje está disponible para el linaje a nivel de tabla y de columna. También puedes usar la visualización de la ruta de linaje en la vista Lista.
Vista de lista de linaje
La vista Lista ofrece una representación tabular y estructurada del linaje, sincronizada con la vista Gráfico. Te ayuda a ordenar, filtrar y descargar recursos de datos. Esta vista es ideal para analizar las relaciones entre el origen y el destino, detallar los recursos involucrados y exportar datos de linaje.
La vista de lista está disponible para el linaje a nivel de tabla y de columna. Puedes alternar entre las siguientes vistas de lista detalladas y simplificadas:
Vista de lista simplificada: Esta vista es útil para obtener una lista condensada y única de todos los recursos involucrados en el linaje. Las columnas como Sistema, Proyecto, Entidad, FQN (nombre completamente calificado), Dirección y Profundidad te ayudan a ver todos los recursos de datos en el linaje, dónde residen, su fuente original y su distancia del recurso central que se analiza. Es ideal para obtener una descripción general de alto nivel de todas las entidades que participan en el flujo de datos. Es la vista predeterminada.
Vista de lista detallada: Esta vista está diseñada para analizar las relaciones individuales entre origen y destino. Si proporcionas columnas separadas para Origen y Destino, puedes ver cada vínculo de transformación de datos específico. Esta vista es ideal para tareas que requieren una comprensión profunda de cómo se mueven los datos entre pares específicos de recursos, como auditar flujos de datos individuales, comprender las dependencias entre tablas o exportar registros de linaje detallados para cada conexión.
Vista de lista del linaje a nivel de tabla
Esta vista muestra las relaciones entre las tablas en su conjunto. Usa los filtros proporcionados para seleccionar las columnas que necesitas.
Expande las siguientes secciones para ver las columnas disponibles en las vistas de lista a nivel de la tabla.
Columnas disponibles en la vista de lista simplificada a nivel de la tabla
- Sistema: Es el sistema en el que se encuentra el recurso de datos. Algunos ejemplos son [BigQuery](/bigquery/docs).
- Proyecto: Es el ID del proyecto de Google Cloud que contiene el recurso de datos.
- Entidad: Es el nombre del recurso de datos. Los ejemplos incluyen un nombre de tabla.
- FQN: Es el nombre completamente calificado (FQN) de la entidad o columna de origen original.
- Dirección: Indica si el recurso de la lista es ascendente (origen) o descendente (destino) en el flujo de linaje.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
Columnas disponibles en la vista de lista detallada a nivel de tabla
- Sistema de origen: Es el sistema en el que se encuentra el recurso de datos de origen. Algunos ejemplos son BigQuery.
- Proyecto de origen: Es el ID del proyecto de Google Cloud que contiene el recurso de datos de origen.
- Fuente: Es el nombre del recurso de datos de origen. Los ejemplos incluyen un nombre de tabla.
- FQN de origen: Es el FQN de la entidad de origen.
- Sistema de destino: Es el sistema en el que se encuentra el recurso de datos de destino. Algunos ejemplos son BigQuery.
- Proyecto de destino: Es el ID del proyecto de Google Cloud que contiene el recurso de datos de destino.
- Destino: Es el nombre del recurso de datos de destino. Los ejemplos incluyen un nombre de tabla.
- FQN de destino: Es el FQN de la entidad de destino.
- Dirección: Indica si el recurso de la lista es ascendente (origen) o descendente (destino) en el flujo de linaje.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
Vista de lista del linaje a nivel de columna
En esta vista, se muestran las relaciones entre las columnas individuales de las tablas de origen y de destino. Usa los filtros proporcionados para seleccionar las columnas que necesitas.
Expande las siguientes secciones para ver las columnas disponibles en las vistas de lista a nivel de columna.
Columnas disponibles en la vista de lista simplificada a nivel de columna
- Sistema: Es el sistema en el que se encuentra el recurso de datos. Algunos ejemplos son BigQuery.
- Proyecto: Es el ID del proyecto de Google Cloud que contiene el recurso de datos.
- Entidad: Es el nombre del recurso de datos. Los ejemplos incluyen un nombre de tabla.
- Columna: Es la columna específica elegida en el panel Explorador de linaje dentro de la entidad.
- FQN: Es el nombre completamente calificado (FQN) de la entidad o columna de origen original.
- Dirección: Indica si el recurso de la lista es ascendente (origen) o descendente (destino) en el flujo de linaje.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
Columnas disponibles en la vista de lista detallada a nivel de columna
- Sistema de origen: Es el sistema en el que se encuentra el recurso de datos de origen.
- Proyecto de origen: Es el ID del proyecto de Google Cloud que contiene el recurso de datos de origen.
- FQN de origen: Es el FQN de la columna de origen.
- Sistema de destino: Es el sistema en el que se encuentra el recurso de datos de destino.
- Proyecto de destino: Es el ID del proyecto de Google Cloud que contiene el recurso de datos de destino.
- FQN de destino: Es el FQN de la columna de destino.
- Dirección: Indica si el flujo de datos es upstream o downstream.
- Tipos de dependencia: Describe la naturaleza de la relación entre las columnas.
- Profundidad: Es la cantidad de pasos de linaje desde el recurso central que se analiza.
¿Qué sigue?
Obtén más información sobre las fuentes de linaje.
Obtén información para usar el linaje de datos con sistemas de Google Cloud .