Analiza el impacto de los cambios de datos en los flujos de trabajo

El linaje de datos en Knowledge Catalog (anteriormente, Dataplex Universal Catalog) te permite hacer un seguimiento de cómo las transformaciones de datos afectan los recursos downstream y los flujos de trabajo que dependen de ellos. Hacer un seguimiento de las dependencias a nivel de columna antes de modificar las tablas te ayuda a verificar la integridad de los datos y determinar si las canalizaciones existentes requieren ajustes.

En este instructivo, mantendrás una base de datos que almacena registros sobre cómo se usan los diversos servicios que ofrece un proveedor de atención médica. Para facilitar el uso de los datos, explora las tablas para identificar posibles cambios. Antes de implementar los cambios, usa el Explorador de linaje de BigQuery para examinar las columnas, inspeccionar los cambios en los tipos de datos y determinar si alguna mejora afecta los flujos de trabajo existentes o requiere ajustes adicionales.

Comenzar

Para completar el caso de uso, primero configura el entorno y ejecuta las transformaciones de datos. Usa la página de requisitos previos y configuración para conectar un repositorio remoto a Dataform. Este repositorio contiene el código necesario para configurar el conjunto de datos y transformar los datos.

Después de terminar de configurar el entorno, usa BigQuery y el Explorador de linaje para hacer un seguimiento de las transformaciones de datos y el efecto que tienen en los flujos de trabajo.

Analiza las transformaciones de datos con el Explorador de linaje

Después de preparar el conjunto de datos, analiza el impacto de la transformación de datos con la pestaña Linaje de BigQuery.

Verifica la integridad de los datos de las columnas con gráficos de linaje

En este ejemplo, examina la columna medicare_participation_indicator, que indica si un médico o proveedor acepta proporcionar servicios para Medicare. En el gráfico de linaje, se muestra cómo las transformaciones de datos entre las tablas derivadas generan cambios en el tipo de datos de las columnas:

1. En la consola de Google Cloud , ve a la página BigQuery.
2. Usa el campo de búsqueda para encontrar la tabla physicians_and_other_supplier_2012_original.
3. Haz clic en la pestaña Linaje.
4. En el panel Explorador de linaje, haz lo siguiente:
   1. En la sección Column Level Lineage, selecciona el nombre de la columna medicare_participation_indicator de la lista.
   2. En la sección Dirección, selecciona la dirección Descendente.
   3. Haz clic en Aplicar.
5. Expande la ruta de linaje hasta llegar a vertex_ai_model_final_features.

6. Analiza los cambios de ruta entre la tabla supplier_stg3 y la tabla supplier_transform1:

   

   Visualización del seguimiento del linaje para la columna medicare_participation_indicator

   • La marca de ruta Copia exacta indica que la columna pasa sin cambios.
   • La marca de ruta de acceso Otro indica una transformación. En esta ruta de acceso, el tipo de datos String se trata como Boolean.

La ruta muestra que los tipos de datos de las columnas cambian, lo que podría requerir ajustes en los flujos de trabajo que usan estas tablas.

Identifica columnas downstream redundantes

En este ejemplo, se examina la columna nppes_credentials, que enumera los números de identificación de proveedor nacional que tienen los profesionales en el National Plan and Provider Enumeration System (NPPES):

1. En la consola de Google Cloud , ve a la página BigQuery.
2. Usa el campo de búsqueda para encontrar la tabla physicians_and_other_supplier_2012_original.
3. Haz clic en la pestaña Linaje.
4. En el panel Explorador de linaje, haz lo siguiente:
   1. En la sección Column Level Lineage, selecciona el nombre de la columna nppes_credentials de la lista.
   2. En la sección Dirección, selecciona la dirección Descendente.
   3. Haz clic en Aplicar.
5. Expande la ruta para verificar si existe un linaje descendente que lleve a vertex_ai_model_final_features.

La falta de linaje significa que esta columna podría no ser relevante en este flujo de trabajo en particular, y hasta se puede borrar.

Para obtener más información sobre cómo visualizar datos con el gráfico de linaje de datos, consulta la vista del gráfico de linaje.