Usa el linaje de datos para optimizar los costos

El linaje de datos en Knowledge Catalog te permite hacer un seguimiento de las dependencias posteriores de las tablas y vistas de tu proyecto de BigQuery. Luego, puedes identificar los recursos que no se usan de forma activa como fuentes para trabajos o flujos de trabajo posteriores y marcarlos como candidatos para su eliminación, lo que reducirá los costos de almacenamiento.

En este instructivo, administrarás un proyecto de BigQuery con conjuntos de datos derivados del Censo Trimestral de Empleo y Salarios (QCEW). El proyecto contiene numerosas tablas y vistas para paneles y análisis, como el seguimiento de las tendencias de empleo o las comparaciones de salarios, lo que aumenta tus costos de almacenamiento. Si verificas cada recurso en busca de vínculos descendentes, puedes marcar de forma sistemática los recursos no utilizados para borrarlos.

Precaución: Ten cuidado cuando borres recursos. El hecho de que un recurso no tenga flujos de trabajo descendentes no significa que no se use en absoluto. Por ejemplo, los usuarios podrían consultar una tabla directamente para recuperar datos específicos en modo de solo lectura. Si borras el recurso, se podría interrumpir el trabajo de cualquier persona que dependa de ese acceso directo.

Configura Lineage Explorer

Para completar el caso de uso, primero configura el entorno y ejecuta las transformaciones de datos conectando un repositorio remoto a Dataform. Este repositorio contiene el código necesario para configurar el conjunto de datos y transformar los datos. Para obtener más información, consulta Requisitos previos y configuración.

Después de terminar de configurar el entorno, usa BigQuery y el Explorador de linaje para identificar de forma visual los recursos sin dependencias posteriores.

Identifica los recursos sin usar y optimiza los costos

Después de preparar el conjunto de datos, identifica los recursos que no tienen dependencias descendentes. Si bien puedes hacerlo de forma visual para tablas individuales, también puedes usar un enfoque programático para conjuntos de datos más grandes.

En este ejemplo, compara los recursos activos con los independientes para determinar cuáles se pueden quitar de forma segura:

1. En la consola de Google Cloud , ve a la página BigQuery.
2. Usa el campo de búsqueda para encontrar una tabla independiente (por ejemplo, una tabla de análisis antigua de un año específico).
3. Haz clic en la pestaña Linaje.
4. En el panel Explorador de linaje, haz lo siguiente:
   1. En la sección Dirección, selecciona la dirección Descendente.
   2. Haz clic en Aplicar.

Observa el gráfico. Si no hay nodos descendientes, el recurso no se usa como fuente para otros trabajos de BigQuery con seguimiento. Para obtener más información sobre cómo visualizar datos con el gráfico de linaje de datos, consulta Vista de gráfico de linaje.