Realiza un seguimiento del linaje de datos con Knowledge Catalog

En esta página, se explica cómo hacer un seguimiento del linaje de datos de tu instancia de Looker (Google Cloud Core) con Knowledge Catalog.

El linaje de datos es el proceso de hacer un seguimiento de cómo fluyen los datos a través de tus sistemas. Si integras Looker (Google Cloud Core) con Knowledge Catalog, puedes visualizar el recorrido de extremo a extremo de tus datos desde su fuente en BigQuery a través de la capa semántica de Looker (vistas y exploraciones de LookML) hasta el consumo posterior en paneles, vistas y agentes de IA o datos.

Esta visibilidad proporciona un seguimiento de linaje bidireccional para la administración de datos, el análisis de impacto y los flujos de trabajo de auditoría:

  • Análisis de impacto descendente: Predice qué paneles, exploraciones y consumidores descendentes se verán afectados antes de realizar cambios en el esquema o el modelo. Por ejemplo, antes de quitar una columna en una tabla de BigQuery, puedes verificar el gráfico de linaje para ver qué paneles de Looker podrían fallar.
  • Auditoría de datos upstream: Realiza un seguimiento del origen, las transformaciones y la cadena de custodia de las métricas que se muestran en los paneles ejecutivos y las vistas.

Antes de comenzar

Para usar el linaje de datos con Looker (Google Cloud Core), debes cumplir con los siguientes requisitos previos:

  1. Looker (Google Cloud Core): El linaje de datos es compatible con todos los tipos de ediciones de las instancias de Looker (Google Cloud Core). Las instancias de Looker (original) no se integran en Knowledge Catalog.

  2. Permisos obligatorios: Para ver los gráficos de linaje, necesitas los siguientes roles de IAM:

    • Visualizador de esquemas de Looker (roles/looker.schemaViewer) en el proyecto que aloja la instancia de Looker (Google Cloud Core). Este rol es necesario para ver los metadatos específicos de Looker (Google Cloud Core) que completan el panel lateral cuando se visualiza un gráfico de linaje.

    • Visualizador del catálogo de Dataplex (roles/dataplex.catalogViewer) o permisos equivalentes para ver los recursos de Knowledge Catalog

    • Visualizador de linaje de datos (roles/datalineage.viewer) para leer datos de linaje

Habilita el linaje de datos

Para habilitar el linaje de datos, completa cada uno de los siguientes pasos:

  1. Habilita la integración de Knowledge Catalog para Looker (Google Cloud Core): La integración entre tu instancia de Looker (Google Cloud Core) y Knowledge Catalog está habilitada de forma predeterminada en la consola de Google Cloud . Si se inhabilitó la integración, debes volver a habilitarla. Consulta Habilita la integración para obtener instrucciones.
  2. Habilita la función de versión preliminar de Linaje de Knowledge Catalog en Looker: La función de versión preliminar de Linaje de Knowledge Catalog está inhabilitada de forma predeterminada en la página Funciones de versión preliminar del panel Administrador de tu instancia de Looker (Google Cloud Core).
  3. Habilita la API de Data Lineage: Debes habilitar la API de Data Lineage (datalineage.googleapis.com) en cualquier proyecto de Google Cloud que aloje tu instancia de Looker (Google Cloud Core) y tus datos de BigQuery.

    Habilita la API de Data Lineage

  4. Habilita la transferencia de linaje a nivel de servicio: Ensure de que esté habilitada la integración a nivel de servicio de linaje y Looker (Google Cloud Core). El linaje a nivel de servicio se adhiere a los siguientes estados predeterminados:
    • Para evitar implicaciones futuras en los precios, la transferencia de linaje a nivel de servicio de Looker (Google Cloud Core) está inhabilitada de forma predeterminada para los proyectos que, en la fecha de lanzamiento de la versión preliminar de esta función, tenían habilitada la API de Data Lineage y alojaban al menos una instancia de Looker (Google Cloud Core).
    • La transferencia de linaje a nivel de servicio está habilitada de forma predeterminada para las instancias de Looker (Google Cloud Core) creadas después de la fecha de lanzamiento de la versión preliminar de esta función en proyectos con la API de Data Lineage habilitada.

Para ver la configuración de linaje de un proyecto de Google Cloud , consulta la documentación de Obtén la configuración actual. Si la integración en Looker (Google Cloud Core) está inhabilitada, el comando devolverá un resultado similar al siguiente:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

El ID del proyecto en la respuesta reflejará el ID de tu solicitud. El campo etag es una suma de comprobación que genera el servidor y que se basa en el valor actual de la configuración.

Visualiza el linaje de datos

Una vez que se habilite la integración y se complete la sincronización inicial (lo que puede tardar hasta 24 horas), podrás ver el linaje en la consola de Knowledge Catalog.

  1. En la consola de Google Cloud , ve a la página Knowledge Catalog.

    Ir a Knowledge Catalog

  2. Haz clic en Buscar en el panel de navegación izquierdo.
  3. Busca una tabla de BigQuery o un recurso de Looker (Google Cloud Core), como un panel o una exploración.
    • Puedes usar el panel Filtros para filtrar por Sistema > Looker.
  4. Haz clic en el nombre del activo para abrir su página de detalles.
  5. Haz clic en la pestaña Linaje.

El gráfico de linaje muestra el recurso como un nodo central, con las fuentes ascendentes a la izquierda y los consumidores descendentes a la derecha. Este diseño bidireccional te permite evaluar los impactos descendentes a la derecha o rastrear la procedencia ascendente y las tablas de origen a la izquierda.

Interpreta el gráfico de linaje

El gráfico de linaje consta de nodos y vínculos:

  • Nodos: Representan recursos de datos. Entre los recursos compatibles de Looker (Google Cloud Core), se incluyen los siguientes:
    • Panel de Looker
    • Elemento de panel de Looker (tarjeta)
    • Look de Looker
    • Exploración de LookML
    • Vista de LookML
  • Vínculos: Representan el flujo de datos. Por ejemplo, un vínculo de una tabla de BigQuery a una vista de LookML indica que la vista selecciona datos de esa tabla.

Identifica a los propietarios de los activos

Para averiguar quién es el propietario de un recurso downstream que podría verse afectado por un cambio, sigue estos pasos:

  1. En el gráfico de linaje, haz clic en el nodo del recurso (por ejemplo, un panel de Looker).
  2. Se abrirá un panel de información en el lado derecho de la pantalla.
  3. Busca la sección Aspectos para encontrar el Propietario (dirección de correo electrónico).

Filtra la lista de linaje

Cuando estés en la vista de Lista del linaje, puedes filtrar las entidades por nombre o valor de propiedad. Por ejemplo, los modelos de LookML complejos pueden generar grafos de linaje grandes con muchas entidades intermedias. Para enfocarte en el impacto empresarial, puedes filtrar por tipo de entidad siguiendo estos pasos:

  1. En la pestaña Linaje, cambia a la vista de Lista.
  2. Busca las opciones de Filtro en la barra de herramientas.
  3. En el filtro Entidad, ingresa Panel de Looker y Vista de Looker para filtrar los tipos intermedios, como Vista de LookML y Exploración de Looker.

La lista de entidades se actualiza para mostrar solo los tipos de recursos seleccionados, lo que facilita la identificación del contenido para el usuario.

Limitaciones

La integración del linaje de Looker (Google Cloud Core) tiene las siguientes limitaciones durante la versión preliminar:

  • Fuentes de datos: En la versión preliminar, el linaje solo se admite para las fuentes de datos de BigQuery.
  • Nivel de detalle: El linaje se proporciona a nivel del objeto (tabla, vista, exploración, panel). No se admite el linaje a nivel de columna.
  • Latencia: Los datos de linaje no se muestran en tiempo real. Por lo general, el proceso de sincronización tarda cuatro horas. Sin embargo, la sincronización puede tardar hasta ocho horas, según el momento en que se exporten los metadatos de Looker y se consuman los datos de linaje. Los cambios realizados en Looker o BigQuery pueden tardar un poco en aparecer en el gráfico de linaje.
  • SQL complejo: Es posible que LookML que se define con SQL personalizado complejo (por ejemplo, plantillas de Liquid, tablas derivadas con uniones complejas) no se analice por completo, lo que podría generar nodos desconectados.

Precios

Durante la versión preliminar, no se aplican cargos por las funciones de linaje de datos que se usan con esta integración.

Cuando el linaje de datos esté disponible de forma general, se aplicarán precios. Para evitar implicaciones futuras en los precios, la transferencia de linaje de Looker (Google Cloud Core) está inhabilitada de forma predeterminada para los proyectos que, en la fecha de lanzamiento de la versión preliminar de esta función, tenían habilitada la API de Data Lineage y alojaban al menos una instancia de Looker (Google Cloud Core).

Para obtener más información, consulta la página de precios de Knowledge Catalog.

¿Qué sigue?