Realiza un seguimiento del linaje de datos con Knowledge Catalog

En esta página, se explica cómo hacer un seguimiento del linaje de datos de tu instancia de Looker (Google Cloud Core) con Knowledge Catalog.

El linaje de datos es el proceso de hacer un seguimiento de cómo fluyen los datos a través de tus sistemas. Si integras Looker (Google Cloud Core) con Knowledge Catalog, puedes visualizar el recorrido de extremo a extremo de tus datos desde su fuente en BigQuery a través de la capa semántica de Looker (vistas y exploraciones de LookML) hasta el consumo posterior en los paneles de Looker, las vistas, los paneles de LookML y los agentes de Conversational Analytics.

Esta visibilidad proporciona un seguimiento de linaje bidireccional para la administración de datos, el análisis de impacto y los flujos de trabajo de auditoría:

• Análisis de impacto descendente: Predice qué paneles, exploraciones y consumidores descendentes se verán afectados antes de realizar cambios en el esquema o el modelo. Por ejemplo, antes de quitar una columna en una tabla de BigQuery, puedes verificar el gráfico de linaje para ver qué paneles de Looker podrían fallar.
• Auditoría de datos upstream: Realiza un seguimiento del origen, las transformaciones y la cadena de custodia de las métricas que se muestran en los paneles ejecutivos y las vistas.

Antes de comenzar

Para usar el linaje de datos con Looker (Google Cloud Core), debes cumplir con los siguientes requisitos previos:

1. Looker (Google Cloud Core): El linaje de datos es compatible con todos los tipos de ediciones de las instancias de Looker (Google Cloud Core). Las instancias de Looker (original) no se integran en Knowledge Catalog.
2. Fuente de datos: El linaje de datos solo se admite para las fuentes de datos de BigQuery.

3. Permisos obligatorios: Para ver los gráficos de linaje, necesitas los siguientes roles de IAM:

   • Visualizador de esquemas de Looker (roles/looker.schemaViewer) en el proyecto que aloja la instancia de Looker (Google Cloud Core). Este rol es necesario para ver los metadatos específicos de Looker (Google Cloud Core) que completan el panel lateral de un gráfico de linaje.

     Nota: Solo puedes agregar el rol de visualizador de esquemas de Looker con Google Cloud CLI.

     gcloud projects add-iam-policy-binding YOUR_PROJECT_ID
     --member=PRINCIPAL_TYPE:PRINCIPAL_ID
     --role=roles/looker.schemaViewer

     Para obtener más información, consulta la documentación de add-iam-policy-binding.

   • Visualizador del catálogo de Dataplex (roles/dataplex.catalogViewer) o permisos equivalentes para ver los recursos de Knowledge Catalog

   • Visualizador de linaje de datos (roles/datalineage.viewer) para leer datos de linaje

Precaución: Las referencias de tablas de SQL en LookML deben coincidir con el uso de mayúsculas y minúsculas exacto de las tablas de BigQuery correspondientes. Por ejemplo, si el nombre de una tabla de BigQuery está en minúscula, la referencia de LookML también debe estar en minúscula. Las discrepancias de mayúsculas y minúsculas impiden que el linaje descendente se propague en el gráfico de linaje.

Habilita el linaje de datos

Para habilitar el linaje de datos, completa los siguientes pasos en la consola de Google Cloud :

1. Habilita la API de Data Lineage: Debes habilitar la API de Data Lineage (datalineage.googleapis.com) en cualquier proyecto de Google Cloud que aloje tu instancia de Looker (Google Cloud Core) y tus datos de BigQuery.

   Habilita la API de Data Lineage

2. Asegúrate de que la transferencia de linaje a nivel de servicio esté habilitada: Asegúrate de que la integración de linaje a nivel de servicio de Looker (Google Cloud Core) esté habilitada. La transferencia de linaje está habilitada de forma predeterminada para las instancias de Looker (Google Cloud Core) en los proyectos en los que está habilitada la API de Data Lineage.

Nota: La transferencia del linaje de datos funciona de forma independiente del parámetro de configuración de inhabilitación de la integración de metadatos de Knowledge Catalog de Looker (Google Cloud Core) y no requiere configuración en el panel de administración de Looker. Cualquier parámetro de configuración de vista previa que se haya establecido en el panel de administración de Looker durante el programa de versión preliminar ya no se aplica a la integración del linaje de datos.

Para ver la configuración de linaje de un proyecto de Google Cloud , consulta la documentación de Obtén la configuración actual. Si la integración en Looker (Google Cloud Core) está inhabilitada, el comando devolverá un resultado similar al siguiente:

    {
    "name": "projects/123456789012/locations/global/config",
    "ingestion": {
      "rules": [
        {
          "integrationSelector": {
            "integration": "LOOKER_CORE"
          },
          "lineageEnablement": {
            "enabled": false
          }
        }
      ]
    },
    "etag": "Wb35wDxTTLd6Z+QAL+Yd4g=="
  }

El ID del proyecto en la respuesta reflejará el ID de tu solicitud. El campo etag es una suma de comprobación que genera el servidor y que se basa en el valor actual de la configuración.

Visualiza el linaje de datos

Una vez que se habilite la integración y se complete la sincronización inicial (lo que puede tardar hasta 24 horas), podrás ver el linaje en la consola de Knowledge Catalog.

1. En la consola de Google Cloud , ve a la página Knowledge Catalog.

   Ir a Knowledge Catalog

2. Haz clic en Buscar en el panel de navegación izquierdo.
3. Busca una tabla de BigQuery o un recurso de Looker (Google Cloud Core), como un panel o una exploración.
   • Puedes usar el panel Filtros para filtrar por Sistemas > Looker.
4. Haz clic en el nombre del activo para abrir su página de detalles.
5. Haz clic en la pestaña Linaje.

El gráfico de linaje muestra el recurso como un nodo central, con las fuentes ascendentes a la izquierda y los consumidores descendentes a la derecha. Este diseño bidireccional te permite evaluar los impactos descendentes a la derecha o rastrear la procedencia ascendente y las tablas de origen a la izquierda.

Interpreta el gráfico de linaje

El gráfico de linaje consta de nodos y vínculos:

• Nodos: Representan recursos de datos. Entre los recursos compatibles de Looker (Google Cloud Core), se incluyen los siguientes:
  • Panel de Looker
  • Elemento de panel de Looker (tarjeta)
  • Look de Looker
  • Panel de LookML
  • Agente de Looker (agente de Conversational Analytics)
  • Exploración de LookML
  • Vista de LookML
• Vínculos: Representan el flujo de datos. Por ejemplo, un vínculo de una tabla de BigQuery a una vista de LookML indica que la vista selecciona datos de esa tabla.

Identifica a los propietarios de los activos

Para averiguar quién es el propietario de un recurso downstream que podría verse afectado por un cambio, sigue estos pasos:

1. En el gráfico de linaje, haz clic en el nodo del recurso (por ejemplo, un panel de Looker).
2. Se abrirá un panel de información en el lado derecho de la pantalla.
3. Busca la sección Aspectos para encontrar el Propietario (dirección de correo electrónico).

Filtra la lista de linaje

Cuando estés en la vista de Lista del linaje, puedes filtrar las entidades por nombre o valor de propiedad. Por ejemplo, los modelos de LookML complejos pueden generar grafos de linaje grandes con muchas entidades intermedias. Para enfocarte en el impacto empresarial, puedes filtrar por tipo de entidad siguiendo estos pasos:

1. En la pestaña Linaje, cambia a la vista de Lista.
2. Busca las opciones de Filtro en la barra de herramientas.
3. En el filtro Entidad, ingresa Panel de Looker, Panel de LookML y Vista de Looker para filtrar los tipos intermedios, como Vista de LookML y Exploración de LookML.

La lista de entidades se actualiza para mostrar solo los tipos de recursos seleccionados, lo que facilita la identificación del contenido para el usuario.

Limitaciones

La integración del linaje de Looker (Google Cloud Core) tiene las siguientes limitaciones:

• Tipos de instancias: El linaje solo se admite para las instancias de Looker (Google Cloud Core). Las instancias de Looker (original) no admiten el linaje.
• Fuentes de datos: El linaje solo se admite para las fuentes de datos de BigQuery.
• Nivel de detalle: El linaje se proporciona a nivel de objeto (tabla, vista, exploración, panel de Looker, panel de LookML y agente de Conversational Analytics). No se admite el linaje a nivel de columna.
• Latencia: Los datos de linaje no se muestran en tiempo real. Por lo general, el proceso de sincronización tarda cuatro horas. Sin embargo, la sincronización puede tardar hasta ocho horas, según el momento en que se exporten los metadatos de Looker y se consuman los datos de linaje. Los cambios realizados en Looker o BigQuery pueden tardar un poco en aparecer en el gráfico de linaje. La sincronización inicial después de habilitar la integración puede tardar hasta 24 horas.
• SQL complejo: Es posible que LookML que se define con SQL personalizado complejo (por ejemplo, plantillas de Liquid, tablas derivadas con uniones complejas) no se analice por completo, lo que podría generar nodos desconectados.

Precios

El linaje de datos para Looker (Google Cloud Core) está disponible de forma general. Los precios comenzarán a aplicarse en una fecha futura, con un aviso anticipado que se proporcionará a través de un anuncio obligatorio del servicio (MSA).

Para obtener más información, consulta la página de precios de Knowledge Catalog.

¿Qué sigue?

• Administra recursos de metadatos con Knowledge Catalog
• Más información sobre el linaje de datos