Soluciona problemas relacionados con el linaje de datos

Este documento te ayuda a solucionar los problemas más comunes relacionados con los gráficos de linaje de datos de Knowledge Catalog (antes Dataplex Universal Catalog) que no se muestran.

Tipos de proyecto

Los recursos de datos pueden residir en diferentes proyectos. A continuación, se incluye un resumen de los proyectos posibles y sus nombres de recursos.

Proyecto de almacenamiento de BigQuery

Este proyecto almacena tus recursos de datos de BigQuery. Puedes encontrarlo en los detalles del recurso como parte de Table ID, antes del primer punto.

Figura 1. El nombre de un proyecto de almacenamiento de BigQuery

Proyecto de Compute

Este proyecto almacena los metadatos de linaje de datos. En el caso de BigQuery, aquí es donde ejecutas un trabajo. Si ejecutas un trabajo con la Google Cloud consola de, puedes encontrar el nombre del proyecto de Compute en el selector de proyectos:

Figura 2. El nombre de un proyecto de Compute que ejecuta trabajos de BigQuery

Cuando envíes solicitudes a la API de BigQuery, especifica el proyecto de Compute en la URL, por ejemplo:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Proyecto activo

Este es el proyecto desde el que ves el linaje de datos. La Google Cloud consola de muestra el proyecto activo en el selector de proyectos. Si usas la API, el proyecto activo es el proyecto desde el que realizas llamadas a la API.

Figura 3. El proyecto activo en la Google Cloud consola de

No se muestra el linaje de datos de BigQuery

El siguiente problema ocurre después de ejecutar un trabajo de BigQuery. En este caso, el problema puede deberse a tres situaciones:

• La API de Data Lineage está inhabilitada en el proyecto activo o en el proyecto de Compute.
• No tienes el rol de visualizador de Data Lineage (roles/datalineage.viewer) en el proyecto activo o en el proyecto de Compute.
• El linaje de datos aún no llegó. Según el volumen y la complejidad de los datos que se procesan, el linaje de datos puede tardar entre 30 minutos y 24 horas en mostrarse.

Si ves el mensaje "No se pudo recuperar el linaje porque faltan permisos" en la parte inferior de la página, te faltan permisos en el proyecto activo. De lo contrario, te faltan permisos en el proyecto de Compute.

Figura 4. Ejemplo de linaje que no se muestra en la IU de BigQuery

Para resolver este problema, verifica si la API de Data Lineage está habilitada para el proyecto de Compute. Después de habilitar la API, debes ejecutar un trabajo para ver el linaje de datos. Según el volumen y la complejidad de los datos que se procesan, el linaje de datos puede tardar entre 30 minutos y 24 horas en mostrarse.

A continuación, verifica si la API de Data Lineage está habilitada para el proyecto activo.

Cuando la API de Data Lineage esté habilitada, otorga el rol de visualizador de Data Lineage (roles/datalineage.viewer) en los proyectos activos y de Compute.

No se muestran los metadatos del proceso de BigQuery

El siguiente problema ocurre cuando abres el panel de detalles de la tabla, que no muestra todos los detalles, como la instrucción de SQL o la propiedad Process type. Esto sucede incluso si el linaje de datos se muestra correctamente.

Esto puede ocurrir cuando no tienes permisos para ver los metadatos en el proyecto de Compute.

Ejemplo:

• Tabla de origen de BigQuery: docs-source.dataset.source-001
• Tabla de destino de BigQuery: docs-target.dataset.target-001
• Linaje de datos entre docs-source.dataset.source-001 y docs-target.dataset.target-001 en el proyecto de Compute docs-compute
• Tienes el rol de visualizador de Data Lineage para los proyectos activos y de Compute docs-compute.

Si haces clic en los detalles del proceso de BigQuery, se muestra el siguiente mensaje en la Google Cloud consola de:

You don't have permission to view BigQuery process metadata in project X.

Figura 5: Ejemplo de detalles del proceso de BigQuery que no se muestran en la IU de BigQuery

Para resolver este problema, otorga al usuario el permiso bigquery.jobs.get (por ejemplo, incluido en el rol de visualizador de recursos de BigQuery ) en el proyecto de Compute.

No se muestran los detalles de la tabla de BigQuery

El siguiente problema ocurre cuando abres el panel de detalles de la tabla, que solo muestra la propiedad Fully qualified name. Esto sucede incluso si el linaje de datos se muestra correctamente. Esto puede ocurrir cuando no tienes todos los permisos necesarios en los proyectos de almacenamiento de la tabla.

Ejemplo:

• Tabla de BigQuery docs-source.dataset.source-001
• Tabla de BigQuery docs-target.dataset.target-001
• Linaje de datos entre docs-source.dataset.source-001 y docs-target.dataset.target-001 con el proyecto de Compute docs-compute
• Tienes el rol de visualizador de Data Lineage para los proyectos activos y de Compute docs-compute.

En este caso, cuando haces clic en los detalles del nodo de BigQuery, puedes ver un mensaje Entry with this fully qualified name is not available in Knowledge Catalog or you do not have permissions to view it.

Figura 6. Ejemplo de detalles de la tabla de BigQuery que no se muestran en la IU de BigQuery

Para resolver este problema, otorga los permisos bigquery.tables.get (por ejemplo, incluidos en el rol de visualizador de datos de BigQuery) en el proyecto de almacenamiento.