Cómo ver las relaciones de datos en Knowledge Catalog

Las relaciones de datos en Knowledge Catalog (antes Dataplex Universal Catalog) te permiten encontrar tablas y vistas de BigQuery relacionadas, y, además, inspeccionar cómo se conectan. Luego, puedes explorar conjuntos de datos vinculados o proporcionar contexto estructural a los agentes de IA para generar consultas más precisas.

Antes de comenzar

Antes de ver las relaciones entre los recursos de datos, asegúrate de que se te otorguen los roles necesarios.

Roles obligatorios

Para ver las relaciones entre los recursos de datos en Knowledge Catalog, no necesitas ningún rol de IAM específico de Knowledge Catalog. Knowledge Catalog usa tus permisos existentes en los sistemas de origen en los que residen los recursos, como BigQuery, para determinar tu capacidad de ver las relaciones. Por ejemplo, para ver las relaciones que involucran una tabla de BigQuery, necesitas el permiso bigquery.tables.get.

Si no tienes permiso para ver un recurso en su sistema de origen, el gráfico de relaciones de Knowledge Catalog ocultará cualquier relación que involucre ese recurso. Esto garantiza que la visibilidad de las relaciones se adhiera a los límites de seguridad y los permisos establecidos en los sistemas de origen.

Acerca de las relaciones de datos

Las relaciones de datos ilustran cómo se conectan los recursos de datos. Por ejemplo, si ubicas una tabla con datos de clientes, sus relaciones pueden revelar tablas relacionadas que incluyan pedidos o tickets de asistencia. Además, las relaciones actúan como una guía estructural, lo que proporciona un contexto esencial para los modelos de lenguaje grandes. Como resultado, la IA genera respuestas más precisas y formula consultas exactas para recuperar información específica.

Knowledge Catalog descubre y almacena automáticamente vínculos potenciales y relaciones comunes entre los recursos de datos, lo que te ayuda a comprender la naturaleza de cada conexión. Los datos de la relación se originan de varias fuentes, como las siguientes:

  • Registros de consultas históricos de Knowledge Catalog que analizan de forma continua el historial de consultas para detectar posibles patrones de JOIN entre tablas.
  • Las estadísticas de datos sugieren relaciones de datos a pedido a través del análisis de los atributos de esquema y las superposiciones de datos con modelos de lenguaje grandes.

Recursos de datos compatibles

Puedes ver las relaciones de datos de las tablas y vistas de BigQuery.

Visualiza las relaciones de datos

Para ver las relaciones de datos de las tablas y vistas de BigQuery, usa la consola deGoogle Cloud o la API de Dataplex.

Console

Para ver las relaciones de datos de una tabla en BigQuery, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. Busca una tabla de BigQuery de la que quieras ver las relaciones.

  3. En los resultados de la búsqueda, haz clic en el nombre de la tabla para abrir su página de entrada.

  4. Ve a la pestaña Relaciones para ver la siguiente información sobre cada relación de datos:

    • Destino: Es el nombre del recurso de datos conectado.
    • Relación: Son las columnas específicas que se usan para vincular los recursos.
    • Tipo: Es la naturaleza del vínculo. Por ejemplo, tanto las uniones frecuentes como las relaciones descubiertas por las estadísticas de datos aparecen como JOIN.

    • Origen: Es el origen de la relación.

      • Query history es el origen de las uniones frecuentes.
      • Data insights es el origen de las relaciones descubiertas por las estadísticas de datos.

    • Acción: Es una consulta de ejemplo que puedes usar para descubrir el vínculo entre los recursos.

REST

Las relaciones descubiertas se almacenan en Knowledge Catalog como EntryLinks que establecen una relación entre dos recursos de datos (entradas) en Knowledge Catalog. Los detalles sobre la relación, como las columnas unidas y la fuente de la relación, se almacenan como aspectos de EntryLinks.

Para ver las relaciones de datos, usa los siguientes métodos:

  • LookupEntryLinks recupera todas las EntryLinks que hacen referencia a una entrada de datos específica como origen o destino para devolver el conjunto completo de relaciones asociadas con una entrada determinada.

  • LookupContext proporciona un único extremo para fundamentar agentes de IA con metadatos contextuales. Devuelve un paquete conciso y con formato previo de metadatos, incluidos los recursos de datos relacionados.

Ubicaciones

Puedes usar relaciones de datos en todas las ubicaciones de BigQuery.

Limitaciones

  • Knowledge Catalog analiza una muestra del historial de consultas para identificar relaciones, lo que significa que algunas consultas podrían no generar el descubrimiento de vínculos.
  • El descubrimiento de relaciones puede tardar hasta 72 horas después de que se ejecuta la consulta.

¿Qué sigue?