Genera estadísticas del conjunto de datos

Las estadísticas de datos te ayudan a comprender las relaciones entre las tablas en los conjuntos de datos de BigQuery y los espacios de nombres de Apache Iceberg, ya que descubren y visualizan las relaciones entre las tablas en un grafo, identifican las relaciones definidas por el esquema, basadas en el uso o inferidas por la IA, y generan consultas de muestra entre tablas.

Para obtener una descripción general de las estadísticas de tablas y conjuntos de datos, consulta Descripción general de las estadísticas de datos.

Modos para generar estadísticas de conjuntos de datos

Cuando se generan estadísticas de conjuntos de datos, BigQuery proporciona dos modos:

Modo Descripción Uso
Generar y publicar

Conserva las estadísticas de conjuntos de datos generadas en Knowledge Catalog como aspectos y relaciones de metadatos. Debes tener los permisos necesarios para publicar. Cuando usas Generar y publicar, BigQuery hace lo siguiente:

  • Almacena la descripción del conjunto de datos en Knowledge Catalog.
  • Captura las consultas y preguntas sugeridas como aspectos reutilizables.
  • Captura las relaciones como metadatos en Knowledge Catalog.
  • Permite que los usuarios con el acceso adecuado a Knowledge Catalog vean las estadísticas publicadas, lo que garantiza el conocimiento compartido de la organización.
  • Te permite editar y guardar descripciones directamente en Knowledge Catalog con la API. Puedes editar las consultas sugeridas con la consola de Google Cloud .

Usa este modo para la documentación de datos de toda la empresa que persiste y es reutilizable, o cuando crees flujos de trabajo de administración basados en catálogos.
Generar sin publicar

Crea estadísticas de conjuntos de datos, como descripciones, preguntas en lenguaje natural, relaciones y consultas en SQL, según demanda. Generar sin publicar no publica estadísticas en Knowledge Catalog.

Usa este modo para realizar exploraciones rápidas y ad hoc, y evitar desordenar el catálogo.

Antes de comenzar

Las estadísticas de datos se generan con Gemini en BigQuery. Para comenzar a generar estadísticas, primero debes configurar Gemini en BigQuery.

Habilita las APIs

Para usar las estadísticas de datos, habilita las siguientes APIs en tu proyecto: API de Dataplex, API de BigQuery y API de Gemini para Google Cloud.

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén información para otorgar roles.

Habilitar las API

Para obtener más información para habilitar la API de Gemini para Google Cloud, consulta Habilita la API de Gemini para Google Cloud en un proyecto de Google Cloud .

Completa un análisis de perfil de datos

Para mejorar la calidad de las estadísticas, genera un análisis de perfiles de datos para las tablas de tu conjunto de datos.

Roles obligatorios

Para obtener los permisos que necesitas para generar, administrar y recuperar estadísticas de conjuntos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Para ver los permisos exactos que se requieren para generar estadísticas, expande la sección Permisos requeridos:

Permisos necesarios

  • bigquery.datasets.get: lee los metadatos del conjunto de datos
  • bigquery.jobs.create: Crea trabajos
  • bigquery.jobs.listAll: enumera todos los trabajos del proyecto.
  • bigquery.tables.get: Obtén metadatos de tablas
  • bigquery.tables.getData: Obtén datos y metadatos de tablas
  • dataplex.datascans.create: Crea un recurso de análisis de datos
  • dataplex.datascans.get: Lee los metadatos de los recursos de análisis de datos
  • dataplex.datascans.getData: Lee los resultados de la ejecución del análisis de datos
  • dataplex.datascans.run: Ejecuta un análisis de datos on demand
  • dataplex.entryGroups.useSchemaJoinEntryLink: Usa vínculos de entrada schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: Usa aspectos de unión de esquemas
  • dataplex.entryLinks.create: Crea vínculos de entrada
  • dataplex.entryLinks.update: actualiza los vínculos de entrada
  • dataplex.entryLinks.delete: borrar vínculos de entrada
  • dataplex.entries.link: Entradas de vínculos
  • dataplex.entries.update: Actualiza las entradas
  • dataplex.entryGroups.useDescriptionsAspect: Usa aspectos de descripción
  • dataplex.entryGroups.useQueriesAspect: Usa aspectos de consulta

Genera estadísticas del conjunto de datos

Console

  1. En la consola de Google Cloud , ve a BigQuery Studio.

    Ir a BigQuery Studio

  2. En el panel Explorador, selecciona el proyecto y el conjunto de datos para los que deseas generar estadísticas. Para los espacios de nombres de Iceberg, selecciona el conjunto de datos que representa el espacio de nombres de tu catálogo.

  3. Haz clic en la pestaña Estadísticas.

  4. Para generar estadísticas y publicarlas en Knowledge Catalog, haz clic en Generar y publicar.

    Para generar estadísticas sin publicarlas en Knowledge Catalog, haz clic en Generar sin publicar.

    Para obtener más información sobre las diferencias entre los modos Generar y publicar y Generar sin publicar, consulta Modos para generar estadísticas de conjuntos de datos.

  5. Si tu conjunto de datos está en una multirregión, es posible que se te solicite que selecciones una región para generar estadísticas. Selecciona una región correspondiente a la multirregión en la que se creará el análisis de estadísticas.

    Las estadísticas tardan unos minutos en propagarse. La calidad de las estadísticas mejora si las tablas del conjunto de datos tienen resultados de generación de perfiles de datos.

Después de que se generan las estadísticas, BigQuery muestra una descripción del conjunto de datos, un gráfico de relaciones, una tabla de relaciones y consultas de muestra entre tablas.

REST

Para generar estadísticas de forma programática, usa la API de DataScans de Knowledge Catalog. Para hacerlo, sigue los pasos que se indican a continuación:

  1. Genera un análisis de datos de documentación de datos para el conjunto de datos de BigQuery
  2. Verifica el estado del escáner de documentos
  3. Verifica la publicación en Knowledge Catalog

Genera un análisis de datos de documentación de datos para el conjunto de datos de BigQuery

  1. Crea un análisis de datos de documentación de datos con el método dataScans.create. De manera opcional, puedes publicar estas estadísticas en Knowledge Catalog si configuras el parámetro catalog_publishing_enabled como true.

    Por ejemplo:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Reemplaza lo siguiente:

    • PROJECT_ID: Es el ID de tu proyecto de Google Cloud en el que reside el conjunto de datos.
    • LOCATION: la región en la que se ejecuta el análisis de datos
    • DATASCAN_ID: Es un nombre único que proporcionas para este análisis.
    • DATASET_ID: el ID del conjunto de datos de BigQuery que se analiza

  2. Inicia el trabajo de análisis de documentación de datos con el método dataScans.run.

    Por ejemplo:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Esta solicitud devuelve un ID de tarea único junto con el estado inicial.

Verifica el estado del análisis de la documentación de datos

Verifica que se haya completado la ejecución del trabajo de análisis con el método dataScans.get. Para recuperar los resultados completos, incluidas las estadísticas y el estado de publicación, establece el parámetro view en FULL.

Usa el ID de trabajo para recuperar el estado del trabajo. Por ejemplo:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

El trabajo se completa cuando el estado es SUCCEEDED o FAILURE.

Una respuesta correcta del trabajo contiene las estadísticas generadas en el campo dataDocumentationResult.

Verifica la publicación en Knowledge Catalog

Si catalog_publishing_enabled se establece en true, las estadísticas se publican en Knowledge Catalog de forma asíncrona después de que se completa el trabajo de análisis de datos. Para verificar que las estadísticas se hayan conservado, usa la API de Dataplex para inspeccionar los aspectos del conjunto de datos.

Mientras que las estadísticas se generan a partir del análisis de datos a nivel del conjunto de datos, los vínculos de entrada resultantes se almacenan entre las tablas que conectan. Para verificar estas relaciones, usa el método lookupEntryLinks para recuperar los vínculos de entrada asociados con una entrada de tabla específica.

Para recuperar metadatos de tu conjunto de datos de BigQuery, usa el método entries.get. Para incluir todos los aspectos, establece el parámetro view en FULL. Por ejemplo:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud en el que se configuró el análisis de datos.
  • LOCATION: Es la región en la que reside el grupo de entradas.
  • DATASET_PROJECT_ID: Es el ID del proyecto de Google Cloud en el que reside el conjunto de datos de BigQuery.
  • DATASET: el ID del conjunto de datos de BigQuery

Si la publicación en Knowledge Catalog se realiza correctamente, se adjuntan los siguientes aspectos al conjunto de datos de BigQuery:

  • Descriptions: Contiene descripciones del conjunto de datos generadas por IA.
  • Consultas: Contiene consultas en SQL relevantes relacionadas con el conjunto de datos.
  • Relaciones: se conservan como vínculos de entrada entre las tablas presentes en el conjunto de datos

Visualiza y guarda la descripción del conjunto de datos

Gemini genera una descripción en lenguaje natural del conjunto de datos, en la que se resumen los tipos de tablas que contiene y el dominio empresarial que representa. Para guardar esta descripción en los metadatos del conjunto de datos, haz clic en Guardar en los detalles.

Puedes editar la descripción antes de guardar los detalles.

Explora el gráfico de relaciones

El gráfico Relaciones proporciona una representación visual de cómo se relacionan entre sí las tablas del conjunto de datos. Muestra las 10 tablas más conectadas como nodos, con líneas que representan las relaciones entre ellas.

  • Para ver los detalles de la relación, como las columnas que unen dos tablas, coloca el cursor sobre la arista que conecta los nodos de la tabla.
  • Para reorganizar el gráfico y mejorar la visibilidad, arrastra los nodos de la tabla.

Usa la tabla de relaciones

En la tabla de relaciones, se enumeran las relaciones descubiertas en un formato tabular. Cada fila representa una relación entre dos tablas, en la que se muestran la tabla y la columna de origen, y la tabla y la columna de destino. La columna Fuente indica cómo se determinó la relación:

  • Inferencia de LLM. Son las relaciones que infiere Gemini, según los nombres y las descripciones de las tablas y columnas en todo el conjunto de datos.
  • Según el uso Relaciones extraídas de los registros de consultas, según las uniones frecuentes.
  • Definido por el esquema. Relaciones derivadas de las asignaciones de clave primaria y externas existentes en el esquema de la tabla.

Puedes filtrar las relaciones de una tabla específica o proporcionar comentarios sobre la calidad de las relaciones detectadas. Para exportar la descripción y las relaciones del conjunto de datos generado a un archivo JSON, haz clic en Exportar a JSON.

Usa las recomendaciones de consultas

Según las relaciones descubiertas, Gemini genera consultas de ejemplo. Estas son preguntas en lenguaje natural con las consultas en SQL correspondientes que unen varias tablas en el conjunto de datos.

  1. Para ver una consulta en SQL, haz clic en una pregunta.

  2. Para abrir la consulta en el editor de consultas de BigQuery, haz clic en Copiar en la consulta. Luego, puedes ejecutar la consulta o modificarla.

  3. Para hacer una pregunta adicional, haz clic en Hacer otra pregunta, lo que abrirá un lienzo de datos sin título en el que podrás chatear con Gemini para explorar tus datos.

Administra las estadísticas generadas

Después de generar estadísticas para un conjunto de datos, puedes administrarlas, actualizarlas o borrarlas en Knowledge Catalog. Para obtener más información, consulta Administra las estadísticas de los conjuntos de datos.

¿Qué sigue?