Usa estadísticas de datos para datos estructurados

Las estadísticas de datos potenciadas por IA te permiten generar automáticamente descripciones, gráficos de relaciones y consultas en SQL a partir de los metadatos de tus tablas y conjuntos de datos estructurados. Luego, puedes ver y administrar estas estadísticas en Knowledge Catalog (antes Dataplex Universal Catalog) para acelerar la exploración de datos.

Antes de comenzar

Antes de usar las estadísticas de datos, asegúrate de haber completado los siguientes requisitos previos:

Roles obligatorios

Para obtener los permisos que necesitas para usar las estadísticas de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar las estadísticas de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar las estadísticas de datos:

  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Habilita las APIs

Para usar las estadísticas de datos, habilita las siguientes APIs en tu proyecto:

  • API de Dataplex
  • API de BigQuery
  • API de Gemini para Google Cloud

Roles necesarios para habilitar las APIs

Para habilitar las APIs, necesitas el permiso serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.

Habilitar las API

Para obtener más información para habilitar la API de Gemini para Google Cloud, consulta Habilita la API de Gemini para Google Cloud en un proyecto de Google Cloud .

Preparar los datos

En el caso de las tablas de Lakehouse, asegúrate de que tus datos estén en Cloud Storage y de que hayas creado una tabla de Lakehouse.

Para las tablas del catálogo de REST de Apache Iceberg, asegúrate de que estén registradas en el catálogo de entornos de ejecución de Lakehouse.

Genera estadísticas en BigQuery

En BigQuery Studio, puedes usar Gemini en BigQuery para generar estadísticas de datos para los conjuntos de datos, las tablas, las vistas, Google Cloud las tablas de BigLake, las tablas externas de BigQuery y los espacios de nombres de Apache Iceberg de BigQuery. Solo puedes generar estadísticas para estos recursos en BigQuery Studio.

Primero, debes configurar Gemini en BigQuery y, luego, generar estadísticas. Después de generar las estadísticas, puedes verlas y modificarlas en Knowledge Catalog.

Para obtener más información sobre cómo generar estadísticas en BigQuery, consulta los siguientes documentos:

Genera estadísticas para tablas y espacios de nombres de Apache Iceberg

En Knowledge Catalog, puedes generar estadísticas de datos para las tablas y los espacios de nombres de Apache Iceberg, Apache Hive y SAP BDC administrados por el Lakehouse sin fronteras de Google Cloud.

Para generar estadísticas de estos recursos, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. En Filtros, filtra por tu tipo de recurso:

    • Para las tablas de Apache Iceberg: en la sección Sistemas, selecciona Lakehouse (BigLake) y, en la sección Alias de tipo, selecciona Tabla.
    • Para los espacios de nombres de Apache Iceberg: En la sección Sistemas, selecciona Lakehouse (BigLake) y, en la sección Alias de tipo, selecciona Espacio de nombres.

  3. En los resultados de la búsqueda, haz clic en el nombre de la tabla o el espacio de nombres de Apache Iceberg para abrir su página de detalles de la entrada.

  4. Haz clic en la pestaña Estadísticas.

    Si la pestaña está vacía, significa que aún no se generaron estadísticas para esta entrada.

  5. Para generar estadísticas, haz clic en Generar.

  6. Selecciona el tipo de estadística:

    • BigQuery SQL: Genera consultas de GoogleSQL estándar. Se admite para tablas y espacios de nombres.
    • Spark SQL: Genera consultas de Spark SQL. Solo se admite para las tablas del catálogo de REST de BigLake Iceberg.

  7. Selecciona la condición de publicación:

    • Para generar y adjuntar de forma permanente estadísticas al recurso como aspectos de metadatos, activa el botón de activación Condición de publicación. Esto hace que las estadísticas sean indexables, visibles y se puedan buscar para otros usuarios de tu organización.

    • Para generar y ver estadísticas de forma temporal durante tu sesión actual, desactiva el botón de activación Publicar condición.

    Para obtener más información sobre las diferencias entre los modos Generar y publicar y Generar sin publicar, consulta Modos para generar estadísticas de datos.

  8. Opcional: En el campo Instrucciones personalizadas, proporciona orientación y contexto del dominio para personalizar la forma en que Gemini genera estadísticas.

    Por ejemplo, puedes aplicar convenciones de nombres, especificar definiciones empresariales o describir claves de unión:

    LANGUAGE: Always write column descriptions in uppercase.

DOMAIN_CONTEXT:
- This dataset supports the Order-to-Cash process for the EMEA commercial
  sales team.
- Primary consumers are finance analysts and regional sales managers, not
  engineers.

RELATIONSHIPS:
- returns.order_item_id → order_items.id (one-to-one; use LEFT JOIN to
  preserve unreturned items)

  9. Si tu tabla o espacio de nombres se encuentra en una multirregión, selecciona la región de procesamiento específica de la lista Región en la que se ejecutará el análisis de datos.

  10. Haz clic en Generar.

    La generación de estadísticas tarda unos minutos en completarse.

  11. Haz clic en la pestaña Estadísticas y revisa los metadatos generados:

    • Para las tablas: Revisa las descripciones y las consultas de ejemplo generadas por IA.
    • Para los espacios de nombres: Revisa la descripción del conjunto de datos, los gráficos de relaciones interactivos y las recomendaciones de consultas.

    Para ver la consulta en SQL que responde una pregunta, haz clic en ella.

Revisa las estadísticas generadas para un recurso

Para ver las estadísticas generadas de un recurso, completa los siguientes pasos:

  1. En la consola de Google Cloud , ve a la página Búsqueda de Knowledge Catalog.

    Ir a Búsqueda

  2. Busca el recurso del que deseas ver las estadísticas.

  3. En los resultados de la búsqueda, haz clic en el recurso para abrir su página de detalles de la entrada.

  4. Revisa las Descripciones y las Consultas generadas para el recurso seleccionado.

  5. Para ver los gráficos de relaciones y comprender cómo se conectan los datos, haz clic en la pestaña Relaciones (versión preliminar). Puedes ver las relaciones a nivel de la tabla o a nivel del conjunto de datos y del espacio de nombres si generaste estadísticas del conjunto de datos.

Administra las estadísticas de las tablas

Después de generar y publicar las estadísticas de la tabla, puedes revisarlas y administrarlas como aspectos de metadatos en Knowledge Catalog. Las estadísticas a nivel de tabla incluyen descripciones de tablas y columnas, y consultas de muestra.

Actualiza las descripciones generadas para una tabla

Puedes actualizar las descripciones de tablas y columnas solo con la API de Dataplex. Para ello, llama al método entries.patch.

Actualiza las consultas generadas para una tabla

Puedes actualizar las consultas generadas para una tabla con la consola de Google Cloud y la API de Dataplex.

Console

  1. Busca la tabla para la que deseas actualizar las consultas generadas.

  2. En los resultados de la búsqueda, haz clic en la tabla para abrir su página de detalles de la entrada.

  3. En la sección Consultas, haz clic en Editar.

  4. Actualiza la descripción de la consulta según sea necesario.

  5. Administra la propiedad: De forma predeterminada, la Fuente se establece en Agente. Si modificas una consulta y cambias la fuente a Usuario, las ejecuciones posteriores de generación de estadísticas no anularán tus cambios. Si la Fuente sigue siendo Agente, es posible que la consulta se reemplace durante una regeneración.

  6. Administra las anulaciones: Para evitar que se anulen todas las consultas durante una nueva ejecución, puedes establecer la opción Administrado por el usuario en Verdadero. Esto se aplica a todo el conjunto de consultas para ese aspecto de metadatos, lo que garantiza que no se pierdan los cambios manuales.

REST

Para actualizar las consultas de una tabla, usa el método entries.patch.

Actualiza las relaciones generadas para una tabla

Puedes actualizar las relaciones solo con la API de Dataplex. Para ello, llama al método entries.patch.

Administrar las estadísticas del conjunto de datos

Las estadísticas a nivel del conjunto de datos se enfocan en descripciones de alto nivel y consultas en todo el conjunto de datos.

Actualiza las descripciones generadas para un conjunto de datos

Puedes actualizar las descripciones de los conjuntos de datos solo con la API de Dataplex. Para ello, llama al método entries.patch.

Actualiza las consultas generadas para un conjunto de datos

Puedes actualizar las consultas generadas para un conjunto de datos con la consola de Google Cloud y la API de Dataplex.

Console

  1. Busca el conjunto de datos para el que deseas actualizar las consultas generadas.

  2. En los resultados de la búsqueda, haz clic en el conjunto de datos para abrir su página de detalles de entrada.

  3. En la sección Consultas, haz clic en Editar.

  4. Actualiza la descripción según sea necesario.

  5. Administra la propiedad: De forma predeterminada, la Fuente se establece en Agente. Si modificas una consulta y cambias la fuente a Usuario, las ejecuciones posteriores de generación de estadísticas no anularán tus cambios. Si la Fuente sigue siendo Agente, es posible que la consulta se reemplace durante una regeneración.

  6. Administra las anulaciones: Para evitar que se anulen todas las consultas durante una nueva ejecución, puedes establecer la opción Administrado por el usuario en Verdadero. Esto se aplica a todo el conjunto de consultas para ese aspecto de metadatos, lo que garantiza que no se pierdan los cambios manuales.

REST

Para actualizar las consultas de un conjunto de datos, usa el método entries.patch.

Actualiza los vínculos de entrada generados para un conjunto de datos

Las relaciones que se descubren con las estadísticas de datos se almacenan como vínculos de entrada entre las entradas de la tabla. Estos vínculos incluyen un aspecto schema-join que describe cómo se conectan las tablas.

Para editar estas relaciones o proporcionar anulaciones manuales, debes usar la API de Dataplex.

Comportamiento de la actualización de los vínculos de entrada

Cuando administras relaciones con la API, es importante comprender cómo interactúan las actualizaciones manuales de la API con los análisis en segundo plano automatizados para que no reemplaces datos por accidente.

  • Actualizaciones manuales (comportamiento a nivel de la API): La API de UpdateEntryLink usa el método PATCH para realizar el reemplazo a nivel de aspecto:

    • Reemplazo completo del aspecto: Si incluyes el aspecto schema-join en tu solicitud de actualización, Knowledge Catalog reemplaza todo el aspecto existente por el nuevo que proporciones.

    • No hay combinación automática: La API no combina automáticamente las entradas nuevas en la lista interna de joins. Si envías una carga útil que contiene solo una unión, se quitan todas las uniones existentes dentro de ese aspecto.

  • Análisis automatizados (comportamiento a nivel del sistema): Los análisis automatizados, como las estadísticas de datos, realizan una lógica de combinación especializada antes de llamar a la API para garantizar que se conserven los metadatos de alta certeza según su fuente:

    • Prioridad de la fuente: Si varias fuentes identifican la misma relación, Knowledge Catalog las prioriza en el siguiente orden:

      1. USER (ediciones manuales)
      2. TABLE_CONSTRAINTS
      3. QUERY_HISTORY
      4. AGENT (sugerencias de LLM)

    • Actualización del LLM: Las relaciones derivadas de la fuente AGENT son dinámicas. Si un análisis posterior ya no recomienda la relación, se quita.

Actualiza los vínculos de entrada

Para ver y modificar los vínculos de entrada, completa los siguientes pasos:

  1. Identifica el vínculo de entrada.

    Antes de actualizar una relación, busca su nombre de recurso enumerando todos los vínculos de entrada que involucren una entrada de tabla específica:

    gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""

    Reemplaza lo siguiente:

    • PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
    • LOCATION: Es la región en la que se activa el análisis de datos.
    • TABLE_ENTRY_NAME: el nombre completo del recurso de la entrada de la tabla de BigQuery (por ejemplo, bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

  2. Actualiza el vínculo de entrada.

    Para modificar el aspecto schema-join del vínculo de entrada de destino, usa el método PATCH:

    gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
-d '{
  "aspects": {
    "dataplex-types.global.schema-join": {
      "data": {
        "joins": [
          {
            "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
            "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
            "type": "JOIN",
            "inferenceSource": "USER"
          }
        ],
        "userManaged": false
      }
    }
  }
}'

    Reemplaza lo siguiente:

    • ENTRYLINK_ID: Es el ID del vínculo de entrada recuperado en el paso de identificación anterior.
    • DATASET_ID: el ID de tu conjunto de datos de BigQuery
    • SOURCE_TABLE: el nombre de la tabla de origen
    • SOURCE_FIELD: Es el nombre de la columna que se usa para la unión en la tabla de origen.
    • TARGET_TABLE: el nombre de la tabla de destino
    • TARGET_FIELD: el nombre de la columna que se usa para la unión en la tabla de destino

¿Qué sigue?