Acerca de los productos de datos

Los productos de datos en Knowledge Catalog (anteriormente, Dataplex Universal Catalog) te permiten empaquetar recursos de catálogo relacionados en una sola unidad seleccionada para resolver problemas empresariales específicos. Luego, puedes agregar contexto y contratos para ayudar a los consumidores de datos a descubrir, evaluar y solicitar acceso de autoservicio a los datos de confianza.

Funciones clave

Los productos de datos proporcionan las siguientes capacidades clave:

  • Organiza los recursos del catálogo en una unidad lógica que resuelva un problema empresarial específico y acelere el tiempo de obtención de estadísticas.
  • Distribuye recursos de datos con contexto que incluya una descripción, documentación y aspectos.
  • Establecer confianza con contratos que permitan a los productores de datos brindar garantías a los consumidores de datos.
  • Proporcionar un flujo de trabajo de autoservicio para que los consumidores de datos evalúen los productos de datos y obtengan acceso a los datos

Conceptos clave

En esta sección, se describen los conceptos y las terminologías clave relacionados con los productos de datos.

Producto de datos

Es una agrupación lógica y seleccionada de recursos de datos, empaquetada formalmente para que se pueda descubrir, sea confiable y accesible para resolver problemas empresariales específicos.

Recurso

Un puntero a un recurso de datos físico, como un conjunto de datos, una tabla o una vista de BigQuery. Un producto de datos contiene uno o más recursos.

Grupo de acceso

Los grupos de acceso simplifican la administración de permisos para tu producto de datos. Asignan roles fáciles de usar (como Reader o Analyst) a los Grupos de Google o las cuentas de servicio subyacentes. Esta abstracción permite que los propietarios de productos de datos administren el acceso a nivel conceptual y ayuda a los consumidores de productos de datos a solicitar el nivel de acceso adecuado.

  • Los propietarios de productos de datos configuran grupos de acceso y, de forma opcional, pueden asignar un rol de IAM predeterminado, que se aplica automáticamente a todos los recursos compatibles del producto de datos. Si no se asigna un rol predeterminado, los propietarios pueden asignar roles de IAM específicos a los recursos directamente.

  • Los consumidores del producto de datos usan estos grupos para solicitar acceso al producto de datos.

Propietario o productor de productos de datos

Es la persona o el equipo responsable de la creación y administración de los productos de datos. Esto incluye administrar la calidad, el acceso y la documentación.

Consumidor de productos de datos

Es la persona, el equipo o el agente de IA que consume productos de datos para generar estadísticas.

Contrato

Es un acuerdo entre el propietario del producto de datos y sus consumidores. Este acuerdo establece expectativas claras, ya que define términos específicos sobre cómo se proporcionarán y usarán los datos, como su programa de actualización y los estándares de calidad.

Ejemplo de caso de uso

Considera a un científico de datos que analiza un negocio de comercio electrónico. Su objetivo es encontrar el valor promedio del pedido (AOV) por fuente de tráfico y ver si hay una correlación entre la edad del usuario y el tamaño del pedido. Para ello, deben combinar datos de varias tablas, como order_details, user_traffic y user_demographics.

En una configuración convencional, este proceso genera fricción. Para generar estadísticas, el científico de datos primero debe descubrir las tablas correctas dentro del vasto panorama de datos de la organización, luego comunicarse con cada propietario de los datos, justificar su solicitud de acceso y esperar la aprobación.

Con los productos de datos, los propietarios de datos pueden optimizar esta experiencia empaquetando los recursos pertinentes en un solo producto llamado "Datos de la empresa de comercio electrónico". Este paquete incluye lo siguiente:

  • Recursos

    • Tablas de BigQuery order_details y user_traffic (que contienen datos históricos de pedidos y fuentes de tráfico)
    • Vista de BigQuery user_demographics (proporciona detalles del usuario sin incluir la PII)

  • Grupos de acceso

    • Grupos predefinidos de Reader y Writer para optimizar las solicitudes de acceso

  • Contrato

    • Un contrato que define la frecuencia de actualización de los datos (por ejemplo, semanalmente a las 8:00 a.m., PST)

  • Contexto

    • Documentación con consultas de ejemplo y otros detalles
    • Metadatos adicionales para representar la sensibilidad de los datos

Ahora, los científicos de datos pueden descubrir este producto de datos como una sola unidad lógica. Esto les permite generar estadísticas con confianza para responder preguntas como "¿Cuál es el valor promedio de los pedidos de cada fuente de tráfico?", lo que, en última instancia, revela qué fuentes generan los clientes más valiosos.

Flujo de usuarios del producto de datos

El ciclo de vida del producto de datos en Knowledge Catalog implica dos recorridos del usuario clave: uno para el propietario (o productor) del producto de datos que crea y administra los datos, y otro para el consumidor del producto de datos que los descubre y usa.

Recorrido del propietario de productos de datos

Este recorrido se enfoca en empaquetar, proteger y administrar los productos de datos para garantizar que sean confiables y accesibles.

  • Crear: Define el producto de datos y, luego, incluye los recursos. Esto implica las siguientes acciones:

    • Configura el nombre único, el proyecto, la región y la descripción.
    • Agrega recursos, como tablas, conjuntos de datos o vistas de BigQuery.
    • Configura grupos de acceso (por ejemplo, Analyst o Reader) y asígnalos a Grupos de Google o cuentas de servicio subyacentes para simplificar la administración de permisos.
    • De manera opcional, asigna un rol de IAM predeterminado a un grupo de acceso para otorgar permisos automáticamente en todos los recursos admitidos en el producto de datos.
    • Asigna los roles de IAM necesarios a estos grupos de acceso para los recursos específicos.
    • Agrega un contrato (un aspecto del sistema) para comunicar formalmente la cadencia, la frecuencia y el umbral de actualización de datos acordados.

    Para obtener más información, consulta Crea productos de datos.

  • Administrar: Actualiza el producto de datos y garantiza su visibilidad. Esto implica las siguientes acciones:

    • Actualiza los detalles básicos, los recursos, los permisos y los aspectos complementarios (metadatos), y la documentación de texto enriquecido.
    • Otorga acceso a los consumidores para que descubran y soliciten acceso a los productos de datos.

    Para obtener más información, consulta Administra productos de datos.

Recorrido del consumidor de productos de datos

Este recorrido se enfoca en encontrar datos confiables con rapidez y obtener los permisos necesarios para usarlos.

  • Descubrimiento: Encuentra datos relevantes y confiables para un problema empresarial específico. Esto implica las siguientes acciones:

    • Usa la búsqueda de Knowledge Catalog con palabras clave o lenguaje natural para encontrar el producto de datos empaquetado.
    • Revisa la descripción general, los activos, el contrato y otros aspectos del producto de datos para determinar si es adecuado para su uso.

    Para obtener más información, consulta Busca productos de datos.

  • Solicitar acceso: Pídele permiso al propietario del producto de datos para acceder a ellos.

    Para obtener más información, consulta Solicita acceso a productos de datos.

  • Uso: Accede a los recursos subyacentes para generar estadísticas. Esto implica la siguiente acción:

    • Una vez que se apruebe, podrás acceder al producto y sus recursos. Por ejemplo, si el recurso es una tabla de BigQuery, puedes navegar a BigQuery Studio y consultar los datos directamente.

    • Para las aplicaciones y los flujos de trabajo de desarrollo que operan fuera de Google Cloud, puedes exponer el producto de datos con una puerta de enlace de metadatos externa. Para obtener más información, consulta Usa el servidor de MCP remoto de Knowledge Catalog.

    Para obtener más información, consulta Consume productos de datos.

Recursos admitidos

Un producto de datos puede estar compuesto por uno o más recursos de datos. Se admiten los siguientes recursos de datos:

  • Conjuntos de datos de BigQuery
  • Tablas de BigQuery
  • Vistas de BigQuery
  • Rutinas de BigQuery
  • Modelos de BigQuery
  • Tablas externas de BigQuery
  • Conjuntos de datos de Gemini Enterprise Agent Platform
  • Modelos de Gemini Enterprise Agent Platform
  • Buckets de Cloud Storage
  • Catálogos de Iceberg REST Catalog
  • Espacios de nombres del catálogo de REST de Iceberg
  • Tablas del catálogo de REST de Iceberg
  • Paneles de Looker (Google Cloud Core)
  • Elementos de paneles de Looker (Google Cloud Core)
  • Aspectos de Looker (Google Cloud Core)
  • Exploraciones de Looker (Google Cloud Core)
  • Proyectos de LookML de Looker (Google Cloud Core)
  • Modelos de LookML de Looker (Google Cloud Core)
  • Vistas de LookML de Looker (Google Cloud Core)

Limitaciones

  • Ubicación: Los productos de datos y sus recursos subyacentes deben residir en la misma ubicación deGoogle Cloud .
  • Modelos de BigQuery: El acceso a los modelos de BigQuery dentro de un producto de datos se administra a través de las condiciones de IAM aplicadas a la política de IAM del conjunto de datos superior. El uso compartido de modelos de BigQuery está sujeto a las limitaciones de las condiciones de IAM.

  • Recursos de Looker (Google Cloud Core): El uso de recursos de Looker (Google Cloud Core) en productos de datos tiene las siguientes limitaciones:

    • No se admiten las cuentas de servicio: La duplicación de Grupos de Google en Looker (Google Cloud Core) solo admite identidades de usuarios humanos. Los grupos de acceso configurados en los recursos de Looker (Google Cloud Core) no pueden incluir una principal de cuenta de servicio.
    • No se admiten los roles de IAM del grupo de acceso predeterminado: Los roles de IAM predeterminados asignados a nivel del grupo de acceso no se aplican a los recursos de Looker (Google Cloud Core) y se marcan como unsupported. Debes configurar de forma explícita los permisos del grupo de acceso en cada recurso de Looker (Google Cloud Core).
    • Sincronización manual de permisos dentro de Looker (Google Cloud Core): Los nombres de los roles configurados en un recurso de Looker (Google Cloud Core) en un producto de datos son marcadores de posición informativos para los consumidores. Los productores de datos deben configurar y mantener de forma manual los niveles de acceso a las carpetas y los roles de Looker para el grupo duplicado dentro de la instancia de Looker (Google Cloud Core).

  • Cuotas y límites: Para obtener una lista completa de los límites de frecuencia de la API y las cuotas de capacidad, consulta Cuotas para las solicitudes a la API de productos de datos.

  • No se admiten los buckets zonales.

¿Qué sigue?