Administra productos de datos

Este documento está dirigido a los propietarios de productos de datos que desean actualizar, borrar y otorgar acceso a los productos de datos en Knowledge Catalog (antes Dataplex Universal Catalog).

Para obtener más información sobre la arquitectura y los conceptos clave de los productos de datos, consulta Acerca de los productos de datos.

Antes de comenzar

  1. Habilita las APIs de Dataplex y BigQuery.

    Roles necesarios para habilitar las APIs

    Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

    Habilitar las API

Roles obligatorios

Para obtener los permisos que necesitas para administrar productos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para administrar los productos de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para administrar productos de datos:

  • Edita el tipo de aspecto del sistema overview: dataplex.entryGroups.useOverviewAspect
  • Edita el tipo de aspecto del sistema refresh cadence: dataplex.entryGroups.useRefreshCadenceAspect
  • Aprobar la solicitud de acceso a un producto de datos: dataplex.dataProducts.approve

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Control de acceso para los modelos de BigQuery

El acceso a los modelos de BigQuery dentro de un producto de datos se administra a través de condiciones de IAM aplicadas a la política de IAM del conjunto de datos principal.

Si borras y, luego, vuelves a crear un modelo de BigQuery con el mismo nombre, Knowledge Catalog restablece los permisos que se habían otorgado anteriormente a los Grupos de Google o a las cuentas de servicio a través del producto de datos.

Cómo establecer permisos para que se pueda descubrir el producto de datos

Para permitir que los posibles consumidores busquen, vean y soliciten acceso a un producto de datos, los propietarios de productos de datos deben asegurarse de que el producto se pueda descubrir otorgando los roles de IAM adecuados en el recurso del producto de datos:

  • Buscar, ver y solicitar acceso a productos de datos: Consumidor de productos de datos de Dataplex (dataplex.dataProductsConsumer)

  • Ver definiciones y metadatos de productos de datos (acceso de solo lectura): Visualizador de productos de datos de Dataplex (dataplex.dataProductsViewer)

Administra las solicitudes de acceso a productos de datos

Cuando un consumidor de productos de datos solicita acceso, el propietario del producto de datos recibe una notificación por correo electrónico. Los propietarios pueden revisar, aprobar o rechazar estas solicitudes con la consola de Google Cloud o la API.

Console

Revisa las solicitudes de acceso a un producto de datos específico

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos para el que deseas revisar las solicitudes de acceso.

  3. Haz clic en la pestaña Administración de solicitudes de acceso.

  4. Selecciona el solicitante cuya solicitud deseas revisar.

  5. Haz clic en Acciones y, luego, en Aprobar o Rechazar.

  6. Haz clic en Guardar.

Revisa las solicitudes de acceso en varios productos de datos

  1. En la consola de Google Cloud , ve a la página Flujos de trabajo de administración de Knowledge Catalog.

    Ir a Flujos de trabajo de administración

  2. Haz clic en la pestaña Aprobaciones pendientes.

  3. Opcional: Filtra la lista por el nombre del producto de datos específico para aislar sus solicitudes.

  4. Selecciona la solicitud de destino y haz clic en Aprobar o Rechazar.

  5. Haz clic en Guardar.

Comportamiento posterior a la aprobación

  • Solicitudes de usuarios: Los consumidores que solicitaron acceso para su identidad de usuario se agregan automáticamente como miembros al Grupo de Google asignado al grupo de acceso.

  • Solicitudes de cuentas de servicio: A los consumidores que solicitaron acceso para una cuenta de servicio se les otorgan permisos para actuar en nombre de la cuenta de servicio del productor de datos asignada al grupo de acceso.

Una vez procesada, el estado de la solicitud se actualiza automáticamente y la entrada se mueve a la pestaña Registro de aprobaciones.

REST

Enumera todas las solicitudes de acceso pendientes

Para enumerar todas las solicitudes de acceso pendientes de revisión en un proyecto y una ubicación específicos, envía una solicitud GET con el método de colección personalizado :listReviewable:

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests:listReviewable"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .

  • LOCATION: Es la región en la que existe el producto de datos (por ejemplo, us-central1).

Cómo aprobar una solicitud de acceso

Los propietarios de productos de datos con el permiso dataplex.dataProducts.approve pueden aprobar una solicitud pendiente enviando una solicitud POST al método personalizado :approve:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:approve"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .

  • LOCATION: Es la región en la que existe el producto de datos (por ejemplo, us-central1).

  • CHANGE_REQUEST_ID: ID único de la solicitud de acceso que deseas aprobar

A diferencia de las aprobaciones basadas en la consola, aprobar una solicitud de cambio con la API de REST no modifica automáticamente las membresías de los Grupos de Google ni configura la suplantación de tokens de cuentas de servicio. Debes completar estos pasos de administración del acceso a sistemas posteriores de forma manual:

  • Para las solicitudes de acceso a la identidad del usuario, agrega el consumidor del producto de datos al Grupo de Google asignado. Para obtener más información, consulta Cómo agregar una membresía a un Grupo de Google.

  • Para las solicitudes de acceso a la cuenta de servicio, otorga el rol de IAM de Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) a la cuenta de servicio del consumidor del producto de datos en el recurso ejecutando el siguiente comando:

    gcloud iam service-accounts add-iam-policy-binding PRODUCER_SERVICE_ACCOUNT \
  --member="serviceAccount:CONSUMER_SERVICE_ACCOUNT" \
  --role="roles/iam.serviceAccountTokenCreator"

    Reemplaza lo siguiente:

    • PRODUCER_SERVICE_ACCOUNT: La dirección de correo electrónico completamente calificada de la cuenta de servicio asignada al grupo de acceso del producto de datos

    • CONSUMER_SERVICE_ACCOUNT: Es la dirección de correo electrónico completamente calificada de la cuenta de servicio que pertenece al consumidor que solicita acceso.

Cómo rechazar una solicitud de acceso

Los propietarios de productos de datos con el permiso dataplex.dataProducts.approve pueden rechazar una solicitud pendiente enviando una solicitud POST al método personalizado :reject junto con una carga útil de justificación:

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
  "comment": "REJECTION_REASON"
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/changeRequests/CHANGE_REQUEST_ID:reject"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .

  • LOCATION: Es la región en la que existe el producto de datos (por ejemplo, us-central1).

  • CHANGE_REQUEST_ID: Es el ID único de la solicitud de acceso que deseas rechazar.

Actualiza un producto de datos

Puedes actualizar los detalles básicos (por ejemplo, el nombre, la descripción y los detalles del propietario del producto de datos), los recursos, los grupos de acceso, los permisos, el contrato, los aspectos y la documentación adicional de un producto de datos existente.

Actualiza los detalles básicos de un producto de datos

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos que deseas actualizar.

  3. Haz clic en Editar.

  4. Actualiza el Nombre del producto de datos, el Ícono del producto de datos, la Descripción, la Dirección de correo electrónico de los propietarios de productos de datos, la Dirección de correo electrónico de los responsables de aprobación de productos de datos y las Etiquetas según sea necesario.

  5. Haz clic en Guardar.

REST

Para actualizar los detalles básicos de un producto de datos, usa el método dataProducts.patch.

Por ejemplo, para actualizar la descripción de un producto de datos, envía la siguiente solicitud PATCH:

curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"description": "NEW_DESCRIPTION"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="description"

Reemplaza lo siguiente:

  • NEW_DESCRIPTION: Una descripción nueva del producto de datos
  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
  • LOCATION: Es la región en la que existe el producto de datos.
  • DATA_PRODUCT_ID: el ID de tu producto de datos

Actualiza los recursos de un producto de datos

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos para el que deseas actualizar los recursos.

  3. Haz clic en la pestaña Activos.

  4. Para agregar un recurso nuevo, sigue estos pasos:

    1. Haga clic en +Add.

    2. Busca y selecciona los recursos que deseas agregar a tu producto de datos. Los recursos que selecciones deben residir en la misma región que el producto de datos.

      Si tienes los permisos necesarios, puedes ver los metadatos de los activos haciendo clic en ellos.

    3. Para definir mejor los resultados de la búsqueda, usa Filtros.

    4. Después de seleccionar los recursos, haz clic en Agregar.

  5. Para quitar un recurso del producto de datos, sigue estos pasos:

    1. En el recurso que quieras quitar, haz clic en > Quitar.

    2. Para confirmar la acción, haz clic en Quitar.

REST

Para agregar un nuevo activo de datos al producto de datos, usa el método dataAssets.create. Para ver un ejemplo de código, consulta Opcional: Agrega recursos.

Para borrar un activo de datos del producto de datos, usa el método dataAssets.delete. Por ejemplo, envía la siguiente solicitud DELETE:

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID"

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
  • LOCATION: La región en la que deseas crear el producto de datos
  • DATA_PRODUCT_ID: Es un ID único para tu producto de datos.
  • DATA_ASSET_ID: Es el ID del recurso de datos que deseas quitar del producto de datos.

Actualiza los grupos de acceso y los permisos de los recursos

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos para el que deseas actualizar los grupos de acceso y los permisos.

  3. Haz clic en la pestaña Grupos de acceso y permisos.

  4. Para actualizar un grupo de acceso, sigue estos pasos:

    1. Haz clic en Editar.

    2. Actualiza el nombre, la descripción y el identificador del grupo de acceso según sea necesario.

    3. Para agregar un grupo de acceso nuevo, haz clic en Agregar grupo de acceso y sigue estos pasos:

      1. En el campo Nombre del grupo de acceso, ingresa un nombre para el nuevo grupo de acceso. Por ejemplo, Analyst

      2. En el campo Descripción del grupo de acceso, ingresa una descripción para el grupo de acceso.

      3. En el campo Identificador del grupo de acceso, ingresa la dirección de correo electrónico de un Grupo de Google o una cuenta de servicio, o ambos, que quieras asignar a este grupo de acceso:

        • Grupo de Google: Los consumidores del producto de datos que solicitan acceso para sí mismos se agregan como miembros al Grupo de Google asignado.

        • Cuenta de servicio: A los consumidores de productos de datos que solicitan acceso para sus cuentas de servicio se les otorga el rol de IAM Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) para suplantar la identidad de la cuenta de servicio del productor de datos asignada al grupo de acceso.

    4. Haz clic en Agregar.

  5. Para quitar un grupo de acceso, sigue estos pasos:

    1. En el grupo de acceso que deseas quitar, haz clic en > Quitar.

    2. Para confirmar la acción, haz clic en Quitar.

  6. Si no hay grupos de acceso configurados para el producto de datos seleccionado, puedes agregar uno nuevo haciendo clic en Agregar grupo de acceso.

  7. Para actualizar los permisos de los recursos, sigue estos pasos:

    1. En el activo para el que deseas actualizar los permisos, haz clic en > Permisos.

    2. Actualiza los grupos de acceso y los roles de IAM necesarios.

    3. Haz clic en Configurar.

REST

Para actualizar los grupos de acceso asociados con un producto de datos, usa el método dataProducts.patch. Para ver un ejemplo de código, consulta Configura grupos de acceso.

Para actualizar los permisos del activo, usa el método dataAssets.patch. Para ver un ejemplo de código, consulta Cómo configurar permisos de activos.

Actualiza el contrato del producto de datos

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos para el que deseas actualizar el contrato.

  3. Haz clic en la pestaña Contrato.

  4. Para actualizar el contrato existente, sigue estos pasos:

    1. Haz clic en Editar.

    2. Actualiza los campos necesarios.

    3. Haz clic en Guardar.

  5. Si no hay ningún contrato adjunto al producto de datos seleccionado, puedes agregar uno haciendo clic en Agregar contrato.

REST

Para actualizar un contrato, usa el método entries.patch. Para ver un ejemplo de código, consulta Cómo agregar un contrato.

Actualiza aspectos de un producto de datos

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos para el que deseas actualizar los aspectos.

  3. Haz clic en la pestaña Aspectos.

  4. Para actualizar un aspecto, sigue estos pasos:

    1. Haz clic en el aspecto que deseas actualizar.

    2. Haz clic en Editar.

    3. Actualiza el Tipo de aspecto, el País y la Región según sea necesario.

    4. Haz clic en Guardar.

  5. Para agregar un aspecto nuevo al producto de datos, sigue estos pasos:

    1. Haz clic en + Agregar aspecto.

    2. En el campo Selecciona el tipo de aspecto, busca y selecciona un tipo de aspecto de la lista. Por ejemplo, Geo context

    3. En el campo País, selecciona el país al que pertenece el activo.

    4. En el campo Región, selecciona la región comercial a la que pertenece el activo.

    5. Haz clic en Guardar.

  6. Para borrar un aspecto, sigue estos pasos:

    1. Haz clic en el aspecto que deseas borrar.

    2. Haz clic en Borrar.

    3. Para confirmar la acción, haz clic en Confirmar.

REST

Para actualizar cualquier aspecto de la entrada del producto de datos, usa el método entries.patch.

Actualiza la documentación del producto de datos

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos para el que deseas actualizar la documentación.

  3. Haz clic en la pestaña Descripción general.

  4. Haz clic en Editar junto a Documentación.

  5. Actualiza la guía del usuario, las consultas de ejemplo y otros documentos según sea necesario.

  6. Haz clic en Guardar.

REST

La documentación forma parte del aspecto overview. Para actualizar la documentación del producto de datos, usa el método entries.patch.

Borra un producto de datos

Para borrar un producto de datos, primero debes quitar todos los recursos del producto de datos.

Console

  1. En la consola de Google Cloud , ve a la página Productos de datos de Knowledge Catalog.

    Ir a Productos de datos

  2. Haz clic en el producto de datos que quieras borrar.

  3. Haz clic en la pestaña Activos.

  4. En cada recurso que se muestre en la lista, haz clic en > Quitar. Haz clic en Quitar para confirmar la acción.

  5. Después de quitar todos los recursos, haz clic en Borrar para borrar el producto de datos.

  6. En el diálogo de confirmación, ingresa delete y haz clic en Borrar.

REST

Para borrar un producto de datos, usa el método dataProducts.delete.

Por ejemplo, envía la siguiente solicitud DELETE:

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/ LOCATION/dataProducts/DATA_PRODUCT_ID

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
  • LOCATION: Es la región en la que existe el producto de datos.
  • DATA_PRODUCT_ID: Es el ID del producto de datos que deseas borrar.

Retención de datos y eliminación de proyectos

Cuando borras un proyecto Google Cloud que contiene productos de datos, los recursos asociados siguen el ciclo de vida de eliminación Google Cloud estándar, también conocido como borrado. Para obtener una descripción general detallada de los procesos técnicos y los cronogramas que rigen este comportamiento, consulta Eliminación de datos en Google Cloud.

Ciclo de vida de los recursos durante la eliminación del proyecto

El ciclo de vida de tus productos y recursos de datos se administra en dos etapas principales después de una solicitud de eliminación del proyecto:

  • Eliminación no definitiva (estado Hidden): Inmediatamente después de iniciar la eliminación del proyecto, todos los productos y recursos de datos del proyecto se marcan como Hidden. Durante este período de gracia de 30 días, se conservan los metadatos, pero ya no se puede acceder a ellos a través de las APIs de Dataplex ni de la consola de Google Cloud . Puedes restablecer el proyecto y sus recursos en cualquier momento durante este período.

  • Eliminación definitiva (estado Purged): Después de que vence el período de gracia de 30 días, el proyecto y todos sus metadatos de Knowledge Catalog se borran de forma permanente. Knowledge Catalog utiliza una política interna de eliminación de filas para borrar de forma verificable estos registros del almacenamiento.

Comportamiento de las políticas de IAM en recursos entre proyectos

Existe una distinción operativa fundamental entre los metadatos de Knowledge Catalog y las políticas de IAM que se aplican a tus datos físicos subyacentes (como los conjuntos de datos de BigQuery o los buckets de Cloud Storage).

Si bien los metadatos de Knowledge Catalog dentro del proyecto se borran automáticamente, las vinculaciones de IAM aplicadas a los recursos de datos ubicados en un proyecto diferente (proyecto B) no se revocan automáticamente cuando se borra el proyecto propietario del producto de datos (proyecto A).

  • Vinculaciones huérfanas: Debido a que los recursos físicos del proyecto de destino permanecen activos, el sistema de IAM no quita automáticamente los identificadores principales asociados con el proyecto borrado.

  • Evita los permisos inactivos: Para garantizar la baja completa del acceso a los datos, borra manualmente los activos de datos de tus productos de datos o quita explícitamente las vinculaciones de IAM asociadas de tus recursos entre proyectos antes de iniciar la eliminación de un proyecto.

Restablecimiento del proyecto (recuperación)

Si restableces un proyecto borrado dentro del período de gracia de 30 días, Knowledge Catalog intentará restablecer tus recursos y su visibilidad en el catálogo. En el caso de los recursos entre proyectos, como las vinculaciones de IAM subyacentes no se revocaron automáticamente durante el proceso de eliminación, el acceso a los datos suele reanudarse de inmediato para el proyecto restablecido.

¿Qué sigue?