Este documento está dirigido a los propietarios de productos de datos que desean crear y configurar productos de datos en Dataplex Universal Catalog.
Para obtener más información sobre la arquitectura y los conceptos clave de los productos de datos, consulta Acerca de los productos de datos.
Antes de comenzar
-
Habilita las APIs de Dataplex y BigQuery.
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (
roles/serviceusage.serviceUsageAdmin), que contiene el permisoserviceusage.services.enable. Obtén más información para otorgar roles. Asegúrate de que tus recursos de datos (por ejemplo, conjuntos de datos, tablas y vistas de BigQuery) se hayan creado y completado.
Para obtener más información sobre cómo crear recursos de datos, consulta los siguientes documentos:
Identifica o crea los Grupos de Google que deseas configurar en tu producto de datos. Cada producto de datos debe tener un grupo de Google único.
Roles obligatorios
En esta sección, se describen los roles de IAM mínimos requeridos para dos grupos de usuarios principales: los propietarios de productos de datos (aquellos que crean y administran productos de datos) y los consumidores de productos de datos (aquellos que buscan y usan productos de datos).
Roles de un propietario de productos de datos
Para obtener los permisos que necesitas para crear y administrar productos de datos, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:
-
Permisos completos para crear, actualizar, borrar y administrar permisos para productos de datos:
Administrador de productos de datos de Dataplex (
roles/dataplex.dataProductsAdmin) -
Actualiza y administra los productos de datos existentes:
Editor de productos de datos de Dataplex (
roles/dataplex.dataProductsEditor) -
Agrega aspectos como
schema,overviewycontacts: Propietario de entradas y vínculo de entrada de Dataplex (roles/dataplex.entryOwner) -
Busca y agrega recursos:
Visualizador del catálogo de Dataplex (
roles/dataplex.catalogViewer) -
Edita los tipos de aspectos del sistema, como la documentación y el aspecto del contrato de la cadencia de actualización:
Editor de Dataplex Catalog (
roles/dataplex.catalogEditor)
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Estos roles predefinidos contienen los permisos necesarios para crear y administrar productos de datos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para crear y administrar productos de datos:
-
Edita el tipo de aspecto del sistema
overview:dataplex.entryGroups.useOverviewAspect -
Edita el tipo de aspecto del sistema
refresh cadence:dataplex.entryGroups.useRefreshCadenceAspect
También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.
Roles de un consumidor de productos de datos
Para que los consumidores de productos de datos puedan buscar, ver y solicitar acceso a los productos de datos, como propietario de un producto de datos, debes asegurarte de que el producto de datos sea detectable. Para ello, otorga a los consumidores del producto de datos los siguientes roles de IAM en el producto de datos:
- Busca productos de datos y accede a ellos en la búsqueda de Dataplex Universal Catalog:
Consumidor de productos de datos de Dataplex (
dataplex.dataProductsConsumer) - Acceso de solo lectura para ver las definiciones y los metadatos de los productos de datos: Visualizador de productos de datos de Dataplex (
dataplex.dataProductsViewer) - Solicita acceso a los productos de datos: Consumidor de productos de datos de Dataplex (
dataplex.dataProductsConsumer)
Crea y configura un producto de datos
La creación de un producto de datos implica las siguientes tareas de alto nivel:
Crea un producto de datos
Este paso inicial obligatorio requiere definir detalles básicos, como un nombre único para el producto de datos, una descripción, la región en la que se crea el producto de datos y los detalles del propietario.
Opcional: Agrega recursos
En esta fase, seleccionas los recursos que se incluirán en el producto de datos. Una restricción clave es que los recursos deben residir en la misma región que el producto de datos. Puedes agregar un máximo de 10 recursos a un producto de datos.
Para obtener la lista de recursos admitidos, consulta Recursos admitidos.
Opcional: Configura los grupos de acceso y los permisos de los recursos
En esta fase opcional, simplificarás el control de acceso creando grupos de acceso. Estos grupos de acceso actúan como alias fáciles de usar (por ejemplo,
AnalystoReader) para los grupos de Google subyacentes. Luego, asigna permisos seleccionando un rol de IAM específico y asignándolo a un grupo de acceso para un activo específico.Opcional: Agrega detalles adicionales, como contratos, aspectos y documentación
Esta fase opcional mejora la administración y los metadatos. Puedes agregar un contrato, que es un tipo de aspecto propio, para comunicar formalmente la cadencia de actualización de datos acordada y especificar parámetros como la frecuencia de actualización, la hora de actualización y el umbral. También puedes incluir aspectos para proporcionar metadatos adicionales para tu producto de datos. Además, agregarás documentación de texto enriquecido, como guías del usuario y consultas de ejemplo.
Para crear y configurar un producto de datos, completa los pasos que se indican en las siguientes secciones:
Crea un producto de datos
Console
En la consola de Google Cloud , ve a la página Productos de datos de Dataplex Universal Catalog.
Haz clic en Crear.
En el panel Crear productos de datos, ingresa los siguientes detalles:
- Nombre del producto de datos: Ingresa un nombre único para tu producto de datos.
- ID del producto de datos: Es un identificador único generado automáticamente. Puedes editar este campo.
- ID del proyecto: Es un identificador único del proyecto en el que se crea el producto de datos. Explora y selecciona el proyecto.
- Región: Selecciona la región o la región múltiple en la que se crea el producto de datos.
- Ícono: Busca y selecciona un ícono para identificar visualmente el producto de datos. Esto es opcional.
- Descripción: Ingresa una breve descripción del producto de datos.
- Contactos: Ingresa el ID de correo electrónico del propietario del producto de datos.
- Etiquetas: Agrega etiquetas de clave-valor para organizar tus recursos. Esto es opcional.
Haz clic en Crear producto de datos.
REST
Para crear un producto de datos, usa el método dataProducts.create.
Por ejemplo, envía la siguiente solicitud POST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"display_name": "DISPLAY_NAME", "owner_emails": ["EMAIL_IDs"]}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts?data_product_id=DATA_PRODUCT_ID
Reemplaza lo siguiente:
- DISPLAY_NAME: Un nombre fácil de usar para tu producto de datos
- EMAIL_IDs: IDs de correo electrónico separados por comas de los propietarios del producto de datos
- PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
- LOCATION: La región en la que deseas crear el producto de datos
- DATA_PRODUCT_ID: Es un ID único para tu producto de datos.
Terraform
Para crear un producto de datos, usa el recurso google_dataplex_data_product.
resource "google_dataplex_data_product" "example_product" {
project = "PROJECT_ID"
location = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
display_name = "DISPLAY_NAME"
description = "DESCRIPTION"
owner_emails = ["EMAIL_IDs"]
provider = google-beta
}
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
- LOCATION: Es la región en la que deseas crear el producto de datos.
- DATA_PRODUCT_ID: Es un ID único para tu producto de datos.
- DISPLAY_NAME: Un nombre fácil de usar para tu producto de datos
- DESCRIPTION: Una breve descripción del producto de datos
- EMAIL_IDs: IDs de correo electrónico separados por comas de los propietarios de los productos de datos, por ejemplo,
["user1@example.com", "user2@example.com"]
Opcional: Agrega recursos
Console
En el panel Agregar recursos, haz clic en + Agregar.
Busca y selecciona los recursos que deseas agregar a tu producto de datos. Los recursos que selecciones deben residir en la misma región que el producto de datos.
Si tienes los permisos necesarios, puedes ver los metadatos de los activos haciendo clic en ellos.
Para definir mejor los resultados de la búsqueda, usa Filtros.
Después de seleccionar los recursos, haz clic en Agregar.
Haz clic en Continuar.
REST
Para agregar un activo de datos a tu producto de datos, usa el método dataAssets.create.
Por ejemplo, envía la siguiente solicitud POST:
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"resource": "RESOURCE_NAME"}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets?data_asset_id=DATA_ASSET_ID
Reemplaza lo siguiente:
- RESOURCE_NAME: El nombre completo del recurso del recurso de datos (por ejemplo,
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID) - PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
- LOCATION: Es la región en la que existe el producto de datos.
- DATA_PRODUCT_ID: ID del producto de datos
- DATA_ASSET_ID: Es un ID único para este recurso de datos dentro del producto de datos.
Terraform
Para agregar un activo de datos a tu producto de datos, usa el recurso google_dataplex_data_product_data_asset.
resource "google_dataplex_data_product_data_asset" "example_asset" {
project = "PROJECT_ID"
location = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
data_asset_id = "DATA_ASSET_ID"
resource = "RESOURCE_NAME"
provider = google-beta
}
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
- LOCATION: Es la región en la que existe el producto de datos.
- DATA_PRODUCT_ID: ID del producto de datos
- DATA_ASSET_ID: Es un ID único para este recurso de datos dentro del producto de datos.
- RESOURCE_NAME: El nombre completo del recurso del recurso de datos (por ejemplo,
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)
Opcional: Configura los grupos de acceso y los permisos de los recursos
En el panel Configura los grupos de acceso y los permisos de los recursos, puedes crear grupos de acceso y asignar permisos a los recursos.
Configura grupos de acceso
Console
Haz clic en Agregar grupo de acceso.
En el campo Nombre del grupo de acceso, ingresa un nombre para el grupo de acceso. Por ejemplo,
AnalystEn el campo Descripción del grupo de acceso, ingresa una descripción para el grupo de acceso.
En el campo Identificador del grupo de acceso, ingresa la dirección de correo electrónico de un Grupo de Google que quieras asignar a este grupo de acceso. Los consumidores del producto de datos que soliciten acceso a este grupo de acceso se pueden agregar como miembros al grupo de Google asignado.
Si no tienes un grupo de Google, puedes crear uno. Para obtener más información, consulta Crea y administra grupos de Google en la consola de Google Cloud .
Haz clic en Agregar.
REST
Para configurar un grupo de acceso para el producto de datos, usa el método dataProducts.patch.
Por ejemplo, envía la siguiente solicitud PATCH:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_groups": ACCESS_GROUPS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID?update_mask="access_groups"
Reemplaza lo siguiente:
ACCESS_GROUPS_MAP: Es un objeto JSON que representa un mapa en el que cada clave es un ID de grupo de acceso y el valor es un objeto AccessGroup. Por ejemplo:
{ "analyst": { "id": "analyst","display_name": "Analyst access group","description": "Access group for analysts","principal": {"google_group": "analyst-team@example.com"} } }PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
LOCATION: Es la región en la que existe el producto de datos.
DATA_PRODUCT_ID: el ID de tu producto de datos
Terraform
Para definir grupos de acceso para tu producto de datos, usa el bloque anidado access_groups dentro del recurso google_dataplex_data_product.
Por ejemplo, usa la siguiente configuración:
resource "google_dataplex_data_product" "example_data_product" {
project = "PROJECT_ID"
location = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
display_name = "DISPLAY_NAME"
owner_emails = ["EMAIL_IDs"]
access_groups {
id = "analyst" # Internal identifier for configuration
group_id = "analyst" # Unique identifier of the access group, should be same as the 'id'
display_name = "Business Analyst"
description = "Access group for regional analysts"
principal {
google_group = "analyst-team@example.com"
}
provider = google-beta
}
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
- LOCATION: Es la región en la que existe el producto de datos.
- DATA_PRODUCT_ID: ID único del producto de datos
- DISPLAY_NAME: Un nombre fácil de usar para tu producto de datos
- EMAIL_IDs: IDs de correo electrónico separados por comas de los propietarios de los productos de datos, por ejemplo,
["user1@example.com", "user2@example.com"]
Configura los permisos de los recursos
Después de configurar los grupos de acceso, puedes configurar los permisos para los recursos del producto de datos.
Console
En la sección Permisos de recursos, selecciona el recurso para el que deseas configurar permisos.
Haz clic en Configurar permisos.
En el campo Seleccionar grupo de acceso, elige un grupo de acceso.
En el campo Asignar rol de IAM, selecciona un rol de IAM que quieras asignar al grupo de acceso.
Por ejemplo, si tu activo es una tabla de BigQuery llamada
Sales, seleccionaste el grupo de accesoAnalysty le asignaste el rolBigQuery Metadata Viewera este grupo de acceso, los consumidores del producto de datos que forman parte del grupo de accesoAnalysttienen permisoBigQuery Metadata Vieweren la tablaSales.Puedes agregar varios roles a un activo.
Haz clic en Configurar. Ahora el activo muestra los permisos asignados.
Para configurar los permisos de otros recursos, repite los pasos.
Haz clic en Continuar.
REST
Para configurar los permisos de los recursos del producto de datos, usa el método dataAssets.patch.
Por ejemplo, envía la siguiente solicitud PATCH:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{"access_group_configs": ACCESS_GROUP_CONFIGS_MAP}' \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataProducts/DATA_PRODUCT_ID/dataAssets/DATA_ASSET_ID?update_mask="access_group_configs"
Reemplaza lo siguiente:
ACCESS_GROUP_CONFIGS_MAP: Es un objeto JSON que representa un mapa en el que cada clave es un ID de grupo de acceso y el valor es un objeto AccessGroupConfig. Por ejemplo:
{ "analyst": { iam_roles: ["roles/bigquery.dataViewer"] } }PROJECT_ID: Es el ID de tu proyecto de Google Cloud.
LOCATION: Es la región en la que existe el producto de datos.
DATA_PRODUCT_ID: el ID de tu producto de datos
DATA_ASSET_ID: Es el ID del activo para el que deseas configurar permisos.
Terraform
Asigna roles de IAM a tus grupos de acceso para activos específicos con el bloque access_group_configs en el recurso google_dataplex_data_product_data_asset.
Por ejemplo, usa la siguiente configuración:
resource "google_dataplex_data_product_data_asset" "example_data_asset" {
project = "PROJECT_ID"
location = "LOCATION"
data_product_id = "DATA_PRODUCT_ID"
data_asset_id = "DATA_ASSET_ID"
resource = "RESOURCE_NAME"
access_group_configs {
access_group = "analyst" # Must match the 'id' defined in google_dataplex_data_product
iam_roles = ["roles/bigquery.dataViewer"]
}
provider = google-beta
}
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
- LOCATION: Es la región en la que existe el producto de datos.
- DATA_PRODUCT_ID: ID del producto de datos
- DATA_ASSET_ID: Es un ID único para este recurso de datos dentro del producto de datos.
- RESOURCE_NAME: El nombre completo del recurso del recurso de datos (por ejemplo,
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID)
Opcional: Agrega detalles adicionales
También puedes agregar contratos, aspectos y documentación adicional para el producto de datos.
Cómo agregar un contrato
Para establecer una base de confianza entre los productores y los consumidores de datos, puedes adjuntar un contrato a tu producto de datos. Si especificas parámetros como el tiempo de actualización y los umbrales, les proporcionas a los consumidores el contexto necesario para comprender cuándo se actualizan los datos y si cumplen con sus requisitos comerciales específicos.
Console
En el panel Agregar detalles adicionales, haz clic en Agregar contrato.
En el campo Seleccionar contrato, selecciona
Refresh cadence.En el campo Frecuencia, selecciona un programa acordado para determinar la frecuencia con la que se actualizan o entregan los datos, lo que garantiza un flujo predecible del productor al consumidor de datos. Por ejemplo,
WeeklyEn el campo Tiempo de actualización, ingresa el tiempo máximo aceptable entre el momento en que se actualizan los datos en su fuente y el momento en que están disponibles para el consumidor. Por ejemplo,
23:00 PSTEn el campo Umbral (en minutos), ingresa un límite medible en minutos para la demora aceptable en la entrega de datos. Por ejemplo, ingresa
30para establecer el límite en 30 minutos.Opcional: En el campo Programación de cron, ingresa una expresión cron que defina la programación para la generación y la entrega de datos en el siguiente formato:
MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEKSe aceptan los siguientes valores:
MINUTE:0-59HOUR:0-23DAY_OF_MONTH:1-31MONTH:1-31oJAN-DECDAY_OF_WEEK:0-6oSUN-SAT
Por ejemplo,
0 8 * * 1-5se ejecuta a las 8:00 a.m. los días hábiles (de lunes a viernes).Haz clic en Guardar.
REST
Los contratos se modelan como aspectos en el producto de datos.
Para agregar un contrato de Refresh Cadence para un producto de datos, usa el método entries.patch.
Por ejemplo, envía la siguiente solicitud PATCH:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
"aspects": {
"dataplex-types.global.refresh-cadence": {
"aspectType": "projects/dataplex-types/locations/global/aspectTypes/refresh-cadence",
"data": {
"frequency": "REFRESH_FREQUENCY"
}
}
}
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"
Reemplaza lo siguiente:
- REFRESH_FREQUENCY: Es el programa acordado sobre la frecuencia con la que se actualizan o entregan los datos, lo que garantiza un flujo predecible del productor al consumidor de datos. Por ejemplo:
Weekly. - PROJECT_ID: Es el ID de tu Google Cloud proyecto en el que se realiza la llamada a la API.
- LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog al que llamas (por ejemplo,
us-central1). - DATA_PRODUCT_PROJECT_NUMBER: Es el número del proyecto en el que se encuentra el recurso del producto de datos.
- DATA_PRODUCT_LOCATION: Es la ubicación del recurso del producto de datos.
- DATA_PRODUCT_ID: el ID de tu producto de datos
Terraform
Los contratos se modelan como aspectos en el producto de datos.
Para administrar un contrato, debes administrar la entrada subyacente de Dataplex Universal Catalog. Como Terraform no descubre automáticamente los aspectos existentes, primero debes importar el google_dataplex_entry.
Para importar la entrada, usa el siguiente comando:
terraform import google_dataplex_entry.data_product_metadata "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
Configuración de Terraform:
resource "google_dataplex_entry" "data_product_metadata" {
project = "DATA_PRODUCT_PROJECT_NUMBER"
location = "LOCATION"
entry_group_id = "@dataplex"
entry_id = "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
entry_type = "projects/655216118709/locations/global/entryTypes/data-product"
aspects {
aspect_key = "655216118709.global.refresh-cadence"
aspect {
data = jsonencode({
frequency = "REFRESH_FREQUENCY"
})
}
}
provider = google-beta
}
Reemplaza lo siguiente:
- DATA_PRODUCT_PROJECT_NUMBER: Es el número del proyecto en el que se encuentra el recurso del producto de datos.
- LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog al que llamas (por ejemplo,
us-central1). - DATA_PRODUCT_ID: el ID de tu producto de datos
- REFRESH_FREQUENCY: Es el programa acordado sobre la frecuencia con la que se actualizan o entregan los datos, lo que garantiza un flujo predecible desde el productor hasta el consumidor de datos. Por ejemplo:
Weekly.
Para obtener información general sobre el proceso de importación, consulta la documentación de importación de Terraform.
Agregar aspectos
Usa aspectos para enriquecer tu producto de datos con metadatos estructurados y reutilizables. Estas plantillas proporcionan una forma estandarizada para que los productores de datos comuniquen la calidad y la idoneidad de un producto de datos, lo que mejora la administración y ayuda a los consumidores a determinar si el producto satisface sus necesidades comerciales.
Para agregar aspectos al producto de datos, sigue estos pasos:
Console
En el panel Agregar detalles adicionales, haz clic en + Agregar aspecto.
En el campo Selecciona el tipo de aspecto, busca y selecciona un tipo de aspecto de la lista. Por ejemplo,
Geo contextEn el campo País, selecciona el país al que pertenece el activo.
En el campo Región, selecciona la región comercial a la que pertenece el activo.
Haz clic en Guardar.
REST
Para agregar aspectos a un producto de datos, usa el método entries.patch.
Por ejemplo, envía la siguiente solicitud PATCH:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
"aspects": {
"ASPECT_PROJECT_ID.ASPECT_LOCATION.ASPECT_NAME": {
"aspectType": "projects/ASPECT_PROJECT_ID/locations/ASPECT_LOCATION/aspectTypes/ASPECT_NAME",
"data": {}
}
}
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"
Reemplaza lo siguiente:
- ASPECT_PROJECT_ID: Es el ID de tu proyecto de Google Clouden el que se crea el aspecto.
- ASPECT_LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog en la que se crea el aspecto (por ejemplo,
us-central1). - ASPECT_NAME: Es el nombre del aspecto que deseas adjuntar al producto de datos.
- PROJECT_ID: Es el ID de tu Google Cloud proyecto en el que se realiza la llamada a la API.
- LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog al que llamas (por ejemplo,
us-central1). - DATA_PRODUCT_PROJECT_NUMBER: Es el número del proyecto en el que se encuentra el recurso del producto de datos.
- DATA_PRODUCT_LOCATION: Es la ubicación del recurso del producto de datos.
- DATA_PRODUCT_ID: el ID de tu producto de datos
Terraform
Para administrar aspectos, debes administrar la entrada subyacente de Dataplex Universal Catalog.
Como Terraform no descubre automáticamente los aspectos existentes, primero debes importar el google_dataplex_entry.
Para importar la entrada, usa el siguiente comando:
terraform import google_dataplex_entry.data_product_metadata "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
Configuración de Terraform:
resource "google_dataplex_entry" "data_product_metadata" {
project = "DATA_PRODUCT_PROJECT_NUMBER"
location = "LOCATION"
entry_group_id = "@dataplex"
entry_id = "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
entry_type = "projects/655216118709/locations/global/entryTypes/data-product"
aspects {
aspect_key = "ASPECT_PROJECT_NUMBER.ASPECT_LOCATION.ASPECT_NAME"
aspect {
data = {}
}
}
provider = google-beta
}
Reemplaza lo siguiente:
- DATA_PRODUCT_PROJECT_NUMBER: Es el número del proyecto en el que se encuentra el recurso del producto de datos.
- LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog al que llamas (por ejemplo,
us-central1). - DATA_PRODUCT_ID: el ID de tu producto de datos
- ASPECT_PROJECT_NUMBER: Es el número del proyecto Google Cloud en el que se crea el aspecto.
- ASPECT_LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog en la que se crea el aspecto (por ejemplo,
us-central1). - ASPECT_NAME: Es el nombre del aspecto que deseas adjuntar al producto de datos.
Para obtener información general sobre el proceso de importación, consulta la documentación de importación de Terraform.
Agregar documentación
La documentación proporciona el contexto esencial para que los consumidores comprendan y usen un producto de datos de manera eficaz. Puedes incluir detalles de texto enriquecido, como guías del usuario, muestras de consultas en SQL y descripciones de la lógica empresarial, para ayudar a los usuarios a generar estadísticas a partir de los recursos subyacentes. En Dataplex Universal Catalog, la documentación se administra a través del aspecto del sistema overview.
Para agregar documentación al producto de datos, sigue estos pasos:
Console
En el panel Agregar detalles adicionales, haz clic en Editar junto a Documentación.
Escribe el contenido en el editor de texto enriquecido.
Haz clic en Guardar.
El producto de datos recién creado aparecerá en la página Productos de datos de Dataplex Universal Catalog.
REST
La documentación se modela como aspectos en el producto de datos.
Para agregar documentación, usa el método entries.patch.
Por ejemplo, envía la siguiente solicitud PATCH:
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d \
'{
"aspects": {
"dataplex-types.global.overview": {
"aspectType": "projects/dataplex-types/locations/global/aspectTypes/overview",
"data": {
"content": "DOCUMENTATION"
}
}
}
}' \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/DATA_PRODUCT_LOCATION/dataProducts/DATA_PRODUCT_ID?updateMask=aspects"
Reemplaza lo siguiente:
- PROJECT_ID: Es el ID de tu Google Cloud proyecto en el que se realiza la llamada a la API.
- LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog al que llamas (por ejemplo,
us-central1). - DATA_PRODUCT_PROJECT_NUMBER: Es el número del proyecto en el que se encuentra el recurso del producto de datos.
- DATA_PRODUCT_LOCATION: Es la ubicación del recurso del producto de datos.
- DATA_PRODUCT_ID: el ID de tu producto de datos
- DOCUMENTATION: Es el contenido que deseas adjuntar al producto de datos.
Terraform
La documentación se modela como aspectos en el producto de datos.
Para administrar la documentación, debes administrar la entrada subyacente de Dataplex Universal Catalog. Como Terraform no descubre automáticamente los aspectos existentes, primero debes importar el google_dataplex_entry.
Para importar la entrada, usa el siguiente comando:
terraform import google_dataplex_entry.data_product_metadata "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/entryGroups/@dataplex/entries/projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
Configuración de Terraform:
resource "google_dataplex_entry" "data_product_metadata" {
project = "DATA_PRODUCT_PROJECT_NUMBER"
location = "LOCATION"
entry_group_id = "@dataplex"
entry_id = "projects/DATA_PRODUCT_PROJECT_NUMBER/locations/LOCATION/dataProducts/DATA_PRODUCT_ID"
entry_type = "projects/655216118709/locations/global/entryTypes/data-product"
aspects {
aspect_key = "655216118709.global.overview"
aspect {
data = jsonencode({
content = "DOCUMENTATION"
})
}
}
provider = google-beta
}
Reemplaza lo siguiente:
- DATA_PRODUCT_PROJECT_NUMBER: Es el número del proyecto en el que se encuentra el recurso del producto de datos.
- LOCATION: Es la región del extremo de servicio de Dataplex Universal Catalog al que llamas (por ejemplo,
us-central1). - DATA_PRODUCT_ID: el ID de tu producto de datos
- DOCUMENTATION: Es el contenido que deseas adjuntar al producto de datos.
Para obtener información general sobre el proceso de importación, consulta la documentación de importación de Terraform.
¿Qué sigue?
- Obtén más información para administrar productos de datos.
- Obtén más información para buscar productos de datos.
- Como consumidor de datos, aprende a solicitar acceso a los productos de datos.