En este documento, se describe cómo importar metadatos de un sistema de terceros a Knowledge Catalog (anteriormente, Dataplex Universal Catalog) con los métodos de la API de importación de metadatos y tu propia canalización. Los metadatos de Knowledge Catalog constan de entradas y sus aspectos.
Si, en cambio, quieres usar una canalización de organización administrada por Google Cloud para extraer e importar metadatos, te sugerimos que uses una canalización de conectividad administrada. Con una canalización de conectividad administrada, traes tu propio conector que extrae metadatos y genera un resultado en un formato que los métodos de la API de importación de metadatos pueden usar como entrada (el archivo de importación de metadatos). Luego, usa Workflows para organizar las tareas de la canalización.
Puedes ejecutar los siguientes tipos de trabajos de importación de metadatos:
- Sincronización completa de entradas con importación incremental de sus aspectos. Compatible con entradas personalizadas.
- Importación incremental solo de aspectos. Se admite para los aspectos que pertenecen a entradas personalizadas y entradas del sistema. En el caso de las entradas personalizadas, puedes modificar tanto los aspectos opcionales como los obligatorios. En el caso de las entradas del sistema, puedes modificar los aspectos opcionales.
Pasos de alto nivel
Para importar metadatos con la API de importación de metadatos, sigue estos pasos de alto nivel:
Determina el alcance del trabajo.
Además, comprende cómo Knowledge Catalog aplica la lógica de comparación y el modo de sincronización para las entradas y los aspectos.
Crea uno o más archivos de importación de metadatos que definan los datos que se importarán.
Guarda los archivos de importación de metadatos en un bucket de Cloud Storage.
Ejecuta un trabajo de importación de metadatos.
En los pasos de esta página, se supone que conoces los conceptos de metadatos de Knowledge Catalog, incluidos los grupos de entradas, los tipos de entradas y los tipos de aspectos. Para obtener más información, consulta Acerca de los metadatos en Knowledge Catalog.
Antes de comenzar
Antes de importar metadatos, completa las tareas de esta sección.
Roles obligatorios
Para asegurarte de que la
cuenta de servicio de Knowledge Catalog
tenga los permisos necesarios para acceder al bucket de Cloud Storage, pídele
a tu administrador que otorgue a la cuenta de servicio de Knowledge Catalog el rol de IAM
Visualizador de objetos de Storage (roles/storage.objectViewer)
y el permiso storage.buckets.get en el bucket.
Para obtener los permisos que necesitas para administrar los trabajos de importación de metadatos, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Modifica las entradas y sus aspectos en un trabajo de metadatos de sincronización de entradas completo:
- Usuario de tipo de entrada de Dataplex (
roles/dataplex.entryTypeUser) en el tipo de entrada o el proyecto en el que se define el tipo de entrada - Usuario de tipos de aspecto de Dataplex (
roles/dataplex.aspectTypeUser) en el tipo de aspecto o el proyecto en el que se define el tipo de aspecto
- Usuario de tipo de entrada de Dataplex (
-
Modifica los aspectos obligatorios en un trabajo de metadatos solo de aspectos:
- Usuario de tipo de entrada de Dataplex (
roles/dataplex.entryTypeUser) en el tipo de entrada o el proyecto en el que se define el tipo de entrada - Usuario de tipo de aspecto de Dataplex (
roles/dataplex.aspectTypeUser) en el tipo de aspecto o el proyecto en el que se define el tipo de aspecto
- Usuario de tipo de entrada de Dataplex (
-
Modificar aspectos opcionales en un trabajo de metadatos solo de aspectos:
Usuario de tipo de aspecto de Dataplex (
roles/dataplex.aspectTypeUser) en el tipo de aspecto o el proyecto en el que se define el tipo de aspecto. Ten en cuenta que, cuando modificas aspectos opcionales en un trabajo de metadatos solo de aspectos, no necesitas permisos para el tipo de entrada asociado. -
Crea trabajos de importación de metadatos:
- Importador de grupos de entradas de Dataplex (
roles/dataplex.entryGroupImporter) en el proyecto o el recurso - Propietario de entradas y vínculo de entrada de Dataplex (
roles/dataplex.entryOwner) en el proyecto o el recurso
- Importador de grupos de entradas de Dataplex (
-
Visualiza trabajos de metadatos:
Visualizador de trabajos de metadatos de Dataplex (
roles/dataplex.metadataJobViewer) en el proyecto -
Crea, visualiza y cancela trabajos de metadatos:
Propietario de trabajos de metadatos de Dataplex (
roles/dataplex.metadataJobOwner) en el proyecto
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.
Crea recursos de Google Cloud
Prepara los siguientes recursos de Google Cloud :
- Crea grupos de entradas para las entradas que quieras importar.
- Crea tipos de aspectos para los aspectos que deseas importar.
- Crea tipos de entrada para las entradas que quieras importar.
- Si ejecutas un trabajo de metadatos solo de aspectos, crea entradas para los aspectos que quieras importar.
- Crea un bucket de Cloud Storage para almacenar tus archivos de importación de metadatos.
Componentes de un trabajo de importación de metadatos
Cuando importes metadatos, ten en cuenta los siguientes componentes de un trabajo de metadatos:
- Alcance del trabajo: Son los grupos de entradas, los tipos de entradas y los tipos de aspectos que se incluirán en el trabajo.
- Modo de sincronización: Cómo se actualizan las entradas y los aspectos del trabajo.
- Archivo de importación de metadatos: Es un archivo que define los valores que se establecerán para las entradas y los aspectos del trabajo. Puedes proporcionar varios archivos de importación de metadatos en el mismo trabajo de metadatos. Guardas los archivos en Cloud Storage.
- Lógica de comparación: cómo Knowledge Catalog determina qué entradas y aspectos modificar.
Alcance del trabajo
El alcance del trabajo define los grupos de entradas, los tipos de entradas y los tipos de aspectos que deseas incluir en un trabajo de importación de metadatos. Cuando importas metadatos, modificas las entradas y los aspectos que pertenecen a los recursos dentro del alcance del trabajo.
Para definir el alcance del trabajo, sigue estos lineamientos:
Grupos de entradas: Especifica uno o más grupos de entradas para incluir en el trabajo. El trabajo modifica solo las entradas y los aspectos que pertenecen a estos grupos de entradas. Los grupos de entradas y el trabajo deben estar en la misma región.
Tipos de entrada: Especifica uno o más tipos de entrada para incluir en el trabajo. El trabajo modifica solo las entradas y los aspectos que pertenecen a estos tipos de entrada. La ubicación de un tipo de entrada debe coincidir con la ubicación del trabajo o el tipo de entrada debe ser global.
Tipos de aspectos: Especifica uno o más tipos de aspectos para incluir en el trabajo. El trabajo modifica solo los aspectos que pertenecen a estos tipos de aspectos. La ubicación de un tipo de aspecto debe coincidir con la ubicación del trabajo o el tipo de aspecto debe ser global.
El permiso del trabajo debe incluir todos los tipos de entradas y de aspectos que especifiques en el archivo de importación de metadatos.
Especifica el permiso del trabajo cuando creas un trabajo de metadatos.
Modo de sincronización
El modo de sincronización especifica cómo se actualizan las entradas y los aspectos en un trabajo de importación de metadatos. Debes proporcionar un modo de sincronización para las entradas y los aspectos. Según los recursos que quieras importar, se admiten las siguientes combinaciones de modos de sincronización.
| Objetivo | Modo de sincronización de entradas | Modo de sincronización de aspecto | Resultados |
|---|---|---|---|
| Importa entradas y sus aspectos | FULL |
INCREMENTAL |
Se modifican todas las entradas en el permiso del trabajo. Si existe una entrada en Knowledge Catalog, pero no se incluye en el archivo de importación de metadatos, se borrará cuando ejecutes el trabajo de metadatos. Un aspecto se modifica solo si el archivo de importación de metadatos incluye una
referencia al aspecto en el campo |
| Importa solo aspectos | NONE |
INCREMENTAL |
Los aspectos se modifican si forman parte del alcance del trabajo y si el
archivo de importación de metadatos incluye una referencia a los aspectos en el
campo No se modifican otros metadatos que pertenecen a entradas en el permiso del trabajo. |
Especificas el modo de sincronización cuando creas un trabajo de metadatos.
Archivo de importación de metadatos
El archivo de importación de metadatos es una colección de las entradas y los aspectos que deseas modificar. Define los valores que se establecerán para todos los campos que pertenecen a estas entradas y aspectos. Debes preparar el archivo antes de ejecutar un trabajo de importación de metadatos.
Se aplican estos lineamientos generales:
- Puedes proporcionar varios archivos de importación de metadatos en el mismo trabajo de metadatos.
Cuando ejecutas un trabajo de metadatos de sincronización de entradas completa, las entradas que proporcionas en el archivo reemplazan por completo todas las entradas existentes para cualquier recurso que esté dentro del alcance del trabajo. Esto significa que debes incluir valores para todas las entradas de un trabajo, no solo los valores que deseas agregar o actualizar. Para obtener una lista de las entradas actuales en tu proyecto y usarlas como punto de partida, usa el método de la API
entries.list.Debes proporcionar un archivo de importación de metadatos como parte de un trabajo de metadatos. Si quieres borrar todos los datos existentes de las entradas que están dentro del alcance del trabajo, proporciona un archivo de importación de metadatos vacío.
Todas las entradas y los aspectos que incluyas en el archivo deben pertenecer a los grupos de entradas, los tipos de entradas y los tipos de aspectos que definas en el alcance del trabajo.
Usa los lineamientos detallados de las siguientes secciones para crear un archivo de importación de metadatos.
Estructura del archivo
Cada línea del archivo de importación de metadatos contiene un objeto JSON que corresponde a un elemento de importación. Un elemento de importación es un objeto que describe los valores que se modificarán para una entrada y sus aspectos adjuntos.
Puedes proporcionar varios elementos de importación en un solo archivo de importación de metadatos. Sin embargo,
no proporciones el mismo elemento de importación más de una vez en un trabajo de metadatos. Usa un
carácter de línea nueva (0x0a) para separar cada elemento de importación.
Un archivo de importación de metadatos con un carácter de línea nueva entre cada elemento de importación se ve como en el siguiente ejemplo:
{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }
Estructura de un elemento de importación
Cada elemento de importación en el archivo de importación de metadatos puede incluir los siguientes campos
(consulta ImportItem).
El siguiente ejemplo tiene formato con saltos de línea para facilitar la lectura, pero cuando
guardes el archivo, incluye un carácter de línea nueva solo después de cada elemento de
importación. No incluyas saltos de línea entre los campos de un solo elemento de importación.
{
"entry": {
"name": "ENTRY_NAME",
"entryType": "ENTRY_TYPE",
"entrySource": {
"resource": "RESOURCE",
"system": "SYSTEM",
"platform": "PLATFORM",
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION",
"createTime": "ENTRY_CREATE_TIMESTAMP",
"updateTime": "ENTRY_UPDATE_TIMESTAMP"
},
"aspects": {
"ASPECT": {
"data": {
"KEY": "VALUE"
},
"aspectSource": {
"createTime": "ASPECT_CREATE_TIMESTAMP",
"updateTime": "ASPECT_UPDATE_TIMESTAMP"
}
},
# Additional aspect maps
},
"parentEntry": "PARENT_ENTRY",
"fullyQualifiedName": "FULLY_QUALIFIED_NAME"
},
"updateMask": "UPDATE_MASK_FIELDS",
"aspectKeys": [
"ASPECT_KEY",
# Additional aspect keys
],
}
Reemplaza lo siguiente:
entry: información sobre una entrada y sus aspectos adjuntos. En un trabajo de importación de metadatos solo de aspectos, Knowledge Catalog ignora todos los campos opcionales de una entrada, excepto los mapas de aspectos.- ENTRY_NAME: Es el nombre del recurso relativo de la entrada,
en el formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID. - ENTRY_TYPE: Es el nombre de recurso relativo del
tipo de entrada que se usó para crear esta entrada, en el formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. entrySource: Es la información del sistema de origen sobre el recurso de datos que representa la entrada:- RESOURCE: Es el nombre del recurso en el sistema de origen.
- SYSTEM: Es el nombre del sistema de origen.
- PLATFORM: Es la plataforma que contiene el sistema de origen.
- DISPLAY_NAME: un nombre visible fácil de usar.
- DESCRIPTION: Es una descripción de la entrada.
- ENTRY_CREATE_TIMESTAMP: Es la hora en que se creó la entrada en el sistema de origen.
- ENTRY_UPDATE_TIMESTAMP: la hora en que se actualizó la entrada en el sistema de origen.
aspects: Son los aspectos que se adjuntan a la entrada. El objetoaspecty sus datos se denominan mapa de aspectos.ASPECT: un aspecto que se adjunta a la entrada. Según cómo se adjunte el aspecto a la entrada, usa uno de los siguientes formatos:
- Si el aspecto se adjunta directamente a la entrada, proporciona el nombre del recurso relativo
de su tipo de aspecto, en el formato
PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID. - Si el aspecto se adjunta a la ruta de acceso de la entrada, proporciona la ruta de acceso del tipo de aspecto, en el formato
PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH.
- Si el aspecto se adjunta directamente a la entrada, proporciona el nombre del recurso relativo
de su tipo de aspecto, en el formato
KEY y VALUE: Es el contenido del aspecto, según su plantilla de metadatos de tipo de aspecto. El contenido debe estar codificado en UTF-8. El tamaño máximo del campo es de 120 KB. El diccionario
dataes obligatorio, incluso si está vacío.ASPECT_CREATE_TIMESTAMP: Es la hora en la que se creó el aspecto en el sistema de origen.
ASPECT_UPDATE_TIMESTAMP: Es la hora en que se actualizó el aspecto en el sistema de origen.
PARENT_ENTRY: Es el nombre del recurso de la entrada superior.
FULLY_QUALIFIED_NAME: un nombre para la entrada al que puede hacer referencia un sistema externo. Consulta Nombres completamente calificados.
- ENTRY_NAME: Es el nombre del recurso relativo de la entrada,
en el formato
UPDATE_MASK_FIELDS: Son los campos que se actualizarán, en rutas de acceso relativas al recurso
Entry. Separa cada campo con una coma.En un trabajo de sincronización de entrada completa, Knowledge Catalog incluye las rutas de acceso de todos los campos de una entrada que se pueden modificar, incluidos los aspectos. El campo
updateMaskse ignora cuando se crea o se vuelve a crear una entrada.En un trabajo de metadatos de solo aspecto, establece este valor en
aspects.ASPECT_KEY: Son los aspectos que se modificarán. Admite las siguientes sintaxis:
ASPECT_TYPE_REFERENCE: coincide con el tipo de aspecto para los aspectos que se adjuntan directamente a la entrada.ASPECT_TYPE_REFERENCE@PATH: coincide con el tipo de aspecto y la ruta de acceso especificada.ASPECT_TYPE_REFERENCE@*: Coincide con el tipo de aspecto para todas las rutas de acceso.*@PATH: Coincide con todos los tipos de aspectos en la ruta de acceso especificada.
Reemplaza
ASPECT_TYPE_REFERENCEpor una referencia al tipo de aspecto, en el formatoPROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.En un trabajo de sincronización de entradas completo, si dejas este campo vacío, se trata como si se especificaran exactamente los aspectos que están presentes en la entrada especificada. Knowledge Catalog agrega de forma implícita las claves para todos los aspectos obligatorios de una entrada.
Requisitos de los archivos
El archivo de importación de metadatos tiene los siguientes requisitos:
- El archivo debe tener el formato de un archivo de líneas JSON, que es un archivo JSON delimitado por saltos de línea. Usa un carácter de línea nueva (
0x0a) para separar cada elemento de importación. - El archivo debe usar la codificación de caracteres UTF-8.
- Las extensiones de archivo admitidas son
.jsonly.json. - El tamaño de cada archivo de importación de metadatos debe ser inferior a 1 GiB. El tamaño total máximo de todos los datos en el trabajo de metadatos es de 3 GB. Esto incluye todos los archivos y metadatos asociados al trabajo.
- Los tipos de entrada y de aspecto que especifiques en el archivo deben formar parte del permiso del trabajo de metadatos.
- El archivo se debe subir a un bucket de Cloud Storage. No guardes el
archivo en una carpeta llamada
CLOUD_STORAGE_URI/deletions/.
Lógica de comparación
Knowledge Catalog determina qué entradas y aspectos modificar comparando los valores y las marcas de tiempo que proporcionas en el archivo de importación de metadatos con los valores y las marcas de tiempo que existen en tu proyecto.
En un nivel alto, Knowledge Catalog actualiza los valores de tu proyecto cuando al menos un cambio propuesto en el archivo de importación de metadatos cambie el estado de tu proyecto cuando se ejecute el trabajo, sin introducir datos desactualizados. Se debe hacer referencia al cambio propuesto en el campo de máscara de actualización o en el campo de claves de aspecto en el archivo de importación de metadatos.
La lógica de comparación varía según el tipo de trabajo de importación de metadatos que ejecutes.
Trabajo de sincronización de entradas completo
En un trabajo de metadatos de sincronización de entradas completo, para cada entrada que forma parte del alcance del trabajo, Knowledge Catalog hace una de las siguientes acciones:
- Crea una entrada y aspectos adjuntos. Si el archivo de importación de metadatos incluye una entrada que no existe en tu proyecto, Knowledge Catalog crea la entrada y los aspectos adjuntos.
- Borra una entrada y los aspectos adjuntos. Si existe una entrada en tu proyecto, pero el archivo de importación de metadatos no la incluye, Knowledge Catalog borra la entrada y sus aspectos adjuntos de tu proyecto.
Actualiza una entrada y los aspectos adjuntos. Si existe una entrada tanto en el archivo de importación de metadatos como en tu proyecto, Knowledge Catalog evalúa las marcas de tiempo de origen de la entrada y las marcas de tiempo de origen del aspecto que están asociadas con la entrada para determinar qué valores modificar. Luego, Knowledge Catalog realiza una o más de las siguientes acciones:
- Vuelve a crear la entrada. Si la marca de tiempo de creación de la fuente de entrada en el archivo de importación de metadatos es más reciente que la marca de tiempo correspondiente en tu proyecto, Knowledge Catalog vuelve a crear la entrada en tu proyecto.
- Actualiza la entrada. Si la marca de tiempo de actualización de la fuente de la entrada en el archivo de importación de metadatos es más reciente que la marca de tiempo correspondiente en tu proyecto, Knowledge Catalog actualiza la entrada en tu proyecto.
- Crea un aspecto. Si un aspecto no existe en tu proyecto y se incluye en un mapa de aspectos, el campo de máscara de actualización y el campo de claves de aspecto en el archivo de importación de metadatos, Knowledge Catalog crea el aspecto.
- Borra un aspecto. Si existe un aspecto en tu proyecto y se incluye en el campo de máscara de actualización y en el campo de claves de aspecto del archivo de importación de metadatos, pero no se incluye en un mapa de aspectos, Knowledge Catalog borra el aspecto.
Actualiza un aspecto. Si existe un aspecto en tu proyecto y se incluye en un mapa de aspectos, el campo de máscara de actualización y el campo de claves de aspecto en el archivo de importación de metadatos, y la marca de tiempo de actualización de la fuente del aspecto en el archivo de importación de metadatos es más reciente que la marca de tiempo correspondiente en tu proyecto, Knowledge Catalog actualiza el aspecto.
Si no se proporciona una marca de tiempo de actualización de la fuente del aspecto en el archivo de importación de metadatos, pero la entrada correspondiente está marcada para una actualización, Knowledge Catalog también actualiza el aspecto.
Sin embargo, si al menos un aspecto del archivo de importación de metadatos tiene una marca de tiempo anterior a la correspondiente en tu proyecto, Knowledge Catalog no realiza ninguna actualización para la entrada adjunta.
Trabajo solo de aspecto
En un trabajo de metadatos solo de aspectos, para cada aspecto que forma parte del alcance del trabajo, Knowledge Catalog hace una de las siguientes acciones:
- Crea un aspecto. Si un aspecto no existe en tu proyecto y se incluye en un mapa de aspectos, el campo de máscara de actualización y el campo de claves de aspecto en el archivo de importación de metadatos, Knowledge Catalog crea el aspecto.
Borra un aspecto. En el caso de los aspectos opcionales, si el aspecto existe en tu proyecto y se incluye en el campo de máscara de actualización y en el campo de claves de aspecto en el archivo de importación de metadatos, pero no se incluye en un mapa de aspectos, Knowledge Catalog borra el aspecto.
No se pueden borrar los aspectos obligatorios.
Actualiza un aspecto. Si existe un aspecto en tu proyecto y se incluye en un mapa de aspectos, el campo de máscara de actualización y el campo de claves de aspecto en el archivo de importación de metadatos, y la marca de tiempo de actualización de la fuente del aspecto en el archivo de importación de metadatos es más reciente que la marca de tiempo correspondiente en tu proyecto, Knowledge Catalog actualiza el aspecto.
Si no se proporciona una marca de tiempo de actualización de la fuente del aspecto en el archivo de importación de metadatos, Knowledge Catalog también actualiza el aspecto.
Knowledge Catalog actualiza los aspectos según la marca de tiempo de actualización de la fuente del aspecto, independientemente de la marca de tiempo de actualización de la fuente de la entrada correspondiente.
Crea un archivo de importación de metadatos
Antes de importar metadatos, crea un archivo de importación de metadatos para tu trabajo. Sigue estos pasos:
- Prepara un archivo de importación de metadatos siguiendo los lineamientos que se describen anteriormente en este documento.
- Sube el archivo a un bucket de Cloud Storage.
Puedes proporcionar varios archivos de importación de metadatos en el mismo trabajo de metadatos. Para proporcionar varios archivos, guárdalos en el mismo bucket de Cloud Storage. Cuando ejecutas el trabajo, especificas un bucket, no un archivo específico. Knowledge Catalog importa metadatos de todos los archivos que se guardan en el bucket, incluidos los archivos que se encuentran en subcarpetas.
Ejecuta un trabajo de importación de metadatos
Después de crear un archivo de importación de metadatos, ejecuta el trabajo de importación de metadatos.
REST
Para importar metadatos, usa el
método metadataJobs.create.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
- PROJECT_NUMBER: Es el número o el ID del proyecto de Google Cloud .
- LOCATION_ID: Es la ubicación de Google Cloud , como
us-central1. - METADATA_JOB_ID: es opcional. Es el ID del trabajo de metadatos.
CLOUD_STORAGE_URI: Es el URI del bucket o la carpeta de Cloud Storage que contiene los archivos de importación de metadatos. Para obtener más información sobre los requisitos de los archivos, consulta Archivo de importación de metadatos.
- ENTRY_GROUP: Es el nombre de recurso relativo de los grupos de entradas que
están dentro del alcance del trabajo, en el formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID. Para obtener más información, consulta Alcance del trabajo. ENTRY_TYPE: Es el nombre de recurso relativo de un tipo de entrada que está dentro del alcance del trabajo, en el formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. Para obtener más información, consulta Alcance del trabajo.- ASPECT_TYPE: Es el nombre de recurso relativo de un tipo de aspecto
que está dentro del alcance del trabajo, con el formato
projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID. Es opcional cuando se crea un trabajo de sincronización de entradas completo y obligatorio cuando se crea un trabajo solo de aspectos. Para obtener más información, consulta Alcance del trabajo. - ENTRY_SYNC_MODE: Es el modo de sincronización de entradas, como
FULLoNONE. Para obtener más información, consulta Modo de sincronización. - LOG_LEVEL: Es el nivel de registros que se capturarán, como
INFOoDEBUG. Para obtener más información, consulta Visualiza los registros de trabajos y soluciona problemas.
Método HTTP y URL:
POST https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID
Cuerpo JSON de la solicitud:
{
"type": "IMPORT",
"import_spec": {
"source_storage_uri": "gs://CLOUD_STORAGE_URI/",
"scope": {
"entryGroups": [
"ENTRY_GROUP"
],
"entry_types": [
"ENTRY_TYPE"
],
"aspect_types": [
"ASPECT_TYPE"
]
},
"entry_sync_mode": "ENTRY_SYNC_MODE",
"aspect_sync_mode": "INCREMENTAL",
"log_level": "LOG_LEVEL"
}
}
Para enviar tu solicitud, expande una de estas opciones:
La respuesta identifica una operación de larga duración.
Obtén detalles sobre un trabajo de metadatos
Para obtener información sobre un trabajo de metadatos, como el estado del trabajo y la cantidad de entradas que se modificaron, sigue estos pasos. Para obtener más información sobre cómo solucionar problemas de un trabajo con errores, consulta la sección Visualiza los registros de trabajos y soluciona problemas de este documento.
C#
C#
Antes de probar este ejemplo, sigue las instrucciones de configuración para C# que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para C#.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Go
Go
Antes de probar este ejemplo, sigue las instrucciones de configuración para Go que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Go.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Java
Antes de probar este ejemplo, sigue las instrucciones de configuración para Java que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Java.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Node.js
Antes de probar este ejemplo, sigue las instrucciones de configuración para Node.js que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Node.js.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Python
Antes de probar este ejemplo, sigue las instrucciones de configuración para Python que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Python.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Ruby
Ruby
Antes de probar este ejemplo, sigue las instrucciones de configuración para Ruby que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Ruby.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
REST
Para obtener información sobre un trabajo de metadatos, usa el
método metadataJobs.get.
Antes de usar cualquiera de los datos de solicitud a continuación, realiza los siguientes reemplazos:
PROJECT_NUMBER: Es el número o el ID del proyecto de Google Cloud .LOCATION_ID: Es la ubicación de Google Cloud , comous-central1.METADATA_JOB_ID: Es el ID del trabajo de metadatos.
Método HTTP y URL:
GET https://dataplex.googleapis.com/v1/projects/TARGET_PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID
Para enviar tu solicitud, expande una de estas opciones:
Deberías recibir una respuesta JSON similar a la que se muestra a continuación:
{
"name": "projects/123456789012/locations/us-central1/metadataJobs/my-metadata-job",
"uid": "a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d",
"createTime": "2026-07-17T16:30:15Z",
"updateTime": "2026-07-17T16:35:15Z",
"type": "IMPORT",
"importSpec": {
"sourceStorageUri": "gs://my-bucket/",
"scope": {
"entryGroups": [
"projects/123456789012/locations/us-central1/entryGroups/my-entry-group"
],
"entryTypes": [
"projects/123456789012/locations/us-central1/entryTypes/my-entry-type"
],
"aspectTypes": [
"projects/123456789012/locations/us-central1/aspectTypes/my-aspect-type"
]
},
"entrySyncMode": "FULL",
"aspectSyncMode": "INCREMENTAL",
"logLevel": "INFO"
},
"status": {
"state": "SUCCEEDED"
},
"importResult": {
"deletedEntries": "2",
"updatedEntries": "5",
"createdEntries": "10",
"unchangedEntries": "20",
"updateTime": "2026-07-17T16:35:15Z"
}
}
Obtén una lista de trabajos de metadatos
Puedes obtener una lista de los trabajos de metadatos más recientes. Los trabajos más antiguos que alcanzaron un estado terminal se borran de forma periódica del sistema.
C#
C#
Antes de probar este ejemplo, sigue las instrucciones de configuración para C# que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para C#.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Go
Go
Antes de probar este ejemplo, sigue las instrucciones de configuración para Go que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Go.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Java
Antes de probar este ejemplo, sigue las instrucciones de configuración para Java que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Java.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Node.js
Antes de probar este ejemplo, sigue las instrucciones de configuración para Node.js que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Node.js.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Python
Antes de probar este ejemplo, sigue las instrucciones de configuración para Python que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Python.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Ruby
Ruby
Antes de probar este ejemplo, sigue las instrucciones de configuración para Ruby que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Ruby.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
REST
Para obtener una lista de los trabajos de metadatos más recientes, usa el
método metadataJobs.list.
Cancela un trabajo de metadatos
Puedes cancelar un trabajo de metadatos que no quieras ejecutar.
C#
C#
Antes de probar este ejemplo, sigue las instrucciones de configuración para C# que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para C#.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Go
Go
Antes de probar este ejemplo, sigue las instrucciones de configuración para Go que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Go.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Java
Antes de probar este ejemplo, sigue las instrucciones de configuración para Java que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Java.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Node.js
Antes de probar este ejemplo, sigue las instrucciones de configuración para Node.js que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Node.js.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Python
Antes de probar este ejemplo, sigue las instrucciones de configuración para Python que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Python.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Ruby
Ruby
Antes de probar este ejemplo, sigue las instrucciones de configuración para Ruby que encontrarás en la guía de inicio rápido de Knowledge Catalog sobre las bibliotecas cliente. Para obtener más información, consulta la documentación de referencia de la API de Knowledge Catalog para Ruby.
Para autenticarte en Knowledge Catalog, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
REST
Para cancelar un trabajo de metadatos, usa el
método metadataJobs.cancel.
Visualiza los registros de trabajos y soluciona problemas
Usa Cloud Logging para ver los registros de un trabajo de metadatos. Para obtener más información, consulta Supervisa los registros de Knowledge Catalog.
Configura el nivel de registro cuando creas un trabajo de metadatos. Están disponibles los siguientes niveles de registro:
INFO: Proporciona registros a nivel general del trabajo. Incluye registros agregados sobre los elementos de importación, pero no especifica cuál de ellos tiene un error.DEBUG: Proporciona registros detallados de cada elemento de importación. Usa el registro de nivel de depuración para solucionar problemas con elementos de importación específicos. Por ejemplo, usa el registro de nivel de depuración para identificar los recursos que faltan en el alcance del trabajo, las entradas o los aspectos que no se ajustan al tipo de entrada o aspecto asociado, o bien otros errores de configuración con el archivo de importación de metadatos.
Errores de validación
Knowledge Catalog valida los archivos de importación de metadatos con los metadatos actuales de tu proyecto. Si hay un problema de validación, el estado del trabajo puede devolver uno de los siguientes estados:
FAILED: Se produce cuando el archivo de importación de metadatos tiene un error. Knowledge Catalog no importa ningún metadato y el trabajo falla. Estos son algunos ejemplos de errores en el archivo de importación de metadatos:- No se puede analizar un elemento del archivo para convertirlo en un elemento de importación válido
- Una entrada o un aspecto del archivo pertenece a un grupo de entradas, un tipo de entrada o un tipo de aspecto que no forma parte del alcance del trabajo.
- Se especificó el mismo nombre de entrada más de una vez en el trabajo
- Un tipo de aspecto que se especifica en un mapa de aspectos o las claves de aspecto no usa el formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
- Se marcó un aspecto obligatorio para su eliminación
SUCCEEDED_WITH_ERRORS: Ocurre cuando el archivo de importación de metadatos se puede analizar correctamente, pero importar un elemento en el archivo haría que una entrada en tu proyecto esté en un estado incoherente. Knowledge Catalog ignora esas entradas, pero importa el resto de los metadatos del archivo.
Usa los registros de trabajos para solucionar el error.
¿Qué sigue?
- Busca recursos de datos en Knowledge Catalog
- Administra aspectos y enriquece los metadatos
- Administra entradas y transfiere fuentes personalizadas
- Exporta metadatos