Acerca de la administración de metadatos en Knowledge Catalog

Knowledge Catalog (anteriormente, Dataplex Universal Catalog) es un servicio completamente administrado que automatiza el descubrimiento y el inventario de tus recursos de IA y datos distribuidos. Crea una base de conocimiento unificada y con capacidad de búsqueda que rige los datos en Google Cloud y otros entornos, lo que garantiza que tus modelos de análisis y de IA se basen en información confiable y que cumpla con los requisitos.

Casos de uso

  • Acelera el descubrimiento de datos para la IA y las estadísticas. Supera el problema de inicio en frío de los datos, ya que utiliza estadísticas de datos potenciadas por IA para generar automáticamente contexto comercial. Los científicos, los analistas y los agentes de IA pueden descubrir, comprender y verificar al instante la calidad de los datos con la búsqueda semántica en lenguaje natural, sin esperar la asistencia manual de ingeniería.

  • Fundamenta el conocimiento de los agentes de IA y administra los productos de datos. Crea un gráfico de contexto unificado que vincula los conjuntos de datos físicos con la semántica empresarial y las relaciones de uso. Esto garantiza que las aplicaciones de IA generativa posteriores que acceden a los datos con interfaces estándares, como el Protocolo de contexto del modelo (MCP), se basen en información certificada y aprobada por la empresa, lo que reduce significativamente las alucinaciones de la IA.

  • Descubre los datos oscuros. Analiza archivos sin procesar y no estructurados (como PDFs en Cloud Storage) con Estadísticas de datos para datos no estructurados para extraer entidades y relaciones automáticamente. También convierte los datos no estructurados en recursos consultables en BigQuery para el análisis avanzado y los agentes de IA fundamentados.

  • Optimiza los parámetros de cumplimiento y las protecciones semánticas. Automatiza el seguimiento del linaje de datos para mapear cómo fluye y se transforma la información sensible, incluida la información de identificación personal (PII), en todo tu patrimonio de datos. Esto establece una base de datos confiable, lo que garantiza que tanto los flujos de trabajo de análisis tradicionales como los modelos de IA autónomos operen dentro de límites seguros y que cumplan con las políticas.

Cómo funciona Knowledge Catalog

Piensa en Knowledge Catalog como una biblioteca inteligente automatizada para tu empresa. En lugar de indexar los metadatos de forma manual, el sistema los ingiere automáticamente desde tus sistemas de almacenamiento, como BigQuery.

Luego, te permite enriquecer estos metadatos con contexto empresarial, como las puntuaciones de calidad de los datos o la propiedad, y organizar los datos en grupos lógicos. Esto garantiza que, cuando los usuarios busquen en el catálogo, encuentren recursos que se puedan descubrir y que también estén regidos por políticas de seguridad activas.

Además, Knowledge Catalog puede transmitir cambios de metadatos casi en tiempo real con los feeds de cambios de metadatos. Un feed de cambios de metadatos envía notificaciones sobre la creación, actualización o eliminación de metadatos a un tema de Pub/Sub que especifiques. Pub/Sub es un servicio de mensajería escalable y asíncrono. Luego, puedes usar un cliente suscriptor para suscribirte al tema de Pub/Sub y recibir estas notificaciones. Puedes procesar cambios en los metadatos de forma programática, activar flujos de trabajo o realizar integraciones con otros sistemas para actuar en función de estas notificaciones. Por ejemplo, puedes usar estas notificaciones para activar automáticamente las verificaciones de calidad de los datos cuando cambia el esquema de una tabla. Para obtener más información, consulta Feeds de cambios en los metadatos.

Terminología

Las funciones de administración de metadatos de Knowledge Catalog se basan en los siguientes conceptos:

Entrada

Una entrada representa un recurso de datos. Esto es similar a las entradas en Data Catalog.

Ejemplo: Una tabla de BigQuery llamada test-project.sales_data.customer_orders se representa como una entrada.

Una columna de una entrada representa una subsección específica de un recurso de datos, como una sola columna en una tabla de BigQuery o un campo en un archivo JSON. Las columnas te permiten adjuntar metadatos a campos individuales dentro de una entrada, no solo a la entrada en su totalidad. No defines columnas directamente, sino que se crean cuando adjuntas un aspecto de tipo schema a una entrada. Las columnas también se denominan rutas.

Ejemplo: Para describir el campo email_address dentro de la entrada customer_orders como que contiene información de identificación personal (PII), puedes adjuntar un aspecto a la columna email_address.

Para obtener más información sobre las entradas, consulta Entradas.

Vínculo de entrada

Un vínculo de entrada establece una relación entre dos recursos de datos (entradas) dentro de Knowledge Catalog. Los vínculos pueden ser simétricos (no direccionales), como synonym, related items o schema-join, o asimétricos (direccionales), como definition con una fuente y un destino explícitos. Los vínculos pueden hacer referencia a una entrada completa o a una ruta de acceso específica (por ejemplo, una sola columna dentro de un esquema), excepto el vínculo de entrada schema-join.

Ejemplo: Un vínculo de entrada synonym asocia el término comercial ganancias como sinónimo de beneficios.

Para obtener más información sobre los vínculos de entrada, consulta EntryLinks.

Tipo de vínculo de entrada

Un tipo de vínculo de entrada es una plantilla reutilizable para vínculos de entrada que describe el significado de la relación entre dos entradas. Cada vínculo de entrada es una instancia de un tipo de vínculo de entrada. La direccionalidad de los vínculos de entrada se define a nivel del tipo de vínculo de entrada.

Ejemplo: Para indicar que los datos de las entradas vinculadas se pueden unir según su esquema, puedes usar un tipo de vínculo de entrada schema-join. Para explicar el significado de las columnas en una tabla, puedes usar un tipo de vínculo de entrada definition para vincular estas columnas y los términos del glosario empresarial.

Knowledge Catalog admite los siguientes tipos de vínculos de entrada: synonym, related, definition y schema-join.

Aspecto

Un aspecto es un conjunto de campos de metadatos relacionados. Puedes adjuntar un aspecto a una entrada para describirla o describir el vínculo de entrada en su totalidad. La mayoría de los metadatos se describen mediante aspectos dentro de una entrada. Es similar a las etiquetas en Data Catalog. Sin embargo, los aspectos se almacenan dentro de las entradas o los vínculos de entrada, y no como recursos independientes.

Ejemplo: Para definir todas las columnas de la entrada customer_orders, como order_id, order_date y email_address, puedes adjuntar un aspecto schema a la entrada customer_orders. Para especificar que la columna email_address contiene una dirección de correo electrónico, puedes adjuntar un aspecto schema a la columna email_address.

Para obtener más información sobre los aspectos, consulta Aspectos.

Para obtener más información sobre el uso de aspectos para la calidad de los datos, consulta Cómo reutilizar reglas de calidad de los datos.

Tipo de entrada

Un tipo de entrada es una plantilla para crear entradas. Establece los elementos de metadatos esenciales, que se describen como una lista de aspectos obligatorios para las entradas de este tipo. Un tipo de entrada especifica qué tipos de aspectos son obligatorios para un activo de datos específico.

Ejemplo: Para asegurarte de que todas las entradas tengan los metadatos requeridos, puedes crear un tipo de entrada llamado StandardOperationalTable que requiera que se adjunte un aspecto OwnerInfo a cualquier entrada nueva de este tipo.

Para obtener más información sobre los tipos de entrada, consulta Tipos de entrada.

Tipo de aspecto

Un tipo de aspecto es una plantilla reutilizable para aspectos. Cada aspecto es una instancia de un tipo de aspecto. Esto es similar a las plantillas de etiquetas en Data Catalog.

Ejemplo: Para definir una plantilla reutilizable para la información de contacto, puedes definir un tipo de aspecto llamado ContactInfo con campos para owner_name, email y support_team. Luego, puedes crear aspectos ContactInfo a partir de esta plantilla y adjuntarlos a entradas o columnas.

Para obtener más información sobre los tipos de aspectos, consulta Tipos de aspectos.

Grupo de entradas

Un grupo de entrada es un contenedor de entradas y vínculos de entrada que sirve como unidad de administración para estas entradas y vínculos de entrada. Por ejemplo, usa un grupo de entrada para configurar el control de acceso de Identity and Access Management, la atribución del proyecto o la ubicación de las entradas y los vínculos de entrada en el grupo de entrada. Es similar a los grupos de entradas en Data Catalog.

Ejemplo: Un equipo de finanzas desea administrar los permisos de todas sus tablas a la vez. Pueden crear un grupo de entradas llamado production_finance_data y, en él, incluir las entradas de las tablas customer_orders, quarterly_revenue y employee_salaries.

Para obtener más información sobre los grupos de entradas, consulta Grupos de entradas.

Entradas y grupos de entradas
Figura 1. Grupos de entradas, entradas y vínculos de entrada
Tipos de aspecto y tipos de entrada
Figura 2. Tipos de aspecto y tipos de entrada
Tipos de aspectos y vínculos de entrada
Figura 3. Vínculo de entrada con entradas, aspectos y sus tipos vinculados

Comparación entre Knowledge Catalog y Data Catalog

Knowledge Catalog proporciona capacidades integradas para administrar tus metadatos. El almacenamiento de metadatos y los métodos de la API están integrados en la API de Dataplex.

Las principales funciones de administración de metadatos en Knowledge Catalog incluyen las siguientes:

  • Metamodelo más robusto

    • Entradas escritas Puedes aplicar estándares mínimos de metadatos definiendo el contenido de metadatos requerido para las entradas personalizadas.
    • Metamodelo configurable por el usuario para entradas personalizadas, que ayuda a que la transferencia personalizada sea más sólida y mejora la coherencia y la integridad de los metadatos personalizados.
    • Compatibilidad con una mayor variedad y complejidad de metadatos, incluida la compatibilidad con estructuras de anidación, como listas, mapas y arrays

  • Se mejoró la escalabilidad, incluida la capacidad de interactuar con todos los metadatos asociados a una entrada a través de operaciones CRUD atómicas únicas y la capacidad de recuperar varias anotaciones de metadatos asociadas en las respuestas de búsqueda o de lista.

En la siguiente tabla, se comparan las funciones de administración de metadatos de Knowledge Catalog y Data Catalog:

Comparación entre Knowledge Catalog y Data Catalog
Función Knowledge Catalog Data Catalog
Fuentes Google Cloud compatibles Todas las fuentes, como se describen en la sección Fuentes Google Cloud compatibles de este documento Todas las fuentes descritas en Entradas y grupos de entradas
Ingesta de fuentes personalizadas

Transferencia a entradas personalizadas con estructura controlada, definida por tipos de entrada.

Las entradas personalizadas y los grupos de entradas de Data Catalog están disponibles en Knowledge Catalog con el tipo de entrada generic.

Ingesta en entradas personalizadas genéricas
Enriquecimiento de metadatos

El contexto de los metadatos de las entradas se captura con glosarios empresariales, aspectos y tipos de aspectos.

Se admiten los vínculos de entrada. Puedes conectar aspectos a un vínculo de entrada.

El contexto de los metadatos de las entradas se captura con glosarios empresariales, etiquetas y plantillas de etiquetas.

No se admiten los vínculos de entrada.
Vínculos de entrada Se admiten los vínculos de entrada. Los tipos de vínculos de entrada, como schema-join, te permiten adjuntar aspectos a los vínculos de entrada. No disponible.
Feeds de cambios de metadatos Las notificaciones de cambios de metadatos casi en tiempo real se transmiten a Pub/Sub. No disponible.
Buscar La búsqueda se realiza en los siguientes elementos:
  • Todas las Google Cloud fuentes descritas enFuentes Google Cloud compatibles
  • Entradas personalizadas que se crean en Knowledge Catalog
  • Aspectos creados en Knowledge Catalog, excepto los que se adjuntan a los vínculos de entrada.
  • Entradas personalizadas que se crean en Data Catalog y se importan a Knowledge Catalog

Los resultados de la búsqueda incluyen solo aquellos recursos que pertenecen a la misma organización y al mismo perímetro de Controles del servicio de VPC que el proyecto en el que se realiza la búsqueda. Cuando se usa la consola de Google Cloud , este es el proyecto seleccionado en la consola.

Ten en cuenta que, para buscar entradas, necesitas al menos uno de los siguientes roles de IAM en el proyecto que se usa para la búsqueda: Administrador de Dataplex Catalog, Editor de Dataplex Catalog o Visualizador de Dataplex Catalog. Los permisos en los resultados de la búsqueda se verifican independientemente del proyecto seleccionado.

 La búsqueda se realiza en los siguientes elementos:
  • Todas las fuentes de Google Cloud descritas enEntradas y grupos de entradas
  • Entradas personalizadas que se crean en Data Catalog
  • Etiquetas creadas en Data Catalog
Linaje de datos

El linaje de datos recupera los detalles de las entradas para los nodos de recursos con la API de Dataplex.

La consola de Google Cloud muestra los aspectos adjuntos.

El linaje de datos recupera los detalles de las entradas para los nodos de activos con la API de Data Catalog.
Glosarios empresariales

El glosario empresarial te permite crear una taxonomía para los términos comerciales y asociarlos con recursos y columnas de datos. Puedes usar la búsqueda para descubrir los recursos asociados a un término.

El glosario empresarial te permite crear una taxonomía para los términos comerciales y asociarlos con columnas. Puedes usar la búsqueda para descubrir recursos vinculados a un término.

En la siguiente tabla, se describe cómo se corresponden los recursos de Knowledge Catalog con los de Data Catalog:

Asignación entre los recursos de Knowledge Catalog y Data Catalog
Recurso de Knowledge Catalog Recurso de Data Catalog Descripción
Tipo de aspecto (global) Plantilla de etiqueta pública Las plantillas de etiquetas son recursos regionales. Sin embargo, puedes usarlos para crear etiquetas en todas las regiones. Las plantillas de etiquetas corresponden a los tipos de aspectos global en Knowledge Catalog.
Aspecto opcional Etiqueta pública Las etiquetas públicas en Data Catalog corresponden a aspectos opcionales en Knowledge Catalog.
Grupo de entradas Grupo de entradas En el caso de las Google Cloud fuentes, los grupos de entradas del sistema, como @bigquery, se establecen por proyecto en Knowledge Catalog.
Aspectos obligatorios de la entrada personalizada Entrada personalizada

Data Catalog y Knowledge Catalog comparten conceptos similares para las entradas personalizadas.

Las propiedades de entrada estándar se modelan como aspectos obligatorios en Knowledge Catalog.
Aspectos obligatorios de la entrada del sistema Entrada del sistema (Google Cloud) Los metadatos que describen entidades integradas, como Schema para las tablas de BigQuery, se capturan en los aspectos obligatorios de los tipos de aspectos definidos por el sistema.
Glosarios empresariales Glosarios empresariales Usa glosarios para crear una taxonomía de términos comerciales que estandarice el contexto empresarial en toda la empresa.

Para obtener más información sobre las funciones disponibles en Data Catalog, pero no admitidas en Knowledge Catalog, consulta la sección Funciones de administración de metadatos que no son compatibles con Knowledge Catalog en este documento.

Para usuarios existentes de Data Catalog

Si ya usas Data Catalog, ten en cuenta lo siguiente:

  • Las entradas personalizadas, el contexto general, los glosarios y los grupos de entradas que creaste en Data Catalog están disponibles en Knowledge Catalog.
  • Como administrador, puedes optar por que el contenido de las etiquetas y las plantillas de etiquetas de Data Catalog esté disponible de forma simultánea en Knowledge Catalog. Para obtener más información, consulta Transición de Data Catalog a Knowledge Catalog.
  • Cuando buscas recursos de datos en Knowledge Catalog, se incluyen los metadatos que se crearon directamente en Knowledge Catalog y los que se importaron de Data Catalog a Knowledge Catalog.
  • Cuando buscas recursos de datos en Data Catalog, solo se incluyen los metadatos que se crearon en Data Catalog.
  • Las descripciones de los grupos de entradas en Data Catalog que superan los 1,024 caracteres se truncan a 1,024 caracteres en Knowledge Catalog.
  • Como administrador, para que los glosarios y los vínculos asociados entre los términos comerciales y las columnas que creaste en Data Catalog estén disponibles en Knowledge Catalog, consulta Migra glosarios a Knowledge Catalog.

Para obtener más información sobre cómo migrar el contenido y el uso independientes de Data Catalog a Knowledge Catalog, consulta Transición de Data Catalog a Knowledge Catalog.

Asigna métodos de la API de Data Catalog a Knowledge Catalog

Si migras de Data Catalog a Knowledge Catalog, debes actualizar tus flujos de trabajo programáticos para usar la API de Dataplex. En esta sección, se proporciona una asignación entre la API de Data Catalog y la API de Dataplex.

Para obtener más información sobre los métodos de la API de Dataplex, consulta la documentación de la API de Dataplex para métodos de REST y la documentación de la API de Dataplex para métodos de RPC.

En las siguientes tablas, se proporciona una asignación de los métodos de la API de Data Catalog a sus equivalentes en la API de Dataplex.

Grupos de entrada

El concepto de grupos de entradas es el mismo en Knowledge Catalog y Data Catalog.

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)		 projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)		 projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)		 projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)		 projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)		 projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)

Entradas

El concepto de entradas, que representan recursos de datos, es similar en Knowledge Catalog y Data Catalog.

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)		 projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)		 projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: También puedes usar los métodos projects.locations.modifyEntry (REST) y ModifyEntry (RPC) para actualizar las entradas del sistema con permisos del sistema fuente en lugar de permisos del Catálogo de conocimiento.
projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)		 projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)		 projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)
entries.lookup (REST)
LookupEntry (RPC)		 projects.locations.lookupEntry (REST)
LookupEntry (RPC)

Nota: Para usar los métodos projects.locations.lookupEntry (REST) y LookupEntry (RPC), debes proporcionar el nombre de la entrada del catálogo de conocimiento. Para traducir un nombre de SQL de BigQuery, un nombre completamente calificado o un nombre de recurso vinculado a un nombre de entrada de Knowledge Catalog, primero llama al método projects.locations.searchEntries (REST) o SearchEntries (RPC).
projects.locations.entryGroups.entries.modifyEntryContacts (REST)
ModifyEntryContacts (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: Cuando migres desde el método entries.modifyEntryContacts de Data Catalog, usa update_mask para modificar solo el aspecto contacts.
projects.locations.entryGroups.entries.modifyEntryOverview (REST)
ModifyEntryOverview (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: Cuando migres desde el método entries.modifyEntryOverview de Data Catalog, usa update_mask para modificar solo el aspecto overview.
projects.locations.entryGroups.entries.tags.reconcile (REST)
ReconcileTags (RPC)		 projects.locations.metadataJobs.create (REST)
CreateMetadataJob (RPC),
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Nota: Cuando migres desde el método projects.locations.entryGroups.entries.reconcileTags de Data Catalog, usa el método projects.locations.metadataJobs.create (REST) o CreateMetadataJob (RPC) con el tipo de trabajo de importación para importar contenido del catálogo para varias entradas. Para actualizar todos los aspectos de una sola entrada, usa el método projects.locations.entryGroups.entries.patch (REST) o UpdateEntry (RPC).
catalog.search (REST)
SearchCatalog (RPC)		 projects.locations.searchEntries (REST)
SearchEntries (RPC)

Nota: Los métodos projects.locations.searchEntries (REST) y SearchEntries (RPC) de Knowledge Catalog no admiten la búsqueda en varias organizaciones. Debes emitir llamadas a la API independientes para cada una de tus organizaciones.

Etiquetas y plantillas de etiquetas

En Knowledge Catalog, los tipos de aspecto son los sucesores de las plantillas de etiquetas de Data Catalog, y los aspectos son los sucesores de las etiquetas de Data Catalog.

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.tagTemplates.create (REST)
CreateTagTemplate (RPC)		 projects.locations.aspectTypes.create (REST)
CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST)
GetTagTemplate (RPC)		 projects.locations.aspectTypes.get (REST)
GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST)
UpdateTagTemplate (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST)
DeleteTagTemplate (RPC)		 projects.locations.aspectTypes.delete (REST)
DeleteAspectType (RPC)
catalog.search (REST) con predicado type=tag_template
SearchCatalog (RPC) con predicado type=tag_template		 projects.locations.aspectTypes.list (REST)
ListAspectTypes (RPC)

Campos de la plantilla de etiqueta

Los campos de la plantilla de etiquetas corresponden al contenido del campo metadata_template en un tipo de aspecto. Para migrar una operación a nivel del campo de Data Catalog, usa la operación UpdateAspectType con la carga útil correspondiente en Knowledge Catalog.

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.tagTemplates.fields.create (REST)
CreateTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST)
UpdateTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST)
RenameTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST)
DeleteTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

Valores de enumeración del campo de plantilla de etiqueta

Al igual que con los campos de plantillas de etiquetas, puedes editar los valores de enumeración en la API de Dataplex modificando el campo metadata_template en el tipo de aspecto correspondiente.

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.tagTemplates.fields.enumValues.rename (REST)
RenameTagTemplateFieldEnumValue (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

Etiquetas

Los aspectos son los sucesores de las etiquetas de Data Catalog. Los aspectos no son recursos independientes y se encapsulan en sus entradas principales. El parámetro field_mask se puede usar para actualizar de forma selectiva un solo aspecto de una entrada.

Método de la API de Data Catalog Método de la API de Dataplex
projects.locations.entryGroups.entries.tags.create (REST)
CreateTag (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST)
ListTags (RPC)		 projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)

Nota: Para limitar la respuesta solo a los aspectos requeridos, usa los parámetros views, aspect_types y paths.
projects.locations.entryGroups.entries.tags.patch (REST)
UpdateTag (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST)
DeleteTag (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Etiquetas y taxonomías de políticas

Estas APIs no cambiarán y, por lo tanto, no es necesario migrarlas.

Fuentes admitidas

  • Detección automática de datos de Cloud Storage

  • Los metadatos de las siguientes fuentes de Google Cloud se transfieren automáticamente a Knowledge Catalog:

    • Intercambios y fichas de BigQuery sharing (anteriormente Analytics Hub)
    • Conjuntos de datos, tablas, vistas, modelos, rutinas, conexiones y conjuntos de datos vinculados de BigQuery
    • Instancias, clústeres y tablas de Bigtable (incluidos los detalles de la familia de columnas)
    • Repositorios de Dataform y recursos de código
    • Servicios, base de datos y tablas de Dataproc Metastore
    • Instancias de Looker (Google Cloud Core), paneles, elementos de paneles, Looks, proyectos de LookML, modelos, Explorar y vistas (versión preliminar)
    • Temas de Pub/Sub
    • Instancias, bases de datos, tablas y vistas de Spanner
    • Modelos, conjuntos de datos, grupos de atributos, vistas de atributos y instancias de almacén en línea de Vertex AI

    • Tablas del catálogo de REST de Iceberg (incluidos el catálogo de IRC de tiempo de ejecución de Google Cloud Lakehouse, el IRC de Unity de Databricks, el IRC del Data Catalog de AWS Glue y el IRC de Horizon de Snowflake)

  • Si la integración de Knowledge Catalog está habilitada, los metadatos de las siguientes Google Cloud fuentes se transfieren automáticamente a Knowledge Catalog:

Para importar metadatos de una fuente externa a Knowledge Catalog, puedes usar una canalización de conectividad administrada. Para obtener más información, consulta la descripción general de la conectividad administrada.

Restricciones de proyecto y ubicación

Los recursos del catálogo en Knowledge Catalog se encuentran en varios proyectos y ubicaciones. Se aplica la siguiente limitación:

  • Ubicación:

    • Entradas:

      • La ubicación de una entrada debe coincidir con la del tipo de entrada, o bien el tipo de entrada debe ser global.
      • Un aspecto agregado a una entrada debe basarse en un tipo de aspecto que se almacene en la misma ubicación que la entrada, o bien el tipo de aspecto debe ser global.
      • Un tipo de entrada debe estar compuesto por tipos de aspectos que se almacenan en la misma ubicación que el tipo de entrada.

    • Vínculos de entrada:

      • La ubicación de un vínculo de entrada debe coincidir con la ubicación del tipo de vínculo de entrada, o bien el tipo de vínculo de entrada debe ser global.
      • Un aspecto agregado a un vínculo de entrada debe basarse en un tipo de aspecto que se almacene en la misma ubicación que el vínculo de entrada, o bien el tipo de aspecto debe ser global.
      • Un tipo de vínculo de entrada debe estar compuesto por tipos de aspectos que se almacenan en la misma ubicación que el tipo de vínculo de entrada.

  • Proyecto:

    • Si un tipo de entrada hace referencia a tipos de aspectos personalizados, estos deben estar en la misma ubicación y proyecto que el tipo de entrada.

Funciones de administración de metadatos que no son compatibles con Knowledge Catalog

Las siguientes funciones disponibles en Data Catalog no son compatibles con Knowledge Catalog:

  • En Knowledge Catalog, no existe el concepto de aspectos privados ni tipos de aspectos privados (equivalentes a las etiquetas privadas y las plantillas de etiquetas privadas en Data Catalog).
  • La búsqueda de etiquetas de política no se admite en la búsqueda de Knowledge Catalog. Por lo tanto, los predicados policytag y policytagid no funcionan en la búsqueda de Knowledge Catalog.
  • Cuando transfieres grupos de entradas personalizados, entradas personalizadas, plantillas de etiquetas y etiquetas de Data Catalog a Knowledge Catalog, no se conservan sus permisos originales. Debes configurar de forma explícita los permisos de IAM para los metadatos copiados antes de usarlos.
  • No se admite el envío directo de los resultados de la inspección de Sensitive Data Protection al catálogo de Knowledge Catalog. En su lugar, puedes enviar los resultados de la inspección de Sensitive Data Protection a Data Catalog y, luego, transferir los resultados a Knowledge Catalog.
  • No puedes enumerar los tipos de entrada, los tipos de vínculos de entrada ni los tipos de aspectos en todos los proyectos con la API. Puedes limitar la solicitud de lista a un solo proyecto.
  • No se admite el registro de lagos, zonas, recursos y entidades como entradas de Knowledge Catalog. Esto significa que los metadatos de Data Catalog que se adjuntan a los lakes, las zonas, los recursos y las entidades no se transfieren al catálogo de Knowledge Catalog. Además, cuando usas la búsqueda de Knowledge Catalog, no se admite la búsqueda de zonas ni entidades, ni el filtrado por lagos y zonas. Puedes usar lagos y zonas de forma independiente del catálogo en Knowledge Catalog.
  • No se admite la búsqueda de administradores, lo que garantiza una recuperación completa. En cambio, puedes exportar metadatos a Cloud Storage y, luego, consultarlos desde BigQuery.

Para comparar las funciones y los recursos compatibles con Knowledge Catalog y Data Catalog, consulta la sección Comparación entre Knowledge Catalog y Data Catalog en este documento.

Precios

Knowledge Catalog usa el SKU de almacenamiento de metadatos para cobrar por el almacenamiento de metadatos. Para obtener más información, consulta los precios de Knowledge Catalog.

No se aplican cargos por usar lo siguiente:

  • Cómo crear y administrar recursos del catálogo en Knowledge Catalog
  • Llamadas a la API de búsqueda para Knowledge Catalog
  • Consultas de búsqueda realizadas en la página de Knowledge Catalog en la consola deGoogle Cloud

¿Qué sigue?