Acerca de los feeds de cambios en los metadatos

En este documento, se proporciona una descripción general de los feeds de cambios de metadatos de Knowledge Catalog (anteriormente, Dataplex Universal Catalog). Estos feeds de cambios de metadatos te permiten hacer un seguimiento de los cambios de metadatos en tu instancia de Knowledge Catalog casi en tiempo real y compilar flujos de trabajo basados en eventos en función de esos cambios.

Supervisión automatizada de cambios de metadatos

En Knowledge Catalog, una entrada representa un recurso de datos, como una tabla de BigQuery, y un aspecto es un conjunto de campos de metadatos relacionados adjuntos a una entrada que la describe. Cuando se crea, actualiza o borra una entrada o un aspecto, Knowledge Catalog publica un mensaje de notificación en un tema de Pub/Sub que especificas. Estas notificaciones, también llamadas feed de cambios de metadatos, contienen información sobre el cambio. Esto incluye cuándo ocurrió el cambio, qué recurso cambió y el tipo de cambio. Para obtener más información sobre las entradas y los aspectos, consulta Acerca de la administración de metadatos en Knowledge Catalog.

En el siguiente diagrama de arquitectura, se muestra cómo Knowledge Catalog captura los cambios de metadatos (crear, actualizar, borrar) y los envía a Pub/Sub para flujos de trabajo basados en eventos posteriores.

Diagrama que muestra cómo se publican los cambios de metadatos de Dataplex en Pub/Sub y cómo los consumen los suscriptores.
Figura 1. Descripción general de los feeds de cambios de metadatos

Para controlar qué cambios generan notificaciones, puedes configurar un feed de cambios de metadatos para supervisar recursos específicos. Para ello, especifica un alcance, como toda tu organización, proyectos específicos o grupos de entradas específicos. Si bien el alcance te permite definir qué recursos supervisar, puedes usar filtros para definir aún más cuándo Knowledge Catalog envía notificaciones. Por ejemplo, es posible que desees recibir notificaciones solo cuando se actualicen las tablas de tipo bigquery-table, pero no cuando se creen o borren. Para ello, puedes aplicar uno o más filtros a tu feed de cambios de metadatos según el tipo de entrada, el tipo de aspecto o el tipo de cambio (CREATE, UPDATE o DELETE).

Por ejemplo, una empresa de venta minorista en línea usa BigQuery para administrar el inventario de productos en un proyecto dedicado. Para supervisar solo los cambios de esquema en sus tablas de inventario, crea un feed de cambios de metadatos con el proyecto como alcance y aplica filtros para entry_type=bigquery-table y change_type=UPDATE. Si se actualiza el esquema de una tabla crítica, como product_stock, este cambio genera una notificación UPDATE que coincide con el filtro del feed de cambios de metadatos. Luego, el feed de cambios de metadatos envía una notificación a un tema de Pub/Sub. Un flujo de trabajo automatizado suscrito a este tema de Pub/Sub puede pausar de inmediato las canalizaciones de informes posteriores y alertar al equipo de administración de inventario para evitar decisiones basadas en datos incoherentes.

Casos de uso

Puedes usar feeds de cambios de metadatos para varios propósitos, incluidos los siguientes:

  • Sincronización de metadatos: Sincroniza continuamente los cambios de metadatos de Knowledge Catalog con un catálogo de datos externo o de terceros, o un índice de búsqueda.
  • Aplicación de políticas: Aplica o actualiza automáticamente las políticas de seguridad cuando cambia un aspecto de clasificación de datos en una entrada.
  • Automatización de la calidad de los datos: Activa un análisis de calidad de los datos o alerta al propietario de los datos cuando cambia el esquema de una tabla.
  • Activación de ETL/ELT: Inicia un trabajo de transformación de datos cuando se crea o actualiza una entrada de tabla nueva.
  • Auditoría: Registra todos los cambios de metadatos en una tabla de auditoría para fines de cumplimiento.

Terminología

Un feed de cambios de metadatos es un recurso de Knowledge Catalog que supervisa los cambios de metadatos (crear, actualizar, borrar) para entradas y aspectos, y envía notificaciones a un tema de Pub/Sub. En la API, este recurso se llama metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Para configurar un feed de cambios de metadatos, define su alcance, filtros y destino. Cuando se produce un cambio de metadatos que coincide con el alcance y los filtros del feed de cambios de metadatos, Knowledge Catalog publica un mensaje de notificación en el tema de Pub/Sub de destino.

Configuración del feed de cambios de metadatos

Para configurar un feed de cambios de metadatos, define lo siguiente:

  • Alcance: Es el conjunto de recursos que se supervisarán para detectar cambios, como toda tu organización, proyectos específicos o grupos de entradas específicos. En la API, debes especificar el nombre del recurso. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un grupo de entradas: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtros: Son los criterios para filtrar qué cambios generan notificaciones según el tipo de entrada, el tipo de aspecto o el tipo de cambio (CREATE, UPDATE, o DELETE). En la API, debes especificar el nombre del recurso. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un tipo de entrada: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Si no especificas ningún filtro, todos los tipos de cambio (CREATE, UPDATE y DELETE) dentro del alcance del feed generan notificaciones.

  • Destino: Es el tema de Pub/Sub en el que Knowledge Catalog publica mensajes de notificación. En la API, debes especificar el nombre del tema. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un tema de Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

En el siguiente ejemplo, se muestra un feed de cambios de metadatos configurado para supervisar los proyectos PROJECT_ID_1 y PROJECT_ID_2 para eventos CREATE, y enviar notificaciones a TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Para obtener instrucciones sobre cómo crear y administrar feeds de cambios de metadatos, consulta Recibe notificaciones con feeds de cambios de metadatos.

Formato del mensaje de notificación

Cuando un cambio de metadatos activa una notificación, Knowledge Catalog publica un mensaje en el tema de Pub/Sub especificado. El detalle del evento de cambio se captura en un mensaje de Pub/Sub. El mensaje consta de atributos para el filtrado y una carga útil de datos con detalles del cambio.

Para obtener más información sobre el consumo de estos mensajes, consulta Consume notification messages.

Atributos

Los atributos permiten filtrar mensajes dentro del tema. Puedes filtrar mensajes en la suscripción con los filtros de suscripción de Pub/Sub.

Los siguientes campos se proporcionan en los atributos:

  • timestamp: Es la marca de tiempo en la que ocurrió el cambio.
  • entry_name: Es el nombre del recurso de la entrada, en el formato projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • feed_name: Es el nombre del recurso del feed de cambios de metadatos, en el formato projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: Es el nombre del recurso del tipo de entrada, en el formato projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Para obtener más información, consulta Tipos de entrada.
  • entry_change_type: Es el tipo de cambio: CREATED, UPDATED o DELETED.

En el siguiente ejemplo, se muestran los atributos de un evento de creación de entrada:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Carga útil de datos

La carga útil de datos del mensaje de Pub/Sub es una cadena JSON que contiene detalles sobre el cambio.

A continuación, se muestra un ejemplo de una carga útil de datos:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Consideraciones sobre los Controles del servicio de VPC

Los feeds de cambios de metadatos cumplen con los Controles del servicio de VPC (VPC-SC).

  • Si un feed de cambios de metadatos tiene alcance de la organización, solo los proyectos dentro del perímetro de los Controles del servicio de VPC del feed de cambios de metadatos generan notificaciones.

  • Si un feed de cambios de metadatos tiene alcance de proyecto o de grupo de entradas, todos los proyectos o grupos de entradas especificados deben residir en el mismo perímetro de los Controles del servicio de VPC que el feed de cambios de metadatos; de lo contrario, falla la creación del feed de cambios de metadatos.

Cuotas y limitaciones

Para obtener información sobre las cuotas relacionadas con los feeds de cambios de metadatos, consulta Cuotas.

Revisa las siguientes limitaciones para los feeds de cambios de metadatos:

  • Entrega: Los feeds de cambios de metadatos entregan notificaciones al menos una vez. Debes controlar los posibles mensajes duplicados en tu suscriptor.

  • Ordenamiento: Knowledge Catalog no garantiza el orden de entrega de los mensajes.

  • Latencia: Las notificaciones de feed de cambios de metadatos son casi en tiempo real.

  • Demora en la activación: Una configuración de feed de cambios de metadatos recién creada o actualizada puede tardar hasta 10 minutos en activarse debido al almacenamiento en caché en el backend.

  • Carga útil: El mensaje de notificación inicial solo contiene firmas de cambio. Por ejemplo, el nombre de la entrada, el tipo de entrada, el tipo de cambio y una lista de tipos o claves de aspectos modificados, y no contiene los datos modificados reales (la carga útil del aspecto). Debes llamar a la API de Dataplex (GetEntry) para recuperar el estado actual de la entrada o el aspecto si es necesario.

  • Aspectos de almacenamiento genéricos: Los feeds de cambios de metadatos no proporcionan compatibilidad con aspectos de almacenamiento genéricos.

Precios

No hay cargos directos por los feeds de cambios de metadatos de Knowledge Catalog. Sin embargo, incurres en costos por los recursos utilizados, como la entrega de mensajes de Pub/Sub, el almacenamiento y la salida de datos. Consulta los precios de Pub/Sub pricing.

¿Qué sigue?