Acerca de los feeds de cambios en los metadatos

En este documento, se proporciona una descripción general de los feeds de cambios de metadatos de Dataplex Universal Catalog. Estos feeds de cambios de metadatos te permiten hacer un seguimiento de los cambios de metadatos en tu instancia de Dataplex Universal Catalog casi en tiempo real y crear flujos de trabajo basados en eventos a partir de esos cambios.

Supervisión automatizada de los cambios en los metadatos

En Dataplex Universal Catalog, una entrada representa un recurso de datos, como una tabla de BigQuery, y un aspecto es un conjunto de campos de metadatos relacionados adjuntos a una entrada que la describen. Cuando se crea, actualiza o borra una entrada o un aspecto, Dataplex Universal Catalog publica un mensaje de notificación en un tema de Pub/Sub que especifiques. Estas notificaciones, también llamadas feed de cambios de metadatos, contienen información sobre el cambio. Esto incluye cuándo ocurrió el cambio, qué recurso cambió y el tipo de cambio. Para obtener más información sobre las entradas y los aspectos, consulta Acerca de la administración de metadatos en Dataplex Universal Catalog.

En el siguiente diagrama de arquitectura, se muestra cómo Dataplex Universal Catalog captura los cambios de metadatos (crear, actualizar, borrar) y los envía a Pub/Sub para los flujos de trabajo basados en eventos posteriores.

Diagrama que muestra cómo se publican los cambios de metadatos de Dataplex en Pub/Sub y cómo los consumen los suscriptores.
Figura 1: Descripción general de los feeds de cambios en los metadatos

Para controlar qué cambios generan notificaciones, puedes configurar un feed de cambios de metadatos para supervisar recursos específicos. Para ello, debes especificar un alcance, como toda tu organización, proyectos específicos o grupos de entradas específicos. Si bien el alcance te permite definir qué recursos supervisar, puedes usar filtros para definir con mayor precisión cuándo Dataplex Universal Catalog envía notificaciones. Por ejemplo, es posible que desees recibir notificaciones solo cuando se actualicen las tablas de tipo bigquery-table, pero no cuando se creen o borren. Para ello, puedes aplicar uno o más filtros a tu feed de cambios de metadatos según el tipo de entrada, el tipo de aspecto o el tipo de cambio (CREATE, UPDATE o DELETE).

Por ejemplo, una empresa de venta minorista en línea usa BigQuery para administrar el inventario de productos en un proyecto dedicado. Para supervisar solo los cambios de esquema en sus tablas de inventario, crean un feed de cambios de metadatos con el proyecto como alcance y aplican filtros para entry_type=bigquery-table y change_type=UPDATE. Si se actualiza el esquema de una tabla crítica, como product_stock, este cambio genera una notificación UPDATE que coincide con el filtro del feed de cambios de metadatos. Luego, el feed de cambios de metadatos envía una notificación a un tema de Pub/Sub. Un flujo de trabajo automatizado suscrito a este tema de Pub/Sub puede pausar de inmediato las canalizaciones de informes posteriores y alertar al equipo de administración de inventario para evitar decisiones basadas en datos incoherentes.

Casos de uso

Puedes usar los feeds de cambios de metadatos para varios propósitos, incluidos los siguientes:

  • Sincronización de metadatos: Sincroniza de forma continua los cambios en los metadatos de Dataplex Universal Catalog con un catálogo de datos o un índice de búsqueda externos o de terceros.
  • Aplicación de políticas: Aplica o actualiza automáticamente las políticas de seguridad cuando cambia un aspecto de la clasificación de datos en una entrada.
  • Automatización de la calidad de los datos: Desencadena un análisis de calidad de los datos o alerta al propietario de los datos cuando cambia el esquema de una tabla.
  • Activación de ETL/ELT: Inicia un trabajo de transformación de datos cuando se crea o actualiza una nueva entrada de tabla.
  • Auditoría: Registra todos los cambios de metadatos en una tabla de auditoría para fines de cumplimiento.

Terminología

Un feed de cambios de metadatos es un recurso de Dataplex Universal Catalog que supervisa los cambios de metadatos (creación, actualización y eliminación) de las entradas y los aspectos, y envía notificaciones a un tema de Pub/Sub. En la API, este recurso se llama metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Para configurar un feed de cambios de metadatos, debes definir su alcance, filtros y destino. Cuando se produce un cambio en los metadatos que coincide con el alcance y los filtros del feed de cambios en los metadatos, Dataplex Universal Catalog publica un mensaje de notificación en el tema de Pub/Sub de destino.

Configuración del feed de cambios de metadatos

Puedes configurar un feed de cambios de metadatos definiendo lo siguiente:

  • Alcance: Es el conjunto de recursos que se supervisan para detectar cambios, como toda tu organización, proyectos específicos o grupos de entradas específicos. En la API, debes especificar el nombre del recurso. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un grupo de entradas: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtros: Son criterios para filtrar qué cambios generan notificaciones según el tipo de entrada, el tipo de aspecto o el tipo de cambio (CREATE, UPDATE o DELETE). En la API, se especifica el nombre del recurso. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un tipo de entrada: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Si no especificas ningún filtro, todos los tipos de cambios (CREATE, UPDATE y DELETE) dentro del alcance del feed generarán notificaciones.

  • Destino: Es el tema de Pub/Sub en el que Dataplex Universal Catalog publica mensajes de notificación. En la API, debes especificar el nombre del tema. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un tema de Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

En el siguiente ejemplo, se muestra un feed de cambios de metadatos configurado para supervisar los proyectos PROJECT_ID_1 y PROJECT_ID_2 en busca de eventos CREATE y enviar notificaciones a TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Para obtener instrucciones sobre cómo crear y administrar feeds de cambios de metadatos, consulta Cómo recibir notificaciones con feeds de cambios de metadatos.

Formato del mensaje de notificación

Cuando un cambio de metadatos activa una notificación, Dataplex Universal Catalog publica un mensaje en el tema de Pub/Sub especificado. El detalle del evento de cambio se captura en un mensaje de Pub/Sub. El mensaje consta de atributos para filtrar y una carga útil de datos con detalles del cambio.

Para obtener más información sobre cómo consumir estos mensajes, consulta Consume mensajes de notificación.

Atributos

Los atributos permiten filtrar mensajes dentro del tema. Puedes filtrar mensajes en la suscripción con filtros de suscripción a Pub/Sub.

Los siguientes campos se proporcionan en los atributos:

  • timestamp: Es la marca de tiempo en la que se produjo el cambio.
  • entry_name: Es el nombre del recurso de la entrada, en el formato projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • entry_fqn: Es el nombre completamente calificado de la entrada.
  • feed_name: Es el nombre del recurso del feed de cambios de metadatos, con el formato projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: Es el nombre del recurso del tipo de entrada, en el formato projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Para obtener más información, consulta Tipos de entrada.
  • entry_change_type: Es el tipo de cambio: CREATED, UPDATED o DELETED.

En el siguiente ejemplo, se muestran los atributos de un evento de creación de entrada:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Carga útil de datos

La carga útil de datos del mensaje de Pub/Sub es una cadena JSON que contiene detalles sobre el cambio.

A continuación, se muestra un ejemplo de una carga útil de datos:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "full_qualified_name": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Consideraciones sobre los Controles del servicio de VPC

Los feeds de cambios de metadatos cumplen con los Controles del servicio de VPC (VPC-SC).

  • Si un feed de cambios de metadatos tiene alcance para toda la organización, solo los proyectos dentro del perímetro de Controles del servicio de VPC del feed de cambios de metadatos generan notificaciones.

  • Si un feed de cambios de metadatos tiene un alcance de proyecto o de grupo de entradas, todos los proyectos o grupos de entradas especificados deben residir en el mismo perímetro de Controles del servicio de VPC que el feed de cambios de metadatos. De lo contrario, se producirá un error en la creación del feed de cambios de metadatos.

Cuotas y limitaciones

Para obtener información sobre las cuotas relacionadas con los feeds de cambios de metadatos, consulta Cuotas.

Revisa las siguientes limitaciones de los feeds de cambios de metadatos:

  • Entrega: Los feeds de cambios de metadatos envían notificaciones "al menos una vez". Debes controlar los posibles mensajes duplicados en tu suscriptor.

  • Orden: Dataplex Universal Catalog no garantiza el orden de entrega de los mensajes.

  • Latencia: Si bien es casi en tiempo real, la latencia objetivo es de 3 a 10 minutos para las notificaciones.

  • Demora en la activación: Una configuración de feed de cambios de metadatos recién creada o actualizada puede tardar hasta 10 minutos en activarse debido al almacenamiento en caché en el backend.

  • Carga útil: El mensaje de notificación inicial solo contiene firmas de cambio. Por ejemplo, el nombre de la entrada, el tipo de entrada, el tipo de cambio y una lista de los tipos o las claves de los aspectos modificados, y no contiene los datos modificados reales (la carga útil del aspecto). Si es necesario, debes llamar a la API de Dataplex Universal Catalog (GetEntry) para recuperar el estado actual de la entrada o el aspecto.

Precios

No se aplican cargos directos por los feeds de cambios de metadatos de Dataplex Universal Catalog. Sin embargo, generas costos por los recursos que se usan, como la entrega de mensajes de Pub/Sub, el almacenamiento y la salida de datos. Consulta los precios de Pub/Sub.

¿Qué sigue?