Acerca de los feeds de cambios en los metadatos

Los feeds de cambios de metadatos de Knowledge Catalog (anteriormente, Dataplex Universal Catalog) te permiten hacer un seguimiento de los cambios en los metadatos de las entradas y los aspectos de tu organización, proyectos o grupos de entradas en tiempo casi real y compilar flujos de trabajo basados en eventos. Para crear y administrar estos feeds, consulta Recibe notificaciones con feeds de cambios de metadatos.

Cómo funcionan los feeds de cambios de metadatos

En Knowledge Catalog, una entrada representa un recurso de datos, como una tabla de BigQuery, y un aspecto es un conjunto de campos de metadatos relacionados adjuntos a una entrada que la describe. Cuando se crea, actualiza o borra una entrada o un aspecto, Knowledge Catalog publica un mensaje de notificación en un tema de Pub/Sub que especifiques. Estas notificaciones, también llamadas feed de cambios de metadatos, contienen información sobre el cambio. Esto incluye cuándo se produjo el cambio, qué recurso cambió y el tipo de cambio. Para obtener más información sobre las entradas y los aspectos, consulta Acerca de la administración de metadatos en Knowledge Catalog.

En el siguiente diagrama de arquitectura, se muestra cómo Knowledge Catalog captura los cambios en los metadatos (creación, actualización y eliminación) y los envía a Pub/Sub para los flujos de trabajo controlados por eventos downstream.

Los cambios en los metadatos de Dataplex se publican en Pub/Sub y los consumen los flujos de trabajo de los suscriptores downstream.
Figura 1: Descripción general de los feeds de cambios de metadatos

Para controlar qué cambios generan notificaciones, puedes configurar un feed de cambios de metadatos para supervisar recursos específicos. Para ello, especifica un permiso, como toda tu organización, proyectos específicos o grupos de entradas específicos. Si bien el alcance te permite definir qué recursos supervisar, puedes usar filtros para definir mejor cuándo Knowledge Catalog envía notificaciones. Por ejemplo, es posible que quieras recibir notificaciones solo cuando se actualicen las tablas de tipo bigquery-table, pero no cuando se creen o borren. Para ello, puedes aplicar uno o más filtros a tu feed de cambios de metadatos según el tipo de entrada, el tipo de aspecto o el tipo de cambio (CREATE, UPDATE o DELETE).

Por ejemplo, una empresa de venta minorista en línea usa BigQuery para administrar el inventario de productos en un proyecto dedicado. Para supervisar solo los cambios de esquema en sus tablas de inventario, crean un feed de cambios de metadatos con el proyecto como alcance y aplican filtros para entry_type=bigquery-table y change_type=UPDATE. Si se actualiza el esquema de una tabla crítica, como product_stock, este cambio genera una notificación de UPDATE que coincide con el filtro del feed de cambios de metadatos. Luego, el feed de cambios de metadatos envía una notificación a un tema de Pub/Sub. Un flujo de trabajo automatizado suscrito a este tema de Pub/Sub puede pausar de inmediato las canalizaciones de informes downstream y alertar al equipo de administración de inventario para evitar que se tomen decisiones basadas en datos incoherentes.

Casos de uso del feed de cambios de metadatos

Puedes usar los feeds de cambios de metadatos para varios propósitos, incluidos los siguientes:

  • Sincronización de metadatos: Sincroniza de forma continua los cambios en los metadatos de Knowledge Catalog con un Data Catalog o un índice de búsqueda externos o de terceros.
  • Aplicación de políticas: Aplica o actualiza automáticamente las políticas de seguridad cuando cambia un aspecto de la clasificación de datos en una entrada.
  • Automatización de la calidad de los datos: Activa un análisis de calidad de los datos o alerta al propietario de los datos cuando cambia el esquema de una tabla.
  • Activación de ETL/ELT: Inicia un trabajo de transformación de datos cuando se crea o actualiza una entrada de tabla nueva.
  • Auditoría: Registra todos los cambios de metadatos en una tabla de auditoría para fines de cumplimiento.

Conceptos básicos y configuración

Un feed de cambios de metadatos es un recurso de Knowledge Catalog que supervisa los cambios de metadatos (creación, actualización y eliminación) de las entradas y los aspectos, y envía notificaciones a un tema de Pub/Sub. En la API, este recurso se llama metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Para configurar un feed de cambios de metadatos, define su alcance, sus filtros y su destino. Cuando se produce un cambio de metadatos que coincide con el alcance y los filtros del feed de cambios de metadatos, Knowledge Catalog publica un mensaje de notificación en el tema de Pub/Sub de destino.

Configuración del feed de cambios de metadatos

Para configurar un feed de cambios de metadatos, define lo siguiente:

  • Alcance: Es el conjunto de recursos que se supervisarán para detectar cambios, como toda tu organización, proyectos específicos o grupos de entradas específicos. En la API, debes especificar el nombre del recurso. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un grupo de entradas: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filtros: Son criterios para filtrar qué cambios generan notificaciones según el tipo de entrada, el tipo de aspecto o el tipo de cambio (CREATE, UPDATE o DELETE). En la API, debes especificar el nombre del recurso. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un tipo de entrada: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Si no especificas ningún filtro, todos los tipos de cambios (CREATE, UPDATE y DELETE) dentro del alcance del feed generarán notificaciones.

  • Destino: Es el tema de Pub/Sub en el que Knowledge Catalog publica los mensajes de notificación. En la API, debes especificar el nombre del tema. En el siguiente ejemplo, se muestra el formato del nombre del recurso para un tema de Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

En el siguiente ejemplo, se muestra un feed de cambios de metadatos configurado para supervisar los proyectos PROJECT_ID_1 y PROJECT_ID_2 en busca de eventos CREATE, y enviar notificaciones a TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Formato de los mensajes de notificación

Cuando un cambio de metadatos activa una notificación, Knowledge Catalog publica un mensaje en el tema de Pub/Sub especificado. El detalle del evento de cambio se captura en un mensaje de Pub/Sub. El mensaje consta de atributos para el filtrado y una carga útil de datos con detalles del cambio.

Para obtener más información sobre cómo consumir estos mensajes, consulta Consume mensajes de notificación.

Atributos

Los atributos permiten filtrar los mensajes dentro del tema. Puedes filtrar mensajes en la suscripción con los filtros de suscripción de Pub/Sub.

En los atributos, se proporcionan los siguientes campos:

  • timestamp: Es la marca de tiempo en la que se produjo el cambio.
  • entry_name: Es el nombre del recurso de la entrada, con el formato projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • feed_name: Es el nombre del recurso del feed de cambios de metadatos, con el formato projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: Es el nombre del recurso del tipo de entrada, en el formato projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Para obtener más información, consulta Tipos de entradas.
  • entry_change_type: Es el tipo de cambio: CREATED, UPDATED o DELETED.

En el siguiente ejemplo, se muestran los atributos de un evento de creación de entrada:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Carga útil de datos

La carga útil de datos del mensaje de Pub/Sub es una cadena JSON que contiene detalles sobre el cambio.

A continuación, se muestra un ejemplo de una carga útil de datos:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Consideraciones sobre los Controles del servicio de VPC

Los feeds de cambios de metadatos cumplen con los Controles del servicio de VPC (VPC-SC).

  • Si un feed de cambios de metadatos tiene alcance de organización, solo los proyectos dentro del perímetro de los Controles del servicio de VPC del feed de cambios de metadatos generan notificaciones.

  • Si un feed de cambios de metadatos tiene alcance de proyecto o de grupo de entradas, todos los proyectos o grupos de entradas especificados deben residir en el mismo perímetro de Controles del servicio de VPC que el feed de cambios de metadatos; de lo contrario, fallará la creación del feed de cambios de metadatos.

Cuotas y limitaciones

Para obtener información sobre las cuotas relacionadas con los feeds de cambios de metadatos, consulta Cuotas y límites de Knowledge Catalog.

Revisa las siguientes limitaciones de los feeds de cambios de metadatos:

  • Entrega: Los feeds de cambios de metadatos entregan notificaciones "al menos una vez". Debes controlar los posibles mensajes duplicados en tu suscriptor.

  • Orden: Knowledge Catalog no garantiza el orden de entrega de los mensajes.

  • Latencia: Las notificaciones del feed de cambios de metadatos se realizan casi en tiempo real.

  • Demora en la activación: Una configuración de feed de cambios de metadatos recién creada o actualizada puede tardar hasta 10 minutos en activarse debido al almacenamiento en caché en el backend.

  • Carga útil: El mensaje de notificación inicial solo contiene firmas de cambio. Por ejemplo, el nombre de la entrada, el tipo de entrada, el tipo de cambio y una lista de los tipos o claves de aspecto modificados, y no contiene los datos modificados reales (la carga útil del aspecto). Debes llamar a la API de Dataplex (GetEntry) para recuperar el estado actual de la entrada o el aspecto si es necesario.

  • Aspectos de almacenamiento genéricos: Los feeds de cambios de metadatos no admiten aspectos de almacenamiento genéricos.

Precios

Knowledge Catalog ofrece feeds de cambios de metadatos sin cargo adicional. Sin embargo, se generan costos por los recursos que se usan, como la entrega de mensajes, el almacenamiento y la salida de datos de Pub/Sub. Para obtener más información, consulta Precios de Pub/Sub.

¿Qué sigue?