메타데이터 변경 피드 정보

이 문서에서는 Dataplex Universal Catalog 메타데이터 변경 피드를 간략하게 설명합니다. 이러한 메타데이터 변경 피드를 사용하면 Dataplex Universal Catalog 인스턴스에서 메타데이터 변경사항을 거의 실시간으로 추적하고 이러한 변경사항을 기반으로 이벤트 기반 워크플로를 빌드할 수 있습니다.

메타데이터 변경사항 자동 모니터링

Dataplex Universal Catalog에서 항목은 BigQuery 테이블과 같은 데이터 애셋을 나타내고, 관점은 항목에 연결되어 항목을 설명하는 관련 메타데이터 필드의 집합입니다. 항목이나 관점이 생성, 업데이트 또는 삭제되면 Dataplex Universal Catalog에서 지정한 Pub/Sub 주제에 알림 메시지를 게시합니다. 메타데이터 변경 피드라고도 하는 이러한 알림에는 변경사항에 관한 정보가 포함됩니다. 여기에는 변경이 발생한 시점, 변경된 리소스, 변경 유형이 포함됩니다. 항목 및 관점에 대한 자세한 내용은 Dataplex Universal Catalog의 메타데이터 관리 정보를 참고하세요.

다음 아키텍처 다이어그램은 Dataplex Universal Catalog가 메타데이터 변경사항 (생성, 업데이트, 삭제)을 캡처하고 다운스트림 이벤트 기반 워크플로를 위해 Pub/Sub로 푸시하는 방법을 보여줍니다.

Dataplex 메타데이터 변경사항이 Pub/Sub에 게시되고 구독자가 사용하는 방식을 보여주는 다이어그램 — **그림 1.** 메타데이터 변경 피드 개요

알림을 생성하는 변경사항을 제어하려면 특정 리소스를 모니터링하도록 메타데이터 변경 피드를 구성하면 됩니다. 전체 조직, 특정 프로젝트 또는 특정 항목 그룹과 같은 범위를 지정하여 이 작업을 실행합니다. 범위를 사용하면 모니터링할 리소스를 지정할 수 있으며, 필터를 사용하면 Dataplex Universal Catalog에서 알림을 전송할 시기를 더 세부적으로 조정할 수 있습니다. 예를 들어 bigquery-table 유형의 테이블이 업데이트될 때만 알림을 받고 싶고 생성되거나 삭제될 때는 알림을 받고 싶지 않을 수 있습니다. 이렇게 하려면 항목 유형, 관점 유형 또는 변경 유형 (CREATE, UPDATE 또는 DELETE)에 따라 메타데이터 변경 피드에 하나 이상의 필터를 적용하면 됩니다.

예를 들어 온라인 소매업체는 BigQuery를 사용하여 전용 프로젝트에서 제품 인벤토리를 관리합니다. 인벤토리 테이블의 스키마 변경사항만 모니터링하기 위해 프로젝트를 범위로 사용하여 메타데이터 변경 피드를 만들고 entry_type=bigquery-table 및 change_type=UPDATE 필터를 적용합니다. product_stock과 같은 중요 테이블의 스키마가 업데이트되면 이 변경사항은 메타데이터 변경 피드의 필터와 일치하는 UPDATE 알림을 생성합니다. 그러면 메타데이터 변경 피드에서 Pub/Sub 주제로 알림을 전송합니다. 이 Pub/Sub 주제를 구독하는 자동화된 워크플로를 사용하면 다운스트림 보고 파이프라인을 즉시 일시중지하고 인벤토리 관리팀에 알림을 보내 일관되지 않은 데이터를 기반으로 한 결정을 방지할 수 있습니다.

사용 사례

메타데이터 변경 피드는 다음과 같은 다양한 용도로 사용할 수 있습니다.

메타데이터 동기화: Dataplex Universal Catalog 메타데이터 변경사항을 외부 또는 서드 파티 데이터 카탈로그 또는 검색 색인과 지속적으로 동기화합니다.
정책 시행: 항목의 데이터 분류 측면이 변경될 때 보안 정책을 자동으로 적용하거나 업데이트합니다.
데이터 품질 자동화: 테이블의 스키마가 변경될 때 데이터 품질 스캔을 트리거하거나 데이터 소유자에게 알립니다.
ETL/ELT 트리거: 새 테이블 항목이 생성되거나 업데이트될 때 데이터 변환 작업을 시작합니다.
감사: 규정 준수 목적으로 모든 메타데이터 변경사항을 감사 테이블에 기록합니다.

용어

메타데이터 변경 피드는 항목 및 관점의 메타데이터 변경사항 (생성, 업데이트, 삭제)을 모니터링하고 Pub/Sub 주제에 알림을 전송하는 Dataplex Universal Catalog 리소스입니다. API에서 이 리소스는 metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID)라고 합니다.

범위, 필터, 대상을 정의하여 메타데이터 변경 피드를 구성합니다. 메타데이터 변경 피드의 범위 및 필터와 일치하는 메타데이터 변경이 발생하면 Dataplex Universal Catalog는 대상 Pub/Sub 주제에 알림 메시지를 게시합니다.

메타데이터 변경 피드 구성

다음을 정의하여 메타데이터 변경 피드를 구성할 수 있습니다.

범위: 변경사항을 모니터링할 리소스 집합입니다(예: 전체 조직, 특정 프로젝트, 특정 항목 그룹). API에서는 리소스 이름을 지정합니다. 다음 예에서는 항목 그룹의 리소스 이름 형식을 보여줍니다. projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID
필터: 항목 유형, 측면 유형 또는 변경 유형 (CREATE, UPDATE 또는 DELETE)에 따라 알림을 생성하는 변경사항을 필터링하는 기준입니다. API에서는 리소스 이름을 지정합니다. 다음 예에서는 항목 유형의 리소스 이름 형식을 보여줍니다.projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE 필터를 지정하지 않으면 피드의 범위 내에 있는 모든 변경 유형 (CREATE, UPDATE, DELETE)에서 알림이 생성됩니다.
대상: Dataplex Universal Catalog가 알림 메시지를 게시하는 Pub/Sub 주제입니다. API에서 주제 이름을 지정합니다. 다음 예에서는 Pub/Sub 주제의 리소스 이름 형식을 보여줍니다. projects/PROJECT_ID/topics/TOPIC_ID

다음 예는 CREATE 이벤트를 위해 PROJECT_ID_1 및 PROJECT_ID_2 프로젝트를 모니터링하고 TOPIC_ID에 알림을 전송하도록 구성된 메타데이터 변경 피드를 보여줍니다.

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

메타데이터 변경 피드를 만들고 관리하는 방법은 메타데이터 변경 피드로 알림 받기를 참고하세요.

알림 메시지 형식

메타데이터 변경으로 알림이 트리거되면 Dataplex Universal Catalog는 지정된 Pub/Sub 주제에 메시지를 게시합니다. 변경 이벤트 세부정보는 Pub/Sub 메시지에 캡처됩니다. 메시지는 필터링을 위한 속성과 변경사항의 세부정보가 포함된 데이터 페이로드로 구성됩니다.

이러한 메시지 사용에 대한 자세한 내용은 알림 메시지 사용을 참고하세요.

속성

속성을 사용하면 주제 내에서 메시지를 필터링할 수 있습니다. Pub/Sub 구독 필터를 사용하여 구독에서 메시지를 필터링할 수 있습니다.

다음 필드는 속성에 제공됩니다.

timestamp: 변경이 발생한 시점의 타임스탬프입니다.
entry_name: 항목의 리소스 이름(projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID 형식)
entry_fqn: 항목의 정규화된 이름입니다.
feed_name: 메타데이터 변경 피드의 리소스 이름입니다(projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID 형식).
entry_type: 항목 유형의 리소스 이름(projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID 형식) 자세한 내용은 항목 유형을 참고하세요.
entry_change_type: 변경 유형(CREATED, UPDATED 또는 DELETED)입니다.

다음 예시는 항목 생성 이벤트의 속성을 보여줍니다.

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

데이터 페이로드

Pub/Sub 메시지의 데이터 페이로드는 변경사항에 관한 세부정보가 포함된 JSON 문자열입니다.

다음은 데이터 페이로드의 예입니다.

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "full_qualified_name": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

VPC 서비스 제어 고려사항

메타데이터 변경 피드는 VPC 서비스 제어 (VPC-SC)를 준수합니다.

메타데이터 변경 피드가 조직 범위인 경우 메타데이터 변경 피드의 VPC 서비스 제어 경계 내에 있는 프로젝트만 알림을 생성합니다.
메타데이터 변경 피드가 프로젝트 또는 항목 그룹 범위인 경우 지정된 모든 프로젝트 또는 항목 그룹이 메타데이터 변경 피드와 동일한 VPC 서비스 제어 경계에 있어야 합니다. 그렇지 않으면 메타데이터 변경 피드 생성이 실패합니다.

할당량 및 제한사항

메타데이터 변경 피드와 관련된 할당량에 대한 자세한 내용은 할당량을 참고하세요.

메타데이터 변경 피드에 대한 다음 제한사항을 검토하세요.

전송: 메타데이터 변경 피드는 '한 번 이상' 기준으로 알림을 전송합니다. 구독자에서 중복될 수 있는 메시지를 처리해야 합니다.
순서 지정: Dataplex Universal Catalog는 메시지 전송 순서를 보장하지 않습니다.
지연 시간: 거의 실시간이지만 알림의 타겟 지연 시간은 3~10분입니다.
활성화 지연: 새로 생성되거나 업데이트된 메타데이터 변경 피드 구성이 백엔드에서 캐싱으로 인해 활성화되는 데 최대 10분이 걸릴 수 있습니다.
페이로드: 초기 알림 메시지에는 변경 서명만 포함됩니다. 예를 들어 항목 이름, 항목 유형, 변경 유형, 변경된 측면 유형 또는 키 목록이 포함되며 실제 변경된 데이터 (측면 페이로드)는 포함되지 않습니다. 필요한 경우 Dataplex Universal Catalog API(GetEntry)를 호출하여 항목 또는 관점의 현재 상태를 검색해야 합니다.

가격 책정

Dataplex Universal Catalog 메타데이터 변경 피드에는 직접 요금이 부과되지 않습니다. 하지만 Pub/Sub 메시지 전송, 스토리지, 데이터 이그레스와 같은 사용된 리소스에 대한 비용이 발생합니다. Pub/Sub 가격 책정을 참고하세요.

다음 단계

메타데이터 변경 피드로 메타데이터 알림을 수신하는 방법을 알아봅니다.
메타데이터 변경 피드 문제 해결

메타데이터 변경 피드 정보 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.