Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

메타데이터 변경 피드 정보

이 문서에서는 Knowledge Catalog (이전의 Dataplex Universal Catalog) 메타데이터 변경 피드에 대한 개요를 제공합니다. 이러한 메타데이터 변경 피드를 사용하면 Knowledge Catalog 인스턴스에서 메타데이터 변경사항을 거의 실시간으로 추적하고 이러한 변경사항을 기반으로 이벤트 기반 워크플로를 빌드할 수 있습니다.

메타데이터 변경사항 자동 모니터링

Knowledge Catalog에서 항목은 BigQuery 테이블과 같은 데이터 애셋을 나타내고 관점은 항목에 연결되어 항목을 설명하는 관련 메타데이터 필드 집합입니다. 항목 또는 관점이 생성, 업데이트 또는 삭제되면 Knowledge Catalog는 지정한 Pub/Sub 주제에 알림 메시지를 게시합니다. 메타데이터 변경 피드라고도 하는 이러한 알림에는 변경사항에 대한 정보가 포함됩니다. 여기에는 변경이 발생한 시점, 변경된 리소스, 변경 유형이 포함됩니다. 항목 및 관점에 대한 자세한 내용은 Knowledge Catalog의 메타데이터 관리를 참고하세요.

다음 아키텍처 다이어그램은 Knowledge Catalog가 메타데이터 변경사항 (생성, 업데이트, 삭제)을 캡처하고 다운스트림 이벤트 기반 워크플로를 위해 Pub/Sub로 푸시하는 방법을 보여줍니다.

Dataplex 메타데이터 변경사항이 Pub/Sub에 게시되고 구독자가 소비하는 방식을 보여주는 다이어그램 — **그림 1.** 메타데이터 변경 피드 개요

알림을 생성하는 변경사항을 제어하려면 특정 리소스를 모니터링하도록 메타데이터 변경 피드를 구성하면 됩니다. 전체 조직, 특정 프로젝트 또는 특정 항목 그룹과 같은 범위를 지정하여 이 작업을 수행합니다. 범위를 사용하면 모니터링할 리소스를 정의할 수 있지만 필터를 사용하여 Knowledge Catalog가 알림을 전송하는 시점을 추가로 세분화할 수 있습니다. 예를 들어 bigquery-table 유형의 테이블이 업데이트될 때만 알림을 수신하고 생성되거나 삭제될 때는 알림을 수신하지 않을 수 있습니다. 이렇게 하려면 항목 유형, 관점 유형 또는 변경 유형 (CREATE, UPDATE 또는 DELETE)을 기반으로 메타데이터 변경 피드에 하나 이상의 필터를 적용하면 됩니다.

예를 들어 온라인 소매업체는 BigQuery를 사용하여 전용 프로젝트에서 제품 재고를 관리합니다. 재고 테이블의 스키마 변경사항만 모니터링하기 위해 프로젝트를 범위로 사용하여 메타데이터 변경 피드를 만들고 entry_type=bigquery-table 및 change_type=UPDATE 필터를 적용합니다. product_stock과 같은 중요한 테이블의 스키마가 업데이트되면 이 변경사항은 메타데이터 변경 피드의 필터와 일치하는 UPDATE 알림을 생성합니다. 그러면 메타데이터 변경 피드가 Pub/Sub 주제에 알림을 전송합니다. 이 Pub/Sub 주제를 구독하는 자동화된 워크플로는 다운스트림 보고 파이프라인을 즉시 일시중지하고 인벤토리 관리팀에 일관성 없는 데이터를 기반으로 의사결정을 내리지 않도록 알릴 수 있습니다.

사용 사례

메타데이터 변경 피드는 다음과 같은 다양한 용도로 사용할 수 있습니다.

메타데이터 동기화: Knowledge Catalog 메타데이터 변경사항을 외부 또는 서드 파티 데이터 카탈로그 또는 검색 색인에 지속적으로 동기화합니다.
정책 적용: 항목에서 데이터 분류 관점이 변경되면 보안 정책을 자동으로 적용하거나 업데이트합니다.
데이터 품질 자동화: 테이블의 스키마가 변경되면 데이터 품질 스캔을 트리거하거나 데이터 소유자에게 알립니다.
ETL/ELT 트리거링: 새 테이블 항목이 생성되거나 업데이트되면 데이터 변환 작업을 시작합니다.
감사: 규정 준수를 위해 모든 메타데이터 변경사항을 감사 테이블에 로깅합니다.

용어

메타데이터 변경 피드는 항목 및 관점의 메타데이터 변경사항 (생성, 업데이트, 삭제)을 모니터링하고 Pub/Sub 주제에 알림을 전송하는 Knowledge Catalog 리소스입니다. API에서 이 리소스는 metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID)라고 합니다.

범위, 필터, 대상을 정의하여 메타데이터 변경 피드를 구성합니다. 메타데이터 변경 피드의 범위 및 필터와 일치하는 메타데이터 변경이 발생하면 Knowledge Catalog는 대상 Pub/Sub 주제에 알림 메시지를 게시합니다.

메타데이터 변경 피드 구성

다음을 정의하여 메타데이터 변경 피드를 구성할 수 있습니다.

범위: 전체 조직, 특정 프로젝트 또는 특정 항목 그룹과 같이 변경사항을 모니터링할 리소스 집합입니다. API에서 리소스 이름을 지정합니다. 다음 예에서는 항목 그룹의 리소스 이름 형식을 보여줍니다. projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.
필터: 항목 유형, 관점 유형 또는 변경 유형 (CREATE, UPDATE, DELETE)을 기반으로 알림을 생성하는 변경사항을 필터링하는 기준입니다. API에서 리소스 이름을 지정합니다. 다음 예에서는 항목 유형의 리소스 이름 형식을 보여줍니다. projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. 필터를 지정하지 않으면 피드의 범위 내에 있는 모든 변경 유형 (CREATE, UPDATE, DELETE)이 알림을 생성합니다.
대상: Knowledge Catalog가 알림 메시지를 게시하는 Pub/Sub 주제입니다. API에서 주제 이름을 지정합니다. 다음 예에서는 Pub/Sub 주제의 리소스 이름 형식을 보여줍니다. projects/PROJECT_ID/topics/TOPIC_ID.

다음 예에서는 CREATE 이벤트를 위해 프로젝트 PROJECT_ID_1 및 PROJECT_ID_2를 모니터링하고 TOPIC_ID에 알림을 전송하도록 구성된 메타데이터 변경 피드를 보여줍니다.

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

메타데이터 변경 피드를 만들고 관리하는 방법은 메타데이터 변경 피드로 알림 수신을 참고하세요.

알림 메시지 형식

메타데이터 변경으로 인해 알림이 트리거되면 Knowledge Catalog는 지정된 Pub/Sub 주제에 메시지를 게시합니다. 변경 이벤트 세부정보는 Pub/Sub 메시지에 캡처됩니다. 메시지는 필터링을 위한 속성과 변경 세부정보가 포함된 데이터 페이로드로 구성됩니다.

이러한 메시지 사용에 대한 자세한 내용은 알림 메시지 사용을 참고하세요.

속성

속성을 사용하면 주제 내에서 메시지를 필터링할 수 있습니다. Pub/Sub 구독 필터를 사용하여 구독에서 메시지를 필터링할 수 있습니다.

속성에는 다음 필드가 제공됩니다.

timestamp: 변경이 발생한 시점의 타임스탬프입니다.
entry_name: 항목의 리소스 이름으로, projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID 형식입니다.
feed_name: 메타데이터 변경 피드의 리소스 이름으로, 형식 projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID입니다.
entry_type: 항목 유형의 리소스 이름으로, projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID 형식입니다. 자세한 내용은 항목 유형을 참고하세요.
entry_change_type: 변경 유형으로, CREATED, UPDATED 또는 DELETED입니다.

다음 예에서는 항목 생성 이벤트의 속성을 보여줍니다.

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

데이터 페이로드

Pub/Sub 메시지의 데이터 페이로드는 변경 세부정보가 포함된 JSON 문자열입니다.

다음은 데이터 페이로드의 예입니다.

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

VPC 서비스 제어 고려사항

메타데이터 변경 피드는 VPC 서비스 제어 (VPC-SC)를 준수합니다.

메타데이터 변경 피드의 범위가 조직인 경우 메타데이터 변경 피드의 VPC 서비스 제어 경계 내에 있는 프로젝트만 알림을 생성합니다.
메타데이터 변경 피드의 범위가 프로젝트 또는 항목 그룹인 경우 지정된 모든 프로젝트 또는 항목 그룹이 메타데이터 변경 피드와 동일한 VPC 서비스 제어 경계에 있어야 합니다. 그렇지 않으면 메타데이터 변경 피드 생성이 실패합니다.

할당량 및 제한사항

메타데이터 변경 피드와 관련된 할당량에 대한 자세한 내용은 할당량을 참고하세요.

메타데이터 변경 피드의 다음 제한사항을 검토하세요.

전송: 메타데이터 변경 피드는 '최소 한 번' 기준으로 알림을 전송합니다. 구독자에서 잠재적인 중복 메시지를 처리해야 합니다.
순서 지정: Knowledge Catalog는 메시지 전송 순서를 보장하지 않습니다.
지연 시간: 메타데이터 변경 피드 알림은 거의 실시간입니다.
활성화 지연: 새로 생성되거나 업데이트된 메타데이터 변경 피드 구성은 백엔드의 캐싱으로 인해 활성화되는 데 최대 10분이 걸릴 수 있습니다.
페이로드: 초기 알림 메시지에는 변경 서명만 포함됩니다. 예를 들어 항목 이름, 항목 유형, 변경 유형, 변경된 관점 유형 또는 키 목록이 포함되며 실제 변경된 데이터 (관점 페이로드)는 포함되지 않습니다. 필요한 경우 Dataplex API (GetEntry) 를 호출하여 항목 또는 관점의 현재 상태를 검색해야 합니다.
일반 스토리지 관점: 메타데이터 변경 피드는 일반 스토리지 관점을 지원하지 않습니다.

가격 책정

Knowledge Catalog 메타데이터 변경 피드에는 직접 요금이 부과되지 않습니다. 하지만 Pub/Sub 메시지 전송, 스토리지, 데이터 이그레스와 같이 사용된 리소스에 대한 비용이 발생합니다. Pub/Sub 가격 책정을 참고하세요.

다음 단계

메타데이터 변경 피드로 메타데이터 알림을 수신하는 방법을 알아봅니다.

메타데이터 변경 피드 문제 해결을 알아봅니다.

메타데이터 변경 피드 정보 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.