Tentang feed perubahan metadata

Feed perubahan metadata Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melacak perubahan metadata pada entri dan aspek di seluruh organisasi, project, atau grup entri Anda dalam waktu hampir real-time dan membangun alur kerja berbasis peristiwa. Untuk membuat dan mengelola feed ini, lihat Menerima notifikasi dengan feed perubahan metadata.

Cara kerja feed perubahan metadata

Di Knowledge Catalog, entri mewakili aset data, seperti tabel BigQuery, dan aspek adalah kumpulan kolom metadata terkait yang dilampirkan ke entri yang mendeskripsikannya. Saat entri atau aspek dibuat, diperbarui, atau dihapus, Knowledge Catalog akan memublikasikan pesan notifikasi ke topik Pub/Sub yang Anda tentukan. Notifikasi ini, yang juga disebut feed perubahan metadata, berisi informasi tentang perubahan tersebut. Hal ini mencakup kapan perubahan terjadi, resource apa yang berubah, dan jenis perubahan. Untuk mengetahui informasi selengkapnya tentang entri dan aspek, lihat Tentang pengelolaan metadata di Knowledge Catalog.

Diagram arsitektur berikut menunjukkan cara Knowledge Catalog menangkap perubahan metadata (buat, update, hapus) dan mengirimkannya ke Pub/Sub untuk alur kerja berbasis peristiwa downstream.

Perubahan metadata Dataplex dipublikasikan ke Pub/Sub dan digunakan oleh alur kerja pelanggan downstream.
Gambar 1. Ringkasan feed perubahan metadata

Untuk mengontrol perubahan mana yang menghasilkan notifikasi, Anda dapat mengonfigurasi feed perubahan metadata untuk memantau resource tertentu. Anda dapat melakukannya dengan menentukan cakupan, seperti seluruh organisasi, project tertentu, atau grup entri tertentu. Meskipun cakupan memungkinkan Anda menentukan resource mana yang akan dipantau, Anda dapat menggunakan filter untuk lebih menyaring kapan Knowledge Catalog mengirimkan notifikasi. Misalnya, Anda mungkin ingin menerima notifikasi hanya saat tabel jenis bigquery-table diperbarui, tetapi tidak saat tabel tersebut dibuat atau dihapus. Untuk melakukannya, Anda dapat menerapkan satu atau beberapa filter ke feed perubahan metadata berdasarkan jenis entri, jenis aspek, atau jenis perubahan (CREATE, UPDATE, atau DELETE).

Misalnya, perusahaan retail online menggunakan BigQuery untuk mengelola inventaris produk dalam project khusus. Untuk memantau hanya perubahan skema dalam tabel inventaris, mereka membuat feed perubahan metadata dengan project sebagai cakupan, dan menerapkan filter untuk entry_type=bigquery-table dan change_type=UPDATE. Jika skema tabel penting, seperti product_stock, diupdate, perubahan ini akan menghasilkan notifikasi UPDATE yang cocok dengan filter feed perubahan metadata. Selanjutnya, feed perubahan metadata akan mengirimkan notifikasi ke topik Pub/Sub. Alur kerja otomatis yang berlangganan topik Pub/Sub ini dapat segera menjeda pipeline pelaporan downstream dan memberi tahu tim pengelolaan inventaris untuk mencegah keputusan berdasarkan data yang tidak konsisten.

Kasus penggunaan feed perubahan metadata

Anda dapat menggunakan feed perubahan metadata untuk berbagai tujuan, termasuk:

  • Sinkronisasi metadata: terus menyinkronkan perubahan metadata Knowledge Catalog ke indeks penelusuran atau katalog data eksternal atau pihak ketiga.
  • Penegakan kebijakan: menerapkan atau memperbarui kebijakan keamanan secara otomatis saat aspek klasifikasi data berubah pada entri.
  • Otomatisasi kualitas data: memicu pemindaian kualitas data atau memberi tahu pemilik data saat skema tabel berubah.
  • Pemicuan ETL/ELT: memulai tugas transformasi data saat entri tabel baru dibuat atau diperbarui.
  • Pengauditan: mencatat semua perubahan metadata ke tabel audit untuk tujuan kepatuhan.

Konsep dan konfigurasi inti

Feed perubahan metadata adalah resource Knowledge Catalog yang memantau perubahan metadata (buat, perbarui, hapus) untuk entri dan aspek, serta mengirimkan notifikasi ke topik Pub/Sub. Di API, resource ini disebut metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).

Anda mengonfigurasi feed perubahan metadata dengan menentukan cakupan, filter, dan tujuannya. Saat terjadi perubahan metadata yang cocok dengan cakupan dan filter feed perubahan metadata, Knowledge Catalog akan memublikasikan pesan notifikasi ke topik Pub/Sub tujuan.

Konfigurasi feed perubahan metadata

Anda dapat mengonfigurasi feed perubahan metadata dengan menentukan hal berikut:

  • Cakupan: kumpulan resource yang akan dipantau untuk mengetahui perubahan, seperti seluruh organisasi, project tertentu, atau grup entri tertentu. Di API, Anda menentukan nama resource. Contoh berikut menunjukkan format nama resource untuk grup entri: projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.

  • Filter: kriteria untuk memfilter perubahan yang menghasilkan notifikasi berdasarkan jenis entri, jenis aspek, atau jenis perubahan (CREATE, UPDATE, atau DELETE). Di API, Anda menentukan nama resource. Contoh berikut menunjukkan format nama resource untuk jenis entri: projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Jika Anda tidak menentukan filter apa pun, semua jenis perubahan (CREATE, UPDATE, dan DELETE) dalam cakupan feed akan menghasilkan notifikasi.

  • Destination: topik Pub/Sub tempat Knowledge Catalog memublikasikan pesan notifikasi. Di API, Anda menentukan nama topik. Contoh berikut menunjukkan format nama resource untuk topik Pub/Sub: projects/PROJECT_ID/topics/TOPIC_ID.

Contoh berikut menunjukkan feed perubahan metadata yang dikonfigurasi untuk memantau project PROJECT_ID_1 dan PROJECT_ID_2 untuk peristiwa CREATE, yang mengirimkan notifikasi ke TOPIC_ID:

{
  "scope": {
    "projects": [
      "projects/PROJECT_ID_1",
      "projects/PROJECT_ID_2"
    ]
  },
  "filter": {
    "changeTypes": [
      "CREATE"
    ]
  },
  "pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}

Format pesan notifikasi

Saat perubahan metadata memicu notifikasi, Knowledge Catalog akan memublikasikan pesan ke topik Pub/Sub yang ditentukan. Detail peristiwa perubahan dicatat dalam pesan Pub/Sub. Pesan terdiri dari atribut untuk pemfilteran, dan payload data dengan detail perubahan.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan pesan ini, lihat Menggunakan pesan notifikasi.

Atribut

Atribut ini memungkinkan pemfilteran pesan dalam topik. Anda dapat memfilter pesan pada langganan menggunakan filter langganan Pub/Sub.

Kolom berikut disediakan dalam atribut:

  • timestamp: Stempel waktu saat perubahan terjadi.
  • entry_name: Nama resource entri, dalam format projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
  • feed_name: Nama resource feed perubahan metadata, dalam format projects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.
  • entry_type: Nama resource jenis entri, dalam format projects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Untuk mengetahui informasi selengkapnya, lihat Jenis entri.
  • entry_change_type: Jenis perubahan: CREATED, UPDATED, atau DELETED.

Contoh berikut menunjukkan atribut untuk peristiwa pembuatan entri:

{
  "feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
  "entry_change_type": "CREATE",
  "timestamp": "2026-02-03T23:12:03.054469Z",
  "entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}

Payload data

Payload data pesan Pub/Sub adalah string JSON yang berisi detail tentang perubahan.

Berikut adalah contoh payload data:

{
  "entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
  "fullyQualifiedName": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
  "updatedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
  ],
  "createdAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
  ],
  "deletedAspects": [
    "projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
  ]
}

Pertimbangan Kontrol Layanan VPC

Feed perubahan metadata mematuhi Kontrol Layanan VPC (VPC-SC).

  • Jika feed perubahan metadata dicakupkan ke organisasi, hanya project dalam perimeter Kontrol Layanan VPC feed perubahan metadata yang akan menghasilkan notifikasi.

  • Jika feed perubahan metadata dicakupkan ke project atau grup entri, semua project atau grup entri yang ditentukan harus berada dalam perimeter Kontrol Layanan VPC yang sama dengan feed perubahan metadata; jika tidak, pembuatan feed perubahan metadata akan gagal.

Kuota dan batasan

Untuk mengetahui informasi tentang kuota yang terkait dengan feed perubahan metadata, lihat Kuota dan batas Knowledge Catalog.

Tinjau batasan berikut untuk feed perubahan metadata:

  • Pengiriman: feed perubahan metadata mengirimkan notifikasi berdasarkan "setidaknya sekali". Anda harus menangani potensi pesan duplikat di pelanggan Anda.

  • Pengurutan: Knowledge Catalog tidak menjamin urutan pengiriman pesan.

  • Latensi: notifikasi feed perubahan metadata hampir real-time.

  • Penundaan aktivasi: konfigurasi feed perubahan metadata yang baru dibuat atau diperbarui dapat memerlukan waktu hingga 10 menit untuk aktif karena caching di backend.

  • Payload: pesan notifikasi awal hanya berisi tanda tangan perubahan. Misalnya, nama entri, jenis entri, jenis perubahan, dan daftar jenis atau kunci aspek yang diubah, serta tidak berisi data yang diubah sebenarnya (payload aspek). Anda harus memanggil Dataplex API (GetEntry) untuk mengambil status entri atau aspek saat ini jika diperlukan.

  • Aspek penyimpanan generik: feed perubahan metadata tidak mendukung aspek penyimpanan generik.

Harga

Knowledge Catalog menawarkan feed perubahan metadata tanpa biaya tambahan. Namun, Anda akan dikenai biaya untuk resource yang digunakan, seperti pengiriman pesan Pub/Sub, penyimpanan, dan egress data. Untuk mengetahui informasi selengkapnya, lihat harga Pub/Sub.

Langkah berikutnya