Dokumen ini memberikan ringkasan tentang feed perubahan metadata Dataplex Universal Catalog. Feed perubahan metadata ini memungkinkan Anda melacak perubahan metadata di instance Dataplex Universal Catalog hampir secara real-time dan membangun alur kerja berbasis peristiwa berdasarkan perubahan tersebut.
Pemantauan otomatis perubahan metadata
Di Dataplex Universal Catalog, entri merepresentasikan aset data, seperti tabel BigQuery, dan aspek adalah sekumpulan kolom metadata terkait yang dilampirkan ke entri yang mendeskripsikannya. Saat entri atau aspek dibuat, diperbarui, atau dihapus, Katalog Universal Dataplex akan memublikasikan pesan notifikasi ke topik Pub/Sub yang Anda tentukan. Notifikasi ini, yang juga disebut feed perubahan metadata, berisi informasi tentang perubahan tersebut. Hal ini mencakup kapan perubahan terjadi, resource apa yang berubah, dan jenis perubahan. Untuk mengetahui informasi selengkapnya tentang entri dan aspek, lihat Tentang pengelolaan metadata di Dataplex Universal Catalog.
Diagram arsitektur berikut menunjukkan cara Katalog Universal Dataplex merekam perubahan metadata (buat, update, hapus) dan mengirimkannya ke Pub/Sub untuk alur kerja berbasis peristiwa hilir.
Untuk mengontrol perubahan mana yang memicu notifikasi, Anda dapat mengonfigurasi feed perubahan metadata untuk memantau resource tertentu. Anda melakukannya dengan menentukan cakupan, seperti seluruh organisasi, project tertentu, atau grup entri tertentu.
Meskipun cakupan memungkinkan Anda menentukan resource mana yang akan dipantau, Anda dapat menggunakan filter untuk
lebih menyempurnakan kapan Dataplex Universal Catalog mengirimkan notifikasi. Misalnya, Anda mungkin ingin menerima notifikasi hanya saat tabel berjenis
bigquery-table diperbarui, tetapi tidak saat tabel dibuat atau dihapus. Untuk
melakukannya, Anda dapat menerapkan satu atau beberapa filter ke feed perubahan metadata berdasarkan
jenis entri, jenis aspek, atau jenis perubahan (CREATE, UPDATE, atau DELETE).
Misalnya, perusahaan retail online menggunakan BigQuery untuk mengelola inventaris produk dalam project khusus. Untuk memantau hanya perubahan skema di tabel inventaris, mereka membuat feed perubahan metadata dengan project sebagai cakupan, dan menerapkan filter untuk entry_type=bigquery-table dan change_type=UPDATE. Jika
skema tabel penting, seperti product_stock, diperbarui, perubahan ini akan
menghasilkan notifikasi UPDATE yang cocok dengan filter
feed perubahan metadata. Feed perubahan metadata kemudian mengirimkan notifikasi ke topik Pub/Sub. Alur kerja otomatis yang berlangganan topik Pub/Sub ini dapat segera menjeda pipeline pelaporan hilir dan memberi tahu tim pengelolaan inventaris untuk mencegah keputusan berdasarkan data yang tidak konsisten.
Kasus penggunaan
Anda dapat menggunakan feed perubahan metadata untuk berbagai tujuan, termasuk:
- Sinkronisasi metadata: terus-menerus menyinkronkan perubahan metadata Dataplex Universal Catalog ke katalog data atau indeks penelusuran eksternal atau pihak ketiga.
- Penerapan kebijakan: menerapkan atau memperbarui kebijakan keamanan secara otomatis saat aspek klasifikasi data berubah pada entri.
- Otomatisasi kualitas data: memicu pemindaian kualitas data atau memberi tahu pemilik data saat skema tabel berubah.
- Pemicuan ETL/ELT: memulai tugas transformasi data saat entri tabel baru dibuat atau diperbarui.
- Audit: mencatat semua perubahan metadata ke tabel audit untuk tujuan kepatuhan.
Terminologi
Feed perubahan metadata adalah resource Dataplex Universal Catalog yang memantau
perubahan metadata (buat, perbarui, hapus) untuk entri dan aspek, serta mengirim
notifikasi ke topik Pub/Sub. Di API, resource ini disebut
metadataFeeds (projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID).
Anda mengonfigurasi feed perubahan metadata dengan menentukan cakupan, filter, dan tujuannya. Saat perubahan metadata terjadi yang cocok dengan cakupan dan filter feed perubahan metadata, Dataplex Universal Catalog akan memublikasikan pesan notifikasi ke topik Pub/Sub tujuan.
Konfigurasi feed perubahan metadata
Anda dapat mengonfigurasi feed perubahan metadata dengan menentukan hal berikut:
Cakupan: kumpulan resource yang akan dipantau perubahannya, seperti seluruh organisasi, project tertentu, atau grup entri tertentu. Di API, Anda menentukan nama resource. Contoh berikut menunjukkan format nama resource untuk grup entri:
projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID.Filter: kriteria untuk memfilter perubahan mana yang menghasilkan notifikasi berdasarkan jenis entri, jenis aspek, atau jenis perubahan (
CREATE,UPDATE, atauDELETE). Di API, Anda menentukan nama resource. Contoh berikut menunjukkan format nama resource untuk jenis entri:projects/PROJECT_ID/locations/global/entryTypes/ENTRY_TYPE. Jika Anda tidak menentukan filter apa pun, maka semua jenis perubahan (CREATE,UPDATE, danDELETE) dalam cakupan feed akan menghasilkan notifikasi.Tujuan: topik Pub/Sub tempat Dataplex Universal Catalog memublikasikan pesan notifikasi. Di API, Anda menentukan nama topik. Contoh berikut menunjukkan format nama resource untuk topik Pub/Sub:
projects/PROJECT_ID/topics/TOPIC_ID.
Contoh berikut menunjukkan feed perubahan metadata yang dikonfigurasi untuk memantau project PROJECT_ID_1 dan PROJECT_ID_2 untuk peristiwa CREATE, mengirim notifikasi ke TOPIC_ID:
{
"scope": {
"projects": [
"projects/PROJECT_ID_1",
"projects/PROJECT_ID_2"
]
},
"filter": {
"changeTypes": [
"CREATE"
]
},
"pubsubTopic": "projects/PROJECT_ID_PUBSUB/topics/TOPIC_ID"
}
Untuk mengetahui petunjuk tentang cara membuat dan mengelola feed perubahan metadata, lihat Menerima notifikasi dengan feed perubahan metadata.
Format pesan notifikasi
Saat perubahan metadata memicu notifikasi, Dataplex Universal Catalog memublikasikan pesan ke topik Pub/Sub yang ditentukan. Detail peristiwa perubahan dicatat dalam pesan Pub/Sub. Pesan terdiri dari atribut untuk pemfilteran, dan payload data dengan detail perubahan.
Untuk mengetahui informasi selengkapnya tentang penggunaan pesan ini, lihat Menggunakan pesan notifikasi.
Atribut
Atribut memungkinkan pemfilteran pesan dalam topik. Anda dapat memfilter pesan pada langganan menggunakan filter langganan Pub/Sub.
Kolom berikut disediakan dalam atribut:
timestamp: Stempel waktu saat perubahan terjadi.entry_name: Nama resource entri, dalam formatprojects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.entry_fqn: Nama yang sepenuhnya memenuhi syarat entri.feed_name: Nama resource feed perubahan metadata, dalam formatprojects/PROJECT_ID/locations/LOCATION/metadataChangeFeeds/FEED_ID.entry_type: Nama resource jenis entri, dalam formatprojects/PROJECT_NUMBER/locations/LOCATION/entryTypes/ENTRY_TYPE_ID. Untuk mengetahui informasi selengkapnya, lihat Jenis entri.entry_change_type: Jenis perubahan:CREATED,UPDATED, atauDELETED.
Contoh berikut menunjukkan atribut untuk peristiwa pembuatan entri:
{
"feed_name": "projects/PROJECT_ID/locations/LOCATION/metadataFeeds/FEED_ID",
"entry_change_type": "CREATE",
"timestamp": "2026-02-03T23:12:03.054469Z",
"entry_type": "projects/PROJECT_NUMBER/locations/global/entryTypes/ENTRY_TYPE_ID"
}
Payload data
Payload data pesan Pub/Sub adalah string JSON yang berisi detail tentang perubahan.
Berikut adalah contoh payload data:
{
"entryName": "projects/PROJECT_ID/locations/LOCATION/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID",
"full_qualified_name": "bigquery:PROJECT_ID.DATASET_ID.TABLE_ID",
"updatedAspects": [
"projects/PROJECT_NUMBER/locations/global/aspectTypes/updated-aspect-type"
],
"createdAspects": [
"projects/PROJECT_NUMBER/locations/global/aspectTypes/created-aspect-type"
],
"deletedAspects": [
"projects/PROJECT_NUMBER/locations/global/aspectTypes/deleted-aspect-type"
]
}
Pertimbangan Kontrol Layanan VPC
Feed perubahan metadata sesuai dengan Kontrol Layanan VPC (VPC-SC).
Jika feed perubahan metadata memiliki cakupan organisasi, hanya project dalam perimeter Kontrol Layanan VPC feed perubahan metadata yang akan menghasilkan notifikasi.
Jika feed perubahan metadata memiliki cakupan project atau grup entri, semua project atau grup entri yang ditentukan harus berada dalam perimeter Kontrol Layanan VPC yang sama dengan feed perubahan metadata; jika tidak, pembuatan feed perubahan metadata akan gagal.
Kuota dan batasan
Untuk mengetahui informasi tentang kuota terkait feed perubahan metadata, lihat Kuota.
Tinjau batasan berikut untuk feed perubahan metadata:
Pengiriman: feed perubahan metadata mengirimkan notifikasi berdasarkan "setidaknya sekali". Anda harus menangani potensi pesan duplikat di pelanggan Anda.
Pengurutan: Dataplex Universal Catalog tidak menjamin urutan pengiriman pesan.
Latensi: meskipun mendekati real-time, target latensi adalah 3 hingga 10 menit untuk notifikasi.
Penundaan aktivasi: konfigurasi feed perubahan metadata yang baru dibuat atau diperbarui dapat memerlukan waktu hingga 10 menit untuk aktif karena penyimpanan dalam cache di backend.
Payload: pesan notifikasi awal hanya berisi tanda tangan perubahan. Misalnya, nama entri, jenis entri, jenis perubahan, dan daftar jenis atau kunci aspek yang diubah, dan tidak berisi data yang diubah sebenarnya (payload aspek). Anda harus memanggil Dataplex Universal Catalog API (
GetEntry) untuk mengambil status entri atau aspek saat ini jika diperlukan.
Harga
Tidak ada biaya langsung untuk feed perubahan metadata Dataplex Universal Catalog. Namun, Anda akan dikenai biaya untuk resource yang digunakan, seperti pengiriman pesan Pub/Sub, penyimpanan, dan traffic keluar data. Lihat harga Pub/Sub.
Langkah berikutnya
- Pelajari cara Menerima notifikasi metadata dengan feed perubahan metadata.
- Memecahkan masalah feed perubahan metadata.