Dokumen ini menjelaskan cara menggunakan Cloud Monitoring untuk melacak kondisi layanan Knowledge Catalog (sebelumnya Dataplex Universal Catalog), mengoptimalkan performa, dan mendapatkan visibilitas ke dalam platform data Anda. Pemantauan proaktif membantu Anda memastikan keandalan aplikasi data dan membuat keputusan yang tepat tentang alokasi resource dan pengelolaan biaya.
Untuk memahami biaya, lihat Harga Monitoring.
Untuk mengetahui informasi selengkapnya tentang retensi data metrik, lihat Kuota dan batas Monitoring.
Kasus penggunaan
Anda dapat menggunakan metrik Knowledge Catalog di Cloud Monitoring untuk mendukung kasus penggunaan berikut:
- Memastikan keandalan pipeline data: Pantau tingkat keberhasilan dan kegagalan tugas Knowledge Catalog, seperti tugas penyerapan data atau kualitas data. Konfigurasi pemberitahuan untuk kegagalan atau durasi yang tidak biasa guna meminimalkan waktu henti untuk workload penting.
- Mengoptimalkan performa: Lacak durasi tugas dan metrik penggunaan resource untuk mengidentifikasi dan mengatasi bottleneck performa dalam pemrosesan data, kualitas data, dan beban kerja penemuan data.
- Mengelola biaya: Pantau penggunaan resource Knowledge Catalog (seperti lake, zona, dan aset) di Monitoring, dan gunakan ekspor Penagihan Cloud ke BigQuery untuk mengatribusikan biaya komputasi serverless (DCU) untuk beban kerja Kualitas Data, Pembuatan Profil Data, dan Silsilah Data.
- Mempertahankan tata kelola data: Lacak metrik yang terkait dengan penemuan metadata dan pengayaan katalog untuk memastikan aset data dipindai dan diberi tag sesuai dengan kebijakan tata kelola Anda.
Cara kerjanya
Knowledge Catalog terintegrasi dengan Cloud Monitoring, yang mengumpulkan metrik, peristiwa, dan metadata dari layanan Knowledge Catalog. Metrik ini memberikan insight ke dalam area seperti status eksekusi tugas, penggunaan API, dan kondisi resource. Anda dapat menganalisis metrik ini menggunakan alat di Cloud Monitoring, seperti Metrics Explorer, dasbor kustom, dan pemberitahuan. Alat ini memungkinkan Anda memvisualisasikan perilaku layanan, mengidentifikasi tren performa, dan membuat kebijakan pemberitahuan yang akan memberi tahu Anda saat performa menyimpang dari nilai minimum yang ditentukan atau saat terjadi kegagalan.
Mengakses metrik layanan di Monitoring
Metrik resource layanan Knowledge Catalog diaktifkan secara otomatis di layanan Knowledge Catalog. Untuk melihat metrik ini, gunakan Monitoring.
Anda dapat mengakses Monitoring dari Google Cloud console atau menggunakan Monitoring API.
Jika tidak dapat melihat grafik pemantauan atau membuat pemberitahuan, Anda mungkin memerlukan izin Pemantauan tambahan.
Konsol
Di konsol Google Cloud , buka halaman Metrics Explorer.
Di menu Pilih metrik, pilih resource
Cloud Dataplex.Pilih kategori metrik, lalu pilih metrik dari daftar.
Untuk menampilkan informasi tentang metrik, arahkan kursor ke nama metrik.
Klik Terapkan.
Opsional: Pilih filter, kelompokkan menurut label metrik, lakukan penggabungan, dan pilih opsi tampilan diagram.
REST
Untuk merekam dan mencantumkan metrik yang ditentukan oleh ekspresi filter,
Gunakan metode timeSeries.list
Monitoring.
Untuk mengirim permintaan API dan menampilkan respons, di halaman API, gunakan template Try this API.
Metrik layanan Knowledge Catalog di Monitoring
Metrik layanan Knowledge Catalog memfasilitasi pemantauan kondisi layanan.
String "jenis metrik" dalam tabel ini harus diawali
dengan dataplex.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel.
Saat membuat kueri label, gunakan awalan metric.labels.; misalnya, metric.labels.LABEL="VALUE".
| Jenis metrik Tahap peluncuran (Tingkat hierarki resource) Nama tampilan |
|
|---|---|
| Jenis, Tipe, Unit Resource yang dimonitor |
Deskripsi Label |
asset/active
BETA
(project)
Aktif |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Apakah aset aktif.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/data_items
BETA
(project)
Item data |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Jumlah item dalam resource yang dirujuk.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/data_size
BETA
(project)
Ukuran data |
|
GAUGE, INT64, By
dataplex.googleapis.com/Asset |
Jumlah byte yang disimpan dalam resource yang dirujuk.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/entities_pending_bigquery_iampolicy_updates
BETA
(project)
Entitas dengan pembaruan kebijakan IAM BigQuery yang tertunda |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Jumlah Entitas yang terkait dengan Aset dengan pembaruan kebijakan IAM BigQuery yang tertunda.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/entities_pending_bigquery_metadata_updates
BETA
(project)
Entitas dengan pembaruan metadata BigQuery yang tertunda |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Jumlah Entitas yang terkait dengan Aset dengan pembaruan metadata BigQuery yang tertunda.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/filesets
BETA
(project)
Kumpulan file |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Jumlah entitas kumpulan file dalam resource yang dirujuk.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/requires_action
BETA
(project)
Tindakan diperlukan |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Apakah aset memiliki tindakan admin yang belum terselesaikan.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
asset/tables
BETA
(project)
Tabel |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Asset |
Jumlah entitas tabel dalam resource yang dirujuk.
resource_type:
Jenis resource yang dirujuk.
zone_type:
Jenis zona induk.
|
lake/requires_action
BETA
(project)
Tindakan diperlukan |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Lake |
Apakah danau memiliki tindakan admin yang belum terselesaikan. |
zone/requires_action
BETA
(project)
Tindakan diperlukan |
|
GAUGE, INT64, 1
dataplex.googleapis.com/Zone |
Apakah zona memiliki tindakan admin yang belum terselesaikan.
type:
Jenis zona.
|
Tabel dihasilkan pada 2026-09-09 21:16:05 UTC.
Memantau dan mengatribusikan biaya DCU Dataplex dengan ekspor Penagihan Cloud
Karena pemindaian data Knowledge Catalog (termasuk kualitas data otomatis dan pembuatan profil data) serta silsilah data tidak memublikasikan metrik deret waktu ke Cloud Monitoring, Anda dapat menggunakan ekspor Penagihan Cloud ke BigQuery untuk melacak, memantau, dan mengatribusikan penggunaan dan biaya Unit Komputasi Data (DCU) di seluruh project, pemindaian, dan resource data.
Label penagihan Dataplex
Knowledge Catalog secara otomatis melampirkan label sistem ke catatan penagihan
yang dikeluarkan untuk pemindaian data dan silsilah data. Anda dapat membuat kueri label ini dalam array
labels di tabel ekspor Penagihan Cloud:
| Kunci label | Workload | Deskripsi |
|---|---|---|
goog-dataplex-datascan-id |
Kualitas Data, Pembuatan Profil Data | ID atau nama pemindaian data. |
goog-dataplex-datascan-job-id |
Kualitas Data, Pembuatan Profil Data | ID eksekusi tertentu untuk tugas pemindaian data. |
goog-dataplex-datascan-data-source-project |
Kualitas Data, Pembuatan Profil Data | Project Google Cloud yang berisi sumber data yang dipindai. |
goog-dataplex-datascan-data-source-region |
Kualitas Data, Pembuatan Profil Data | Google Cloud Region sumber data yang dipindai. |
goog-dataplex-datascan-data-source-bigquery-dataset |
Kualitas Data, Pembuatan Profil Data | ID set data BigQuery dari tabel yang dipindai. |
goog-dataplex-datascan-data-source-bigquery-table |
Kualitas Data, Pembuatan Profil Data | ID tabel BigQuery yang dipindai. |
goog-dataplex-datascan-data-source-dataplex-lake |
Kualitas Data, Pembuatan Profil Data | ID Dataplex lake (jika ada). |
goog-dataplex-datascan-data-source-dataplex-zone |
Kualitas Data, Pembuatan Profil Data | ID zona data Dataplex (jika ada). |
goog-dataplex-datascan-data-source-dataplex-entity |
Kualitas Data, Pembuatan Profil Data | ID entitas Dataplex (jika ada). |
goog-dataplex-datascan-data-source-biglake-catalog |
Kualitas Data, Pembuatan Profil Data | ID katalog BigLake (jika ada). |
goog-dataplex-datascan-data-source-biglake-namespace |
Kualitas Data, Pembuatan Profil Data | Namespace BigLake (jika ada). |
goog-dataplex-datascan-data-source-biglake-table |
Kualitas Data, Pembuatan Profil Data | ID tabel BigLake (jika ada). |
goog-dataplex-workload-type |
Silsilah Data | Mengidentifikasi workload. Disetel ke LINEAGE untuk biaya pemrosesan silsilah data. |
Contoh kueri
Sebelum menjalankan kueri ini, pastikan Anda telah mengaktifkan ekspor Penagihan Cloud ke BigQuery. Dalam contoh kueri, ganti placeholder berikut:
PROJECT_ID: ID project Google Cloud yang menghosting set data ekspor penagihan BigQuery Anda.DATASET_NAME: Nama set data BigQuery yang berisi tabel ekspor penagihan Anda.BILLING_ACCOUNT_ID: ID akun Penagihan Cloud Anda (diformat dengan garis bawah, misalnya,012345_567890_ABCDEF).
Kueri 1: Biaya dan penggunaan DCU atribut menurut DataScan dan tabel target
Kueri ini menggabungkan biaya Pemrosesan Dataplex dan Pemrosesan Premium menurut ID DataScan dan tabel BigQuery target selama 30 hari terakhir:
SELECT project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table, sku.description AS sku_description, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, datascan_id, data_source_project, data_source_dataset, data_source_table, sku_description, usage_unit, currency ORDER BY total_cost DESC;
Kueri 2: Mengatribusikan biaya Dataplex menurut jenis workload (Silsilah vs. DataScan)
Kueri ini mengelompokkan biaya SKU Dataplex menurut kategori beban kerja (seperti Silsilah Data versus DataScan) di semua project:
SELECT project.id AS project_id, sku.description AS sku_description, COALESCE( (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'), IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER') ) AS workload_type, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY) GROUP BY project_id, sku_description, workload_type, usage_unit, currency ORDER BY total_cost DESC;
Kueri 3: Tren biaya dan penggunaan DCU harian per eksekusi tugas DataScan
Kueri ini melacak biaya dan konsumsi DCU harian untuk setiap eksekusi tugas DataScan selama 7 hari terakhir:
SELECT DATE(usage_start_time) AS usage_date, project.id AS project_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id, (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id, SUM(usage.amount) AS total_usage, usage.unit AS usage_unit, SUM(cost) AS total_cost, currency FROM `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID` WHERE service.description = 'Dataplex' AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY) GROUP BY usage_date, project_id, datascan_id, job_id, usage_unit, currency ORDER BY usage_date DESC, total_cost DESC;
Membangun dasbor Monitoring kustom
Anda dapat membuat dasbor Monitoring kustom yang menampilkan
diagram metrik layanan Knowledge Catalog yang dipilih. Untuk mengetahui informasi selengkapnya
tentang cara membuat dasbor, lihat
Membuat dan mengelola dasbor kustom. Saat Anda
memilih metrik untuk widget di dasbor, pilih Cloud Dataplex
resource, lalu pilih metrik Knowledge Catalog.
Menggunakan pemberitahuan Monitoring
Anda dapat membuat pemberitahuan Monitoring yang memberi tahu Anda saat metrik layanan atau tugas Knowledge Catalog melampaui batas yang ditentukan.
Membuat pemberitahuan
Untuk membuat pemberitahuan, ikuti petunjuk di
Membuat kebijakan pemberitahuan batas metrik.
Saat Anda memilih deret waktu yang akan dipantau, pilih Cloud Dataplex
resource, lalu pilih metrik Knowledge Catalog.
Lihat pemberitahuan
Saat pemberitahuan dipicu oleh kondisi nilai minimum metrik, Monitoring akan membuat insiden dan peristiwa yang sesuai.
Untuk melihat insiden, ikuti langkah berikut:
Di konsol Google Cloud , buka halaman Alerting.
Jika Anda menentukan mekanisme notifikasi dalam kebijakan pemberitahuan, seperti notifikasi email atau SMS, Monitoring juga akan mengirimkan notifikasi insiden.
Untuk mengetahui informasi selengkapnya tentang pemberitahuan, lihat Insiden untuk pemberitahuan berbasis metrik.
Langkah berikutnya
- Pelajari Cloud Monitoring lebih lanjut.
- Pelajari Ekspor Penagihan Cloud ke BigQuery.
- Pelajari cara menggunakan kualitas data otomatis.
- Pelajari cara menggunakan pembuatan profil data.
- Pelajari cara menggunakan silsilah data.