Memantau log Dataplex Universal Catalog

Dokumen ini menjelaskan cara mengakses, membuat kueri, dan menafsirkan log Dataplex Universal Catalog menggunakan Cloud Logging. Mengakses log tugas dan layanan Dataplex Universal Catalog membantu Anda memecahkan masalah dan memantau aktivitas pengelolaan data, termasuk penemuan data yang didukung AI dan pemindaian kualitas data. Dengan memusatkan log di Logging, Anda dapat menganalisis performa tugas, menyiapkan pemberitahuan untuk kegagalan atau anomali, dan merutekan log ke layanan Google Cloud lain seperti BigQuery untuk retensi dan analisis jangka panjang.

Untuk memahami biaya, lihat Harga Google Cloud Observability.

Untuk mengetahui informasi selengkapnya tentang retensi logging, lihat Periode retensi log.

Untuk menonaktifkan semua log atau mengecualikan log dari Logging, lihat Filter pengecualian.

Untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub, lihat Ringkasan perutean dan penyimpanan.

Kasus penggunaan

Pencatatan log Katalog Universal Dataplex mendukung kasus penggunaan di berbagai industri:

Memecahkan masalah kegagalan pipeline data: Jika tugas Dataplex Universal Catalog untuk pemrosesan data gagal, log process akan memberikan pesan error mendetail yang membantu engineer data mengidentifikasi dan menyelesaikan masalah dalam tugas Spark atau tugas kustom mereka.
Memantau kualitas data: Perusahaan jasa keuangan dapat memantau log data_quality_scan_rule_result untuk melacak tren kualitas data dari waktu ke waktu, mendapatkan pemberitahuan tentang penurunan kualitas untuk aset data penting, dan memberikan bukti pemeriksaan kualitas data kepada auditor untuk kepatuhan terhadap peraturan.
Melacak pengayaan metadata: Perusahaan retail yang menggunakan tugas impor metadata untuk memperkaya katalognya dapat menggunakan log metadata_job untuk memverifikasi bahwa impor berhasil diselesaikan dan semua item metadata diproses dengan benar.
Mengaudit penemuan data: Organisasi dapat menggunakan log discovery untuk memantau cara dan waktu sumber data baru ditemukan dan didaftarkan dalam Dataplex Universal Catalog, sehingga memberikan jejak audit untuk proses aktivasi data.

Cara kerja logging Katalog Universal Dataplex

Dataplex Universal Catalog mengirim log untuk operasi layanan dan eksekusi tugas ke Cloud Logging. Setiap entri log berisi detail tentang operasi atau tugas, seperti status, waktu mulai dan berakhir, resource terkait (seperti pemindaian atau tugas data), dan hasil. Berbagai jenis operasi, seperti pemindaian data, penemuan, impor metadata, dan pemrosesan data, menghasilkan berbagai jenis log, yang dapat Anda kueri menggunakan logName di Logging.

Anda dapat mengakses dan menganalisis log ini menggunakan Logs Explorer di konsolGoogle Cloud atau dengan merutekannya ke tujuan lain seperti bucket Cloud Storage atau tabel BigQuery untuk analisis lebih lanjut.

Mengakses log layanan Dataplex Universal Catalog di Logging

Dataplex Universal Catalog memublikasikan log layanan berikut ke Cloud Logging.

Jenis log	Nama log	`logName` kueri	Deskripsi log
Log peristiwa pemindaian data	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Log peristiwa untuk tugas pemindaian data yang menunjukkan status, hasil, dan statistik tugas
Log hasil aturan pemindaian kualitas data	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Hasil aturan pemindaian kualitas data dalam tugas kualitas data
Log penemuan	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Progres dan pembaruan penemuan aset di zona
Log tugas metadata	`dataplex.googleapis.com/metadata_job`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)`	Log tentang tugas impor metadata dan item impor dalam file impor metadata
Log proses	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Menjalankan tugas yang dihasilkan dari tugas pemrosesan data

Ganti kode berikut:

PROJECT_ID: ID project Anda

Untuk mengakses Logging, Anda dapat menggunakan Logs Explorer di konsolGoogle Cloud , perintah gcloud logging, atau Logging API.

Mengkueri log peristiwa pemindaian data

Saat Anda menggunakan Dataplex Universal Catalog untuk membuat dan menjalankan pemindaian data, log peristiwa pemindaian data dibuat di Logging untuk tugas yang dihasilkan.

Konsol

Di konsol Google Cloud , buka halaman Logs Explorer.

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex DataScan. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdata_scan. Pilih data_scan dan klik Terapkan.
Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut dalam kueri log:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klik Run query.

gcloud

Untuk membaca entri log peristiwa pemindaian data, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log hasil aturan pemindaian kualitas data

Saat Anda menggunakan Dataplex Universal Catalog untuk membuat dan menjalankan pemindaian kualitas data, log hasil aturan pemindaian kualitas data akan dibuat di Logging untuk tugas yang dihasilkan.

Konsol

Di konsol Google Cloud , buka halaman Logs Explorer.

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex DataScan. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Pilih data_quality_scan_rule_result, lalu klik Terapkan.
Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut dalam kueri log:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klik Run query.

gcloud

Untuk membaca entri log hasil aturan pemindaian kualitas data, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Membuat kueri log penemuan

Saat Anda menggunakan Dataplex Universal Catalog untuk menemukan data dalam aset, log penemuan akan dibuat di Logging.

Konsol

Di konsol Google Cloud , buka halaman Logs Explorer.

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex Zone. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdiscovery. Pilih penemuan, lalu klik Terapkan.

Opsional: Filter log ke aset tertentu dengan menambahkan filter berikut dalam kueri log:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Klik Run query.

gcloud

Untuk membaca entri log penemuan, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log tugas metadata

Saat Anda menjalankan tugas impor metadata, log tugas metadata akan dibuat di Logging.

Konsol

Di konsol Google Cloud , buka halaman Logs Explorer.

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex Metadata Job.
Opsional: Untuk memfilter log ke lokasi atau ID tugas metadata tertentu, pilih lokasi atau ID tugas.
Klik Terapkan.
Klik menu Log name.
Ketik dataplex.googleapis.com%2Fmetadata_job, lalu pilih metadata_job.
Klik Terapkan.

gcloud

Untuk membaca entri log tugas metadata, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Membuat kueri log proses

Saat Anda menggunakan Dataplex Universal Catalog untuk menjadwalkan dan menjalankan tugas, log proses akan dibuat di Logging untuk tugas yang dihasilkan.

Konsol

Di konsol Google Cloud , buka halaman Logs Explorer.

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex Task. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan dataplex.googleapis.com%2Fprocess. Pilih process, lalu klik Apply.

Opsional: Filter log ke tugas tertentu dengan menambahkan filter berikut dalam kueri log:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

Klik Run query.

gcloud

Untuk membaca entri log proses, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Langkah berikutnya

Pelajari Cloud Logging lebih lanjut.
Pelajari pemantauan Dataplex Universal Catalog.

Memantau log Dataplex Universal Catalog Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Kasus penggunaan

Cara kerja logging Katalog Universal Dataplex

Mengakses log layanan Dataplex Universal Catalog di Logging

Mengkueri log peristiwa pemindaian data

Konsol

gcloud

REST

Mengkueri log hasil aturan pemindaian kualitas data

Konsol

gcloud

REST

Membuat kueri log penemuan

Konsol

gcloud

REST

Mengkueri log tugas metadata

Konsol

gcloud

REST

Membuat kueri log proses

Konsol

gcloud

REST

Langkah berikutnya

Memantau log Dataplex Universal Catalog