Memantau log Knowledge Catalog

Dokumen ini menjelaskan cara mengakses, membuat kueri, dan menafsirkan log Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan Cloud Logging. Mengakses log layanan dan tugas Knowledge Catalog membantu Anda memecahkan masalah dan memantau aktivitas pengelolaan data, termasuk penemuan data yang didukung AI dan pemindaian kualitas data. Dengan memusatkan log di Logging, Anda dapat menganalisis performa tugas, menyiapkan pemberitahuan untuk kegagalan atau anomali, dan merutekan log ke layanan lain Google Cloud seperti BigQuery untuk retensi dan analisis jangka panjang.

Untuk memahami biaya, lihat Harga Google Cloud Observability.

Untuk mengetahui informasi selengkapnya tentang retensi logging, lihat Periode retensi log.

Untuk menonaktifkan semua log atau mengecualikan log dari Logging, lihat Filter pengecualian.

Untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub, lihat Ringkasan perutean dan penyimpanan.

Kasus penggunaan

Logging Knowledge Catalog mendukung kasus penggunaan di berbagai industri:

• Memecahkan masalah kegagalan pipeline data: Jika tugas Knowledge Catalog untuk pemrosesan data gagal, log process akan memberikan pesan error mendetail yang membantu engineer data mengidentifikasi dan menyelesaikan masalah dalam tugas Spark atau tugas kustom mereka.
• Memantau kualitas data: Perusahaan layanan keuangan dapat memantau log data_quality_scan_rule_result untuk melacak tren kualitas data dari waktu ke waktu, mendapatkan pemberitahuan tentang penurunan kualitas untuk aset data penting, dan memberikan bukti pemeriksaan kualitas data kepada auditor untuk kepatuhan terhadap peraturan.
• Melacak pengayaan metadata: Perusahaan retail yang menggunakan tugas impor metadata untuk memperkaya katalognya dapat menggunakan log metadata_job untuk memverifikasi bahwa impor berhasil diselesaikan dan semua item metadata diproses dengan benar.
• Mengaudit penemuan data: Organisasi dapat menggunakan log discovery untuk memantau cara dan waktu sumber data baru ditemukan dan didaftarkan dalam Knowledge Catalog, sehingga memberikan jalur audit untuk proses orientasi data.

Cara kerja logging Knowledge Catalog

Knowledge Catalog mengirim log untuk operasi layanan dan eksekusi tugas ke Cloud Logging. Setiap entri log berisi detail tentang operasi atau tugas, seperti status, waktu mulai dan berakhir, resource terkait (seperti pemindaian atau tugas data), dan hasil. Berbagai jenis operasi, seperti pemindaian data, penemuan, impor metadata, dan pemrosesan data, menghasilkan jenis log yang berbeda, yang dapat Anda kueri menggunakan logName atau bahasa kueri logging di Logging.

Anda dapat mengakses dan menganalisis log ini menggunakan Logs Explorer di Google Cloud konsol atau dengan merutekannya ke tujuan lain seperti bucket Cloud Storage atau tabel BigQuery untuk analisis lebih lanjut.

Mengakses log layanan Knowledge Catalog di Logging

Knowledge Catalog memublikasikan log layanan berikut ke Cloud Logging.

Jenis log	Nama log	Kueri logName	Deskripsi log
Log peristiwa pemindaian data	dataplex.googleapis.com/data_scan	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)	Log peristiwa untuk tugas pemindaian data yang menunjukkan status, hasil, dan statistik tugas
Log hasil aturan pemindaian kualitas data	dataplex.googleapis.com/data_quality_scan_rule_result	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)	Hasil aturan pemindaian kualitas data dalam tugas kualitas data
Log penemuan	dataplex.googleapis.com/discovery	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)	Progres dan update penemuan atas aset di zona
Log tugas metadata	dataplex.googleapis.com/metadata_job	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job)	Log tentang tugas impor metadata dan item impor dalam file impor metadata
Log proses	dataplex.googleapis.com/process	logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)	Eksekusi tugas yang dihasilkan dari tugas pemrosesan data

Untuk mengakses Logging, Anda dapat menggunakan Logs Explorer di Google Cloud konsol, gcloud logging perintah, atau Logging API. Anda dapat menggunakan bahasa kueri logging untuk membuat kueri mendetail.

Mengkueri log peristiwa pemindaian data

Saat Anda menggunakan Knowledge Catalog untuk membuat dan menjalankan pemindaian data, log peristiwa pemindaian data dihasilkan di Logging untuk tugas yang dihasilkan.

Konsol

1. Di Google Cloud konsol, buka halaman Observability > Logging > Logs explorer.

   Buka Logs Explorer

2. Klik All resources.

3. Di daftar Select resource, klik Audited Resource, lalu pilih Cloud Dataplex. Secara opsional, untuk memfilter log ke metode tertentu, pilih metode di bagian Method. Klik Apply.

4. Klik All log names.

5. Di daftar Select log names, masukkan dataplex.googleapis.com%2Fdata_scan. Pilih data_scan untuk memfilter log ke log peristiwa pemindaian data, lalu klik Apply.

6. Opsional: Untuk pemfilteran yang lebih canggih, gunakan bahasa kueri logging untuk menambahkan filter dalam kueri log. Misalnya, untuk memfilter ke ID atau lokasi pemindaian data tertentu, tambahkan filter berikut di kolom kueri, lalu klik Run query:

   resource.labels.location="LOCATION"
   resource.labels.datascan_id="DATA_SCAN_ID"
   

gcloud

Untuk membaca entri log peristiwa pemindaian data, gunakan perintah gcloud logging readdengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log hasil aturan pemindaian kualitas data

Saat Anda menggunakan Knowledge Catalog untuk membuat dan menjalankan pemindaian kualitas data, log hasil aturan pemindaian kualitas data akan dihasilkan di Logging untuk tugas yang dihasilkan.

Konsol

1. Di Google Cloud konsol, buka halaman Observability > Logging > Logs explorer.

   Buka Logs Explorer

2. Klik All resources.

3. Di daftar Select resource, klik Audited Resource, lalu pilih Cloud Dataplex. Secara opsional, untuk memfilter log ke metode tertentu, pilih metode di bagian Method. Klik Apply.

4. Klik All log names.

5. Di daftar Select log names, masukkan dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Pilih data_quality_scan_rule_result untuk memfilter log ke log hasil aturan pemindaian kualitas data, lalu klik Apply.

6. Opsional: Untuk pemfilteran yang lebih canggih, gunakan bahasa kueri logging untuk menambahkan filter dalam kueri log. Misalnya, untuk memfilter ke ID atau lokasi pemindaian data tertentu, tambahkan filter berikut di kolom kueri, lalu klik Run query:

   resource.labels.location="LOCATION"
   resource.labels.datascan_id="DATA_SCAN_ID"
   

gcloud

Untuk membaca entri log hasil aturan pemindaian kualitas data, gunakan perintah gcloud logging readdengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log penemuan

Saat Anda menggunakan Knowledge Catalog untuk menemukan data dalam aset, log penemuan akan dihasilkan di Logging.

Konsol

1. Di Google Cloud konsol, buka halaman Observability > Logging > Logs explorer.

   Buka Logs Explorer

2. Klik All resources.

3. Di daftar Select resource, klik Cloud Dataplex Zone untuk memfilter log ke resource zona Knowledge Catalog. Secara opsional, untuk memfilter log ke aset tertentu, pilih lokasi, data lake, dan zona. Klik Apply.

4. Klik All log names.

5. Di daftar Select log names, masukkan dataplex.googleapis.com%2Fdiscovery. Pilih discovery untuk memfilter log ke log penemuan, lalu klik Apply.

6. Opsional: Untuk pemfilteran yang lebih canggih, gunakan bahasa kueri logging untuk menambahkan filter dalam kueri log. Misalnya, untuk memfilter ke aset tertentu, tambahkan filter berikut di kolom kueri, lalu klik Run query:

   resource.labels.location="LOCATION"
   resource.labels.lake_id="LAKE_ID"
   resource.labels.zone_id="ZONE_ID"
   jsonPayload.assetId="ASSET_ID"
   

gcloud

Untuk membaca entri log penemuan, gunakan perintah gcloud logging readdengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log tugas metadata

Saat Anda menjalankan tugas impor metadata, log tugas metadata akan dihasilkan di Logging.

Konsol

1. Di Google Cloud konsol, buka halaman Observability > Logging > Logs explorer.

   Buka Logs Explorer

2. Klik All resources.

3. Di daftar Select resource, klik Cloud Dataplex Metadata Job untuk memfilter log ke resource tugas metadata. Secara opsional, untuk memfilter log ke lokasi atau ID tugas metadata tertentu, pilih lokasi dan ID tugas metadata. Klik Apply.

4. Klik All log names.

5. Di daftar Select log names, masukkan dataplex.googleapis.com%2Fmetadata_job. Pilih metadata_job untuk memfilter log ke log tugas metadata, lalu klik Apply.

6. Opsional: Untuk pemfilteran yang lebih canggih, gunakan bahasa kueri logging untuk menambahkan filter dalam kueri log. Untuk mengetahui informasi selengkapnya, lihat Melihat log tugas dan memecahkan masalah.

gcloud

Untuk membaca entri log tugas metadata, gunakan perintah gcloud logging readdengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/MetadataJob" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
    resource.labels.location=LOCATION AND
    resource.labels.metadata_job_id=METADATA_JOB_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Mengkueri log proses

Saat Anda menggunakan Knowledge Catalog untuk menjadwalkan dan menjalankan tugas, log proses akan dihasilkan di Logging untuk tugas yang dihasilkan.

Konsol

1. Di Google Cloud konsol, buka halaman Observability > Logging > Logs explorer.

   Buka Logs Explorer

2. Klik All resources.

3. Di daftar Select resource, klik Cloud Dataplex Task untuk memfilter log ke resource tugas. Secara opsional, untuk memfilter log ke tugas atau lokasi tertentu, pilih lokasi, data lake, dan tugas. Klik Apply.

4. Klik All log names.

5. Di daftar Select log names, masukkan dataplex.googleapis.com%2Fprocess. Pilih process untuk memfilter log ke log proses, lalu klik Apply.

6. Opsional: Untuk pemfilteran yang lebih canggih, gunakan bahasa kueri logging untuk menambahkan filter dalam kueri log. Misalnya, untuk memfilter ke tugas tertentu, tambahkan filter berikut di kolom kueri, lalu klik Run query:

   resource.labels.location="LOCATION"
   resource.labels.lake_id="LAKE_ID"
   resource.labels.task_id="TASK_ID"
   

gcloud

Untuk membaca entri log proses, gunakan perintah gcloud logging readdengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Untuk mencantumkan entri log, gunakan metode entries.list.

Langkah berikutnya

• Pelajari Cloud Logging lebih lanjut.
• Pelajari tentang pemantauan Knowledge Catalog.