Memantau log Knowledge Catalog

Dokumen ini menjelaskan cara mengakses, membuat kueri, dan menafsirkan log Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan Cloud Logging. Dengan mengakses log tugas dan log layanan Knowledge Catalog, Anda dapat memecahkan masalah dan memantau aktivitas pengelolaan data, termasuk penemuan data yang didukung AI dan pemindaian kualitas data.

Dengan memusatkan log di Logging, Anda dapat menganalisis performa tugas, menyiapkan pemberitahuan untuk kegagalan atau anomali, dan mengarahkan log ke layanan Google Cloud lain seperti BigQuery untuk retensi dan analisis jangka panjang.

Untuk memahami biaya, lihat Harga Google Cloud Observability.

Untuk mengetahui informasi selengkapnya tentang retensi logging, lihat Periode retensi log.

Untuk menonaktifkan semua log atau mengecualikan log dari Logging, lihat Filter pengecualian.

Untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub, lihat Ringkasan pemilihan rute dan penyimpanan.

Kasus penggunaan

Logging Knowledge Catalog mendukung kasus penggunaan di berbagai industri:

  • Memecahkan masalah kegagalan pipeline data: Jika tugas Knowledge Catalog untuk pemrosesan data gagal, log process akan memberikan pesan error mendetail yang membantu data engineer mengidentifikasi dan menyelesaikan masalah dalam tugas Spark atau tugas kustom mereka.
  • Memantau kualitas data: Perusahaan jasa keuangan dapat memantau log data_quality_scan_rule_result untuk melacak tren kualitas data dari waktu ke waktu, mendapatkan pemberitahuan tentang penurunan kualitas untuk aset data penting, dan memberikan bukti pemeriksaan kualitas data kepada auditor untuk kepatuhan terhadap peraturan.
  • Melacak pengayaan metadata: Perusahaan retail yang menggunakan tugas impor metadata untuk memperkaya katalognya dapat menggunakan log metadata_job untuk memverifikasi bahwa impor berhasil diselesaikan dan semua item metadata diproses dengan benar.
  • Mengaudit penemuan data: Organisasi dapat menggunakan log discovery untuk memantau cara dan waktu sumber data baru ditemukan dan didaftarkan dalam Knowledge Catalog, sehingga menyediakan jejak audit untuk proses aktivasi data.

Cara kerja logging Knowledge Catalog

Knowledge Catalog mengirim log untuk operasi layanan dan eksekusi tugas ke Cloud Logging. Setiap entri log berisi detail tentang operasi atau tugas, seperti status, waktu mulai dan berakhir, resource terkait (seperti pemindaian atau tugas data), dan hasil. Berbagai jenis operasi, seperti pemindaian data, penemuan, impor metadata, dan pemrosesan data, menghasilkan jenis log yang berbeda, yang dapat Anda buat kuerinya menggunakan logName atau bahasa kueri logging di Logging.

Anda dapat mengakses dan menganalisis log ini menggunakan Logs Explorer di konsolGoogle Cloud atau dengan merutekannya ke tujuan lain seperti bucket Cloud Storage atau tabel BigQuery untuk analisis lebih lanjut.

Jenis log Knowledge Catalog

Knowledge Catalog memublikasikan log layanan berikut ke Cloud Logging.

Jenis log Nama log logName kueri Deskripsi log
Log peristiwa pemindaian data dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Log peristiwa tingkat tugas untuk tugas pemindaian data (pemindaian kualitas data, profil data, dan insight data) yang menunjukkan status, hasil, dan statistik tugas
Log hasil aturan pemindaian kualitas data dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Hasil evaluasi tingkat aturan yang mendetail untuk setiap aturan yang dievaluasi dalam tugas pemindaian kualitas data
Log penemuan dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progres penemuan dan update aset di zona
Log tugas metadata dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Log tentang tugas impor metadata dan item impor dalam file impor metadata
Log proses dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Job run yang dihasilkan dari tugas pemrosesan data

Mengakses log layanan Knowledge Catalog

Untuk mengakses Logging, gunakan Logs Explorer di konsolGoogle Cloud , perintah gcloud logging, atau Logging API. Anda dapat menggunakan bahasa kueri logging untuk membuat kueri mendetail.

Izin IAM yang diperlukan

Untuk melihat dan membuat kueri log, Anda harus memiliki peran Logs Viewer (roles/logging.viewer), atau izin yang setara pada project.

Melihat log di konsol Google Cloud

  1. Di konsol Google Cloud , buka halaman Observability > Logging > Logs explorer.

    Buka Logs Explorer

  2. Konfigurasikan filter Resource dan Log name berdasarkan tabel berikut:

    Jenis log Pemilihan resource Pemilihan nama log
    Peristiwa pemindaian data Audited Resource > Service: Cloud Dataplex dataplex.googleapis.com/data_scan
    Hasil aturan pemindaian kualitas data Audited Resource > Service: Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Log penemuan Zona Cloud Dataplex dataplex.googleapis.com/discovery
    Log tugas metadata Tugas Metadata Cloud Dataplex dataplex.googleapis.com/metadata_job
    Log proses Tugas Cloud Dataplex dataplex.googleapis.com/process

  3. (Opsional) Pilih sub-filter tertentu (seperti ID tugas tertentu) untuk mempersempit kueri Anda.

  4. Klik Terapkan, lalu klik Jalankan kueri.

Contoh pemfilteran log

Anda dapat menggunakan bahasa kueri logging di editor kueri Logs Explorer atau dengan Google Cloud CLI. Contoh berikut menunjukkan cara membaca log menggunakan gcloud CLI.

Contoh: Membaca peristiwa pemindaian data

Untuk membaca entri log peristiwa untuk pemindaian kualitas data atau pemindaian profil data, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Contoh: Membaca entri log proses

Untuk membaca entri log proses, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Contoh payload log

Contoh berikut menunjukkan struktur payload JSON untuk berbagai jenis log Knowledge Catalog. Anda dapat menggunakan contoh ini untuk memahami struktur log dan membuat filter log.

Log peristiwa pemindaian data

Di Knowledge Catalog, pemindaian data mencakup pemindaian kualitas data, pemindaian profil data, dan pemindaian insight data. Saat Anda menjalankan tugas pemindaian data, Knowledge Catalog akan menghasilkan log peristiwa data_scan di Logging yang meringkas keseluruhan eksekusi tugas. Untuk pemindaian insight data yang berhasil (jsonPayload.type="DATA_DOCUMENTATION"), log peristiwa juga menyertakan blok billableTokenUsage. Untuk mengetahui informasi tentang cara membuat kueri dan membuat diagram konsumsi token insight data, lihat Memantau penggunaan token insight data.

Contoh berikut menunjukkan payload log peristiwa untuk pemindaian kualitas data:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log hasil aturan pemindaian kualitas data

Saat pemindaian kualitas data berjalan, Knowledge Catalog akan membuat log peristiwa pemindaian data dan log hasil aturan pemindaian kualitas data terpisah untuk setiap aturan individual yang dievaluasi dalam tugas.

Setiap entri log data_quality_scan_rule_result berisi informasi tentang aturan tertentu, termasuk konfigurasi aturan, dimensi evaluasi, status, dan jumlah baris.

Contoh berikut menunjukkan payload log hasil aturan pemindaian kualitas data:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log penemuan

Contoh berikut menunjukkan payload log penemuan:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log tugas metadata

Contoh berikut menunjukkan payload log tugas metadata:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log proses

Contoh berikut menunjukkan payload log proses:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Menyiapkan pemberitahuan berbasis log

Anda dapat menyiapkan pemberitahuan berbasis log untuk mendapatkan notifikasi setiap kali peristiwa Knowledge Catalog tertentu terjadi (seperti pemindaian kualitas data yang gagal).

Untuk membuat pemberitahuan berbasis log, Anda harus memiliki peran Logs Configuration Writer (roles/logging.configWriter) dan Monitoring AlertPolicy Editor (roles/monitoring.alertPolicyEditor), atau izin yang setara.

  1. Jalankan kueri di Logs Explorer yang menargetkan kondisi kegagalan (misalnya: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Di atas panel hasil kueri, klik Buat pemberitahuan.
  3. Di panel Buat pemberitahuan berbasis log, masukkan nama dan deskripsi kebijakan pemberitahuan.
  4. Klik Berikutnya dan konfigurasi saluran notifikasi Anda.
  5. Klik Simpan.

Untuk mengetahui informasi yang lebih mendetail, lihat Membuat pemberitahuan berbasis log.

Langkah berikutnya