Melihat log Cloud Data Fusion

Dokumen ini menjelaskan cara mengakses dan melihat log pipeline dan log layanan untuk Cloud Data Fusion.

Mulai Cloud Data Fusion versi 6.11, log pipeline dan log layanan tersedia di Cloud Logging.

Tentang jenis log

Cloud Data Fusion menghasilkan beberapa jenis log untuk membantu memantau dan memecahkan masalah proses integrasi data:

Log pipeline
Log ini memberikan informasi mendetail tentang setiap jalannya pipeline, termasuk jalannya pratinjau. Log ini mencakup semua tahap eksekusi pipeline, seperti penyiapan pra-eksekusi, eksekusi tugas, dan aktivitas pasca-eksekusi.

Log layanan
Log ini memberikan informasi mendetail tentang layanan sistem Cloud Data Fusion, seperti AppFabric dan pemroses AppFabric.

Log audit
Cloud Data Fusion membuat log audit, seperti log audit Aktivitas Admin. Untuk mengetahui informasi selengkapnya, lihat Logging audit Cloud Data Fusion.

Log pipeline lanjutan
Log ini memberikan informasi mendetail tentang setiap operasi pipeline. Log ini sangat berguna untuk memecahkan masalah kegagalan pipeline, karena log ini merekam informasi bahkan sebelum cluster Dataproc selesai disediakan, yang dapat membantu mengidentifikasi masalah atau keterlambatan cluster. Untuk mengetahui informasi selengkapnya, lihat Melihat log pipeline lanjutan di Cloud Logging.

Harga

Penggunaan Cloud Logging dan Cloud Monitoring akan dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat harga Google Cloud Observability.

Opsional: Impor dasbor Logging Cloud Data Fusion

Untuk melihat log pipeline dan log layanan menggunakan dasbor Cloud Data Fusion Logging, impor dasbor:

  1. Di konsol Google Cloud , buka halaman Dashboards Cloud Monitoring.

    Buka Dashboards

  2. Klik Lihat template dasbor.

  3. Telusuri Cloud Data Fusion Logging, lalu pilih dasbor.

  4. Klik Tambahkan dasbor Logging Cloud Data Fusion ke daftar Anda.

Melihat log pipeline

Anda dapat melihat log pipeline menggunakan dasbor Cloud Data Fusion Logging atau langsung di Logs Explorer.

Melihat log pipeline menggunakan dasbor

  1. Jika Anda belum melakukannya, impor dasbor Cloud Data Fusion Logging.

  2. Di bagian Dasbor saya, klik Logging Cloud Data Fusion.

  3. Di bagian Pipeline logs, lihat daftar log pipeline. Anda dapat memfilter log berdasarkan tingkat keparahan, nama kolom, dan nilai.

    Untuk menyaring penelusuran menggunakan kueri, gunakan Logs Explorer.

Melihat log pipeline di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Masukkan kueri berikut:

    resource.type="datafusion.googleapis.com/PipelineV2"

    Tindakan ini akan menampilkan daftar log pipeline. Anda dapat menggunakan filter untuk mempersempit hasil.

Memfilter log pipeline

Anda dapat memfilter log pipeline menurut ID proses, ID instance, ID pipeline, lokasi, namespace, atau label kustom.

Setiap eksekusi pipeline Cloud Data Fusion diberi RunID yang unik. Setelah men-deploy dan menjalankan pipeline, Anda dapat menemukan RunID pipeline dan melihat log pipeline yang sesuai.

Untuk memfilter log pipeline menurut RunID, ikuti langkah-langkah berikut:

  1. Dapatkan RunID pipeline.

  2. Di konsol Google Cloud , buka halaman Logs Explorer.

  3. Masukkan kueri berikut:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Melihat log layanan

Anda dapat melihat log layanan menggunakan dasbor Cloud Data Fusion Logging atau di Logs Explorer.

Melihat log layanan menggunakan dasbor

  1. Jika Anda belum melakukannya, impor dasbor Cloud Data Fusion Logging.

  2. Di bagian Dasbor saya, klik Logging Cloud Data Fusion.

  3. Di bagian Log layanan, lihat daftar log layanan. Anda dapat memfilter log berdasarkan tingkat keparahan, nama kolom, dan nilai.

    Untuk menyaring penelusuran menggunakan kueri, gunakan Logs Explorer.

Melihat log layanan di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Temukan log layanan dengan memasukkan kueri tertentu untuk layanan tersebut.

    Nama layanan Kueri log
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"
    Prosesor AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"
    Eksekutor set data 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"
    Penyimpan log 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"
    Layanan metadata 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"
    Metrik 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"
    Runtime 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"
    Layanan Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Logging yang dapat dikonfigurasi di Cloud Data Fusion

Cloud Data Fusion 6.11.0 menawarkan logging yang dapat dikonfigurasi, dengan Cloud Logging diaktifkan secara default. Meskipun Cloud Logging dapat dinonaktifkan, sebaiknya tetap aktifkan Cloud Logging untuk memastikan Anda memiliki akses ke log pipeline dan instance penting.

Untuk menonaktifkan Cloud Logging, jalankan perintah berikut:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Ganti kode berikut:

  • PROJECT_ID: Google Cloud project ID
  • LOCATION: lokasi instance Anda
  • INSTANCE_ID: ID instance Cloud Data Fusion Anda

Langkah berikutnya