Melihat log pipeline lanjutan di Cloud Logging

Dengan mengaktifkan Cloud Logging untuk cluster Managed Service untuk Apache Spark di Cloud Data Fusion, Anda dapat mengakses data eksekusi terperinci di luar metrik pipeline standar. Anda dapat menggunakan log lanjutan ini untuk memecahkan masalah kegagalan operasi, memeriksa perilaku driver dan eksekutor, serta men-debug transformasi data yang kompleks.

Mengaktifkan Cloud Logging Managed Service untuk Apache Spark

Untuk melihat masalah pipeline dan cluster di Cloud Logging, aktifkan log lanjutan di instance Cloud Data Fusion baru atau yang sudah ada. Untuk mengaktifkan log lanjutan di instance yang ada, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Instances Cloud Data Fusion.

    Buka Instances

  2. Klik nama instance.

  3. Di bagian Advanced monitoring and logging, untuk Dataproc Cloud Logging, klik Edit.

  4. Di jendela Cloud Logging, centang kotak Enable Cloud Logging.

  5. Klik Simpan.

Melihat log

Setiap operasi pipeline Cloud Data Fusion diberi RunID yang unik. Setelah men-deploy dan menjalankan pipeline, temukan RunID-nya. Kemudian, di Logging, gunakan RunID untuk melihat log pipeline Anda.

Mendapatkan RunID pipeline

  1. Buka instance Anda:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik List.
  3. Klik pipeline yang ingin Anda dapatkan ID Operasinya.
  4. Klik Ringkasan.
  5. Di bagian Run history, klik Table.
  6. Untuk menyalin Run ID, klik kanan RunID, lalu klik Copy.

Melihat log di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Cloud Logging > Logs Explorer:

    Buka Logs Explorer

  2. Di menu drop-down All resources, pilih Cloud Dataproc Cluster > cdap-PIPELINE_NAME-YOUR_RUNID.

Opsional: Memfilter log

Gunakan menu filter untuk memfilter log Anda. Anda dapat memfilter berdasarkan berbagai tingkat keparahan log atau berdasarkan komponen seperti datafusion-pipeline-logs.

Opsional: Mendownload log

Klik Download log.

Untuk mengetahui informasi selengkapnya, lihat mendownload entri log.

Langkah berikutnya