Melihat log pipeline lanjutan di Cloud Logging

Halaman ini menjelaskan cara mengaktifkan Cloud Logging untuk cluster Managed Service for Apache Spark Cloud Data Fusion dan mengakses log pipeline lanjutan.

Mengaktifkan Managed Service for Apache Spark Cloud Logging

Untuk melihat masalah pipeline dan cluster di Cloud Logging, aktifkan log lanjutan di instance Cloud Data Fusion baru atau yang sudah ada. Untuk mengaktifkan log lanjutan di instance yang ada, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Instances Cloud Data Fusion.

    Buka Instances

  2. Klik nama instance.

  3. Di bagian Advanced monitoring and logging, untuk Dataproc Cloud Logging, klik Edit.

  4. Di jendela Cloud Logging, centang kotak Enable Cloud Logging.

  5. Klik Simpan.

Melihat log

Setiap eksekusi pipeline Cloud Data Fusion diberi RunID unik. Setelah men-deploy dan menjalankan pipeline, temukan RunID-nya. Kemudian, di Logging, gunakan RunID untuk melihat log pipeline.

Mendapatkan RunID pipeline

  1. Buka instance Anda:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik Daftar.
  3. Klik pipeline yang ID Prosesnya ingin Anda dapatkan.
  4. Klik Ringkasan.
  5. Di bagian Histori dijalankan, klik Tabel.
  6. Untuk menyalin ID Run, klik kanan RunID, lalu klik Salin.

Melihat log di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Cloud Logging > Logs Explorer:

    Buka Logs Explorer

  2. Di dropdown Semua resource, pilih Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opsional: Memfilter log

Gunakan menu filter untuk memfilter log Anda. Anda dapat memfilter menurut berbagai tingkat keparahan log atau menurut komponen seperti datafusion-pipeline-logs.

Opsional: Mendownload log

Klik Download log.

Untuk mengetahui informasi selengkapnya, lihat mendownload entri log.

Langkah berikutnya