Melihat log Cloud Data Fusion

Dokumen ini menjelaskan cara mengakses dan melihat log pipeline dan log layanan untuk Cloud Data Fusion.

Mulai Cloud Data Fusion versi 6.11, log pipeline dan log layanan tersedia di Cloud Logging.

Tentang jenis log

Cloud Data Fusion menghasilkan beberapa jenis log untuk membantu memantau dan memecahkan masalah proses integrasi data:

Log pipeline
Log ini memberikan informasi mendetail tentang setiap jalannya pipeline, termasuk jalannya pratinjau. Log ini mencakup semua tahap eksekusi pipeline, seperti penyiapan pra-eksekusi, eksekusi tugas, dan aktivitas pasca-eksekusi.

Log layanan
Log ini memberikan informasi mendetail tentang layanan sistem Cloud Data Fusion, seperti AppFabric dan pemroses AppFabric.

Log audit
Cloud Data Fusion menghasilkan log audit, seperti log audit Aktivitas Admin. Untuk mengetahui informasi selengkapnya, lihat Logging audit Cloud Data Fusion.

Log pipeline lanjutan
Log ini memberikan informasi mendetail tentang setiap eksekusi pipeline. Log ini sangat berguna untuk memecahkan masalah kegagalan pipeline, karena log ini merekam informasi bahkan sebelum cluster Managed Service for Apache Spark selesai disediakan, yang dapat membantu mengidentifikasi masalah atau keterlambatan cluster. Untuk mengetahui informasi selengkapnya, lihat Melihat log pipeline lanjutan di Cloud Logging.

Harga

Penggunaan Cloud Logging dan Cloud Monitoring akan dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat Harga Google Cloud Observability.

Opsional: Impor dasbor Logging Cloud Data Fusion

Untuk melihat log pipeline dan log layanan menggunakan dasbor Cloud Data Fusion Logging, impor dasbor:

  1. Di konsol Google Cloud , buka halaman Dasbor Cloud Monitoring.

    Buka Dashboards

  2. Klik Lihat template dasbor.

  3. Telusuri Cloud Data Fusion Logging, lalu pilih dasbor.

  4. Klik Tambahkan dasbor Logging Cloud Data Fusion ke daftar Anda.

Melihat log pipeline

Anda dapat melihat log pipeline menggunakan dasbor Cloud Data Fusion Logging atau langsung di Logs Explorer.

Melihat log pipeline menggunakan dasbor

  1. Jika Anda belum melakukannya, impor dasbor Cloud Data Fusion Logging.

  2. Di bagian Dasbor saya, klik Cloud Data Fusion Logging.

  3. Di bagian Pipeline logs, lihat daftar log pipeline. Anda dapat memfilter log berdasarkan tingkat keparahan, nama kolom, dan nilai.

    Untuk menyaring penelusuran menggunakan kueri, gunakan Logs Explorer.

Melihat log pipeline di Logs Explorer

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Masukkan kueri berikut:

    resource.type="datafusion.googleapis.com/PipelineV2"

    Tindakan ini akan menampilkan daftar log pipeline. Anda dapat menggunakan filter untuk mempersempit hasil.

Memfilter log pipeline

Anda dapat memfilter log pipeline menurut ID proses, ID instance, ID pipeline, lokasi, namespace, atau label kustom.

Setiap eksekusi pipeline Cloud Data Fusion diberi RunID unik. Setelah men-deploy dan menjalankan pipeline, Anda dapat menemukan RunID pipeline dan melihat log pipeline yang sesuai.

Untuk memfilter log pipeline menurut RunID, ikuti langkah-langkah berikut:

  1. Dapatkan RunID pipeline.

  2. Di konsol Google Cloud , buka halaman Logs Explorer.

  3. Masukkan kueri berikut:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID

Melihat log layanan

Anda dapat melihat log layanan menggunakan dasbor Cloud Data Fusion Logging atau di Logs Explorer.

Melihat log layanan menggunakan dasbor

  1. Jika Anda belum melakukannya, impor dasbor Cloud Data Fusion Logging.

  2. Di bagian Dasbor saya, klik Cloud Data Fusion Logging.

  3. Di bagian Log layanan, lihat daftar log layanan. Anda dapat memfilter log berdasarkan tingkat keparahan, nama kolom, dan nilai.

    Untuk menyaring penelusuran menggunakan kueri, gunakan Logs Explorer.

Melihat log layanan di Logs Explorer

Mulai dari Cloud Data Fusion versi 6.11.1.1, log layanan sistem menggunakan resource yang dipantau InstanceV3 (datafusion.googleapis.com/InstanceV3) secara default. Log ini menggunakan akhiran nama log services-v3 dan tidak menyertakan label org_id atau namespace yang ditemukan di versi sebelumnya. Meskipun emisi log InstanceV2 dinonaktifkan secara default untuk instance baru dan yang diupgrade, Anda dapat mengaktifkan kembali logging InstanceV2 menggunakan Cloud Data Fusion REST API jika operasi Anda mengandalkan label lama.

Untuk melihat log layanan di Logs Explorer, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Temukan log layanan dengan memasukkan kueri tertentu untuk layanan tersebut.

    Nama layanan Kueri log untuk InstanceV2 Kueri log untuk InstanceV3
    Appfabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric"
    Prosesor AppFabric 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="appfabric.processor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="appfabric.processor"
    Eksekutor set data 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="dataset.executor"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="dataset.executor"
    Penyimpan log 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="log.saver"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="log.saver"
    Layanan metadata 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metadata.service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metadata.service"
    Metrik 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="metrics"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="metrics"
    Pipeline Studio 
    resource.type="datafusion.googleapis.com/InstanceV2" 
resource.labels.namespace="system"
labels.".userserviceid"="studio"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".userserviceid"="studio"
    Runtime 
    resource.type="datafusion.googleapis.com/InstanceV2"
labels.".serviceId"="runtime"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".serviceId"="runtime"
    Layanan Wrangler 
    resource.type="datafusion.googleapis.com/InstanceV2"
resource.labels.namespace="system"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

    resource.type="datafusion.googleapis.com/InstanceV3"
labels.".applicationId"="dataprep"
labels.".userserviceid"="service"

Mengaktifkan log InstanceV2

Secara default, instance Cloud Data Fusion yang menjalankan versi 6.11.1.1 atau yang lebih baru menonaktifkan logging InstanceV2. Jika operasi Anda memerlukan format logging sebelumnya (misalnya, jika Anda mengandalkan label org_id atau namespace), Anda dapat mengaktifkan kembali log InstanceV2 menggunakan Cloud Data Fusion REST API.

Untuk mengaktifkan log InstanceV2, gunakan metode instances.patch dengan enable_instance_v2_logs ditetapkan ke true. Setelan ini memancarkan log InstanceV2 dan InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Ganti kode berikut:

  • PROJECT_ID: Google Cloud project ID
  • LOCATION: lokasi instance Anda
  • INSTANCE_ID: ID instance Cloud Data Fusion Anda

Logging yang dapat dikonfigurasi di Cloud Data Fusion

Cloud Data Fusion 6.11.0 menawarkan logging yang dapat dikonfigurasi, dengan Cloud Logging diaktifkan secara default. Meskipun Cloud Logging dapat dinonaktifkan, sebaiknya Anda tetap mengaktifkannya untuk memastikan Anda memiliki akses ke log pipeline dan instance penting.

Untuk menonaktifkan Cloud Logging, jalankan perintah berikut:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Ganti kode berikut:

  • PROJECT_ID: Google Cloud project ID
  • LOCATION: lokasi instance Anda
  • INSTANCE_ID: ID instance Cloud Data Fusion Anda

Langkah berikutnya