Membuat pemberitahuan pipeline

Notifikasi pipeline di Cloud Data Fusion memungkinkan Anda melacak status eksekusi dan memantau kondisi alur kerja. Notifikasi ini membantu Anda mendeteksi kegagalan pipeline dengan segera.

Anda dapat mengonfigurasi pemberitahuan menggunakan dua layanan berbeda, bergantung pada tahap deployment Anda. Notifikasi Cloud Data Fusion disiapkan selama desain pipeline batch dan tidak dapat ditambahkan atau diedit setelah deployment. Sebaliknya, Anda dapat membuat pemberitahuan berbasis log melalui Cloud Monitoring di konsol Google Cloud kapan saja—baik sebelum maupun setelah men-deploy pipeline.

Sebelum memulai

Anda memerlukan instance Cloud Data Fusion. Untuk mengetahui informasi selengkapnya, lihat Membuat instance publik.

Menambahkan pemberitahuan di Cloud Data Fusion

  1. Buka instance Anda.

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Buka halaman Studio tempat Anda mendesain pipeline.

  3. Klik Konfigurasi > Notifikasi pipeline > Tambahkan.

  4. Pilih dan konfigurasi pemberitahuan. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi pemberitahuan, lihat Pemberitahuan pipeline batch.

  5. Setelah mengonfigurasi pemberitahuan, klik Validate untuk memeriksa error, lalu klik Confirm.

Membuat pemberitahuan di Monitoring

  1. Aktifkan Cloud Logging di instance Cloud Data Fusion Anda.

  2. Membuat pemberitahuan berbasis log.

    1. Di konsol Google Cloud , buka halaman Logs Explorer.

      Buka Logs Explorer

      Halaman ini memungkinkan Anda menyimpan, mengkueri, memperbarui, dan menghapus data.

    2. Masukkan kueri berikut:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Ganti PROJECT_ID dengan ID project Anda.

    3. Klik Create alert dan konfigurasikan pemberitahuan.

Notifikasi hanya dibuat saat pipeline berjalan di cluster Managed Service untuk Apache Spark dan gagal. Untuk kegagalan pembuatan cluster Managed Service untuk Apache Spark, pemberitahuan tidak akan dibuat.

Langkah berikutnya