Men-deploy dan menjalankan pipeline

Men-deploy pipeline di Cloud Data Fusion memungkinkan Anda mengubah desain integrasi data menjadi alur kerja yang dapat dieksekusi. Setelah deployment, Anda dapat menjalankan pipeline sesuai permintaan, menetapkan jadwal otomatis, atau mengonfigurasi pemicu masuk untuk mengelola eksekusi data.

Men-deploy pipeline

Setelah selesai mendesain dan men-debug pipeline data serta puas dengan data yang Anda lihat di Pratinjau, Anda siap men-deploy pipeline.

Saat Anda men-deploy pipeline, Cloud Data Fusion Studio akan membuat alur kerja dan tugas Apache Spark yang sesuai di latar belakang.

Menjalankan pipeline

Setelah men-deploy pipeline, Anda dapat menjalankan pipeline dengan cara berikut:

  • Untuk menjalankan pipeline sesuai permintaan, buka pipeline yang di-deploy, lalu klik Run.
  • Untuk menjadwalkan pipeline agar berjalan pada waktu tertentu, buka pipeline yang di-deploy, lalu klik Schedule.
  • Untuk memicu pipeline berdasarkan kapan pipeline lain selesai, buka pipeline yang di-deploy, lalu klik Incoming triggers.

Pipeline Studio menyimpan histori pipeline setiap kali dijalankan. Anda dapat beralih antara versi runtime pipeline yang berbeda.

Jika pipeline memiliki makro, tetapkan argumen runtime untuk setiap makro. Anda juga dapat meninjau dan mengubah konfigurasi pipeline sebelum menjalankan pipeline yang di-deploy. Anda dapat melihat perubahan status selama fase proses pipeline, seperti Provisioning, Starting, Running, dan Succeeded. Anda juga dapat menghentikan pipeline kapan saja.

Jika mengaktifkan instrumentasi, Anda dapat menjelajahi metrik yang dihasilkan oleh pipeline dengan mengklik Properties di node mana pun dalam pipeline, seperti sumber, transformasi, atau sink.

Untuk mengetahui informasi selengkapnya tentang proses pipeline, klik Summary.

Melihat catatan proses

Setelah proses pipeline selesai, Anda dapat melihat catatan proses. Secara default, Anda dapat melihat catatan proses selama 30 hari terakhir. Cloud Data Fusion akan menghapusnya setelah periode tersebut. Anda dapat memperpanjang periode tersebut menggunakan REST API.

REST API

Untuk menyimpan catatan proses lebih dari 30 hari, perbarui opsi app.run.records.ttl menggunakan perintah berikut:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/PROJECT_NAME/locations/REGION_NAME/instances/INSTANCE_NAME?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "DAYS", "app.run.records.ttl.frequency.hours": "HOURS" } }'

Ganti kode berikut:

  • PROJECT_NAME: nama Google Cloud project
  • REGION_NAME: region instance Cloud Data Fusion—misalnya, us-east4
  • INSTANCE_NAME: ID instance Cloud Data Fusion
  • DAYS: Jumlah waktu, dalam hari, untuk menyimpan catatan proses untuk proses pipeline lama—misalnya, 30.
  • HOURS: frekuensi, dalam jam, untuk memeriksa dan menghapus catatan proses lama—misalnya, 24.

Contoh:

curl -X PATCH -H 'Content-Type: application/json' -H "Authorization: Bearer $(gcloud auth print-access-token)" '
https://datafusion.googleapis.com/v1beta1/projects/project-1/locations/us-east4/instances/data-fusion-instance-1?updateMask=options'
-d '{ "options": { "app.run.records.ttl.days": "30", "app.run.records.ttl.frequency.hours": "24" } }'

Langkah berikutnya