Halaman ini menjelaskan cara menggunakan kembali cluster Managed Service for Apache Spark untuk menjalankan pipeline di Cloud Data Fusion. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster dan Menjalankan pipeline terhadap cluster Managed Service for Apache Spark yang ada.
Sebelum memulai
- Anda harus memiliki instance Cloud Data Fusion dalam versi 6.5.0 atau yang lebih baru.
Mengaktifkan penggunaan kembali cluster
Anda dapat menggunakan kembali cluster dalam profil komputasi baru, atau di cluster yang telah digunakan dalam pipeline yang di-deploy.
Mengaktifkan penggunaan kembali cluster dalam profil baru
Buka instance Anda:
Di konsol Google Cloud , buka halaman Cloud Data Fusion.
Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.
Klik Admin sistem > Konfigurasi > Profil komputasi sistem.
Klik Buat profil baru.
Pilih penyedia Managed Service for Apache Spark.
Di jendela Buat profil untuk Managed Service for Apache Spark, masukkan detail tentang cluster Anda:
- Di kolom Label profil dan Nama profil, masukkan nama untuk mengidentifikasi profil—misalnya,
execution_compute-profile. - Di kolom Deskripsi, jelaskan tujuan profil—misalnya,
Profile used for pipeline execution. - Di kolom Waktu tidak ada aktivitas maksimum, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maksimum.
- Tetapkan kolom Lewati penghapusan cluster ke
True. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster. - Opsional: konfigurasi kolom opsional lainnya.
- Klik Buat.
- Di kolom Label profil dan Nama profil, masukkan nama untuk mengidentifikasi profil—misalnya,
Mengaktifkan penggunaan kembali cluster dalam pipeline yang di-deploy
Buka instance Anda:
Di konsol Google Cloud , buka halaman Cloud Data Fusion.
Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.
Klik Daftar.
Klik tab Di-deploy , lalu klik nama pipeline. Pipeline yang di-deploy akan terbuka di halaman Studio di antarmuka web Cloud Data Fusion.
Klik Konfigurasi.
Di jendela Konfigurasi komputasi , buka profil yang dipilih, lalu klik Sesuaikan.
Di jendela yang terbuka, masukkan nilai berikut:
- Di kolom Waktu Tidak Ada Aktivitas Maksimum, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maksimum.
- Tetapkan Lewati penghapusan cluster ke
True. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.
Klik Selesai.
Langkah berikutnya
- Pelajari lebih lanjut cara mengonfigurasi cluster.
- Memecahkan masalah penghapusan cluster.