Menggunakan kembali cluster

Menggunakan kembali cluster Managed Service untuk Apache Spark di Cloud Data Fusion memungkinkan Anda mengurangi overhead penyediaan dan mempercepat eksekusi pipeline di seluruh operasi. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster dan Menjalankan pipeline terhadap cluster Managed Service untuk Apache Spark yang ada.

Sebelum memulai

  • Anda harus memiliki instance Cloud Data Fusion dalam versi 6.5.0 atau yang lebih baru.

Mengaktifkan penggunaan kembali cluster

Anda dapat menggunakan kembali cluster di profil komputasi baru, atau di profil yang telah digunakan dalam pipeline yang di-deploy.

Mengaktifkan penggunaan kembali cluster di profil baru

  1. Buka instance Anda:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik System admin > Configuration > System compute profiles.

  3. Klik Buat profil baru.

  4. Pilih penyedia Managed Service untuk Apache Spark.

  5. Di jendela Create a profile for Managed Service untuk Apache Spark, masukkan detail tentang cluster Anda:

    1. Di kolom Label profil dan Nama profil, masukkan nama untuk mengidentifikasi profil—misalnya, execution_compute-profile.
    2. Di kolom Description, jelaskan tujuan profil—misalnya, Profile used for pipeline execution.
    3. Di kolom Max idle time, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maksimum.
    4. Tetapkan kolom Skip cluster delete ke True. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.
    5. Opsional: konfigurasikan kolom opsional lainnya.
    6. Klik Create.

Mengaktifkan penggunaan kembali cluster di pipeline yang di-deploy

  1. Buka instance Anda:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik List.

  3. Klik tab Deployed, lalu klik nama pipeline. Pipeline yang di-deploy akan terbuka di halaman Studio di antarmuka web Cloud Data Fusion.

  4. Klik Configure.

  5. Di jendela Compute config, buka profil yang dipilih, lalu klik Customize.

  6. Di jendela yang terbuka, masukkan nilai berikut:

    1. Di kolom Max Idle Time, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maksimum.
    2. Setel Skip cluster delete ke True. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.

  7. Klik Done.

Langkah berikutnya