Membuat cluster Slurm terkelola sepenuhnya dengan dua VM A4

Membuat cluster Slurm terkelola sepenuhnya dengan dua VM A4

Panduan memulai ini menjelaskan cara membuat dan menghubungkan ke cluster Slurm menggunakan Cluster Director. Cluster yang Anda buat menggunakan dua instance virtual machine (VM) A4, yang direkayasa untuk membantu cluster Slurm Anda menangani beban kerja pelatihan dan inferensi model berskala besar secara efisien.

Penting: Untuk menyelesaikan panduan memulai ini, Anda harus memiliki cukup resource untuk membuat dua VM A4. Untuk mendapatkan resource ini, Anda harus memesan resource untuk tanggal dan waktu mendatang, atau membuat VM A4 sebagai VM mulai fleksibel atau Spot VM. Untuk mengetahui informasi selengkapnya, lihat Memilih opsi pemakaian.

Cluster Director adalah layanan terkelola yang menyederhanakan dan mengotomatiskan deployment cluster, sehingga mengurangi beban operasional dan memungkinkan Anda berfokus pada menjalankan workload. Jika Anda menginginkan lebih banyak kontrol atas deployment dan pengelolaan cluster, buat cluster Slurm menggunakan Cluster Toolkit.

---

Untuk mengikuti panduan langkah demi langkah untuk tugas ini langsung di konsol Google Cloud , klik Pandu saya:

Pandu saya

---

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Aktifkan Hypercompute Cluster API, Compute Engine API, Filestore API, Google Cloud Managed Lustre API, Cloud Logging API, dan Cloud Monitoring API:

   Aktifkan API
2. Verifikasi bahwa project Anda dan akun layanan default Compute Engine memiliki peran Identity and Access Management (IAM) berikut:

   • Untuk mendapatkan izin yang Anda perlukan untuk menyelesaikan panduan memulai ini, minta administrator untuk memberi Anda peran IAM berikut:

     • Untuk membuat dan mengelola cluster: Cluster Director Editor (roles/hypercomputecluster.editor) di project Anda
     • Untuk membuat dan mengelola VM dalam cluster: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project Anda
     • Untuk menggunakan pemesanan satu project: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project Anda
     • Untuk menggunakan reservasi bersama: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project pemilik dan project konsumen tempat Anda ingin menggunakan reservasi
     • Untuk terhubung ke node login di cluster:
       • Login OS Compute (roles/compute.osLogin) di project Anda
       • IAP-Secured Tunnel User (roles/iap.tunnelResourceAccessor) di project Anda

     Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

     Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

   • Untuk mendapatkan izin yang diperlukan untuk menyelesaikan panduan memulai ini, minta administrator untuk memberi Anda peran IAM berikut di akun layanan default Compute Engine:

     • Untuk membuat cluster: Service Account User (roles/iam.serviceAccountUser)
     • Untuk mengelola resource di cluster:
       • Logs Writer (roles/logging.logWriter)
       • Monitoring Metric Writer (roles/monitoring.metricWriter)
       • Storage Object Viewer (roles/storage.objectViewer)

3. Jika organisasi tempat project Anda berada memiliki kebijakan image tepercaya (constraints/compute.trustedImageProjects), verifikasi bahwa project clusterdirector-public-images disertakan dalam daftar project yang diizinkan. Untuk melihat kebijakan image tepercaya untuk organisasi Anda, lihat Menetapkan batasan akses image.

Biaya

Panduan memulai ini menggunakan resource Google Cloud yang dapat ditagih berikut:

• Compute Engine:

  • Dua VM dengan jenis mesin A4

  • Satu volume Persistent Disk untuk node login Slurm dengan 100 GB

  • Satu volume Google Cloud Hyperdisk Balanced dengan 100 GB untuk VM A4

• Filestore: instance Filestore dengan 10 TiB (10.240 GiB)

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Membuat cluster Slurm

Untuk membuat cluster Slurm, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Cluster Director.

   Buka Cluster Director

2. Klik Buat cluster.

3. Pada dialog yang muncul, klik Konfigurasi langkah demi langkah. Halaman Create cluster akan muncul.

4. Di kolom Cluster name, masukkan cluster001.

5. Di bagian Compute, klik Configure resources. Di panel Add resource configuration yang muncul, selesaikan langkah-langkah berikut:

   1. Dalam daftar GPU type, pilih NVIDIA B200 180GB.

   2. Di kolom Number of instances, masukkan 2.

   3. Di bagian Opsi pemakaian, pilih opsi pemakaian yang ingin Anda gunakan untuk mendapatkan resource.

   4. Di bagian Location, tentukan Region dan Zone tempat Anda ingin membuat VM A4, atau tempat reservasi yang ingin Anda gunakan untuk membuat VM Anda berada.

   5. Klik Done.

6. Di menu navigasi, klik Storage.

7. Di bagian Penyimpanan, klik Edit konfigurasi penyimpanan. Di panel Add storage configuration yang muncul, selesaikan langkah-langkah berikut:

   1. Di bagian Kapasitas, pilih 10-100 TiB, dengan inkremen 2,5 TiB.

   2. Klik Done.

8. Klik Create. Halaman Cluster akan muncul.

   Mungkin perlu waktu beberapa saat untuk menyelesaikan pembuatan cluster. Waktu penyelesaian bergantung pada jumlah VM yang Anda minta dan ketersediaan resource di zona VM. Jika resource yang Anda minta tidak tersedia, Cluster Director akan mempertahankan permintaan pembuatan hingga resource tersedia.

Melihat permintaan pembuatan cluster

Untuk meninjau permintaan pembuatan cluster, selesaikan langkah-langkah berikut:

1. Di tabel Clusters, di kolom Name, klik cluster001. Halaman yang memberikan detail cluster akan muncul, dan tab Details akan dipilih.

2. Di bagian Compute, temukan baris Status. Saat AI Hypercomputer menetapkan nilainya ke Siap, Anda dapat melanjutkan ke bagian berikutnya.

Menghubungkan ke cluster melalui SSH

Untuk terhubung ke cluster melalui SSH, selesaikan langkah-langkah berikut:

1. Klik tab Nodes.

2. Di tabel Login nodes, temukan baris yang berisi node cluster001-login-001. Di baris tersebut, di kolom Connect, klik tombol SSH. Jendela SSH-in-browser akan muncul.

3. Jika diminta, klik Authorize. Menghubungkan ke cluster Anda dapat memerlukan waktu beberapa saat. Setelah terminal siap, lanjutkan ke bagian berikutnya.

   Catatan: Jika Anda mengalami error saat terhubung ke cluster, lihat Memecahkan masalah error SSH.

Menjalankan tugas contoh

Di jendela SSH-in-browser, selesaikan langkah-langkah berikut:

1. Untuk memverifikasi bahwa Slurm sedang berjalan, jalankan perintah berikut:

   sinfo
   

2. Untuk mengirimkan tugas pengujian yang menampilkan nama host node, jalankan perintah berikut:

   srun hostname
   

3. Untuk mengirimkan tugas batch yang tidak aktif selama 30 detik, jalankan perintah berikut:

   sbatch --wrap="sleep 30"
   

4. Untuk memeriksa status tugas dalam antrean, jalankan perintah berikut:

   squeue
   

5. Untuk melihat data akuntansi tugas, jalankan perintah berikut:

   sacct
   

Anda telah berhasil membuat cluster Slurm, terhubung ke cluster tersebut, dan menjalankan tugas contoh. Jika AI Hypercomputer masih belum membuat VM A4, Anda dapat menunggu cluster membuat VM, mengubah cluster untuk menambahkan atau menghapus VM, atau menghapus cluster untuk menghindari biaya yang tidak perlu.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus project Anda

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Hapus cluster Anda

Untuk menghapus cluster, dan resource terkaitnya, yang Anda buat sebagai bagian dari panduan memulai ini, selesaikan langkah-langkah berikut:

1. Di halaman yang berisi detail cluster Anda, klik Hapus.

2. Pada dialog yang muncul, masukkan cluster001, lalu klik Hapus untuk mengonfirmasi.

Langkah berikutnya

• Memverifikasi pemakaian reservasi

• Melihat topologi cluster

• Mengubah cluster

• Mengelola kesehatan cluster