Menggunakan VM Flex Start dengan cluster Slurm

Panduan ini memberikan petunjuk untuk mengonfigurasi dan menggunakan Flex Start VM dengan Slurm di Gemini Enterprise Agent Platform. Integrasi ini memungkinkan Anda menggunakan model penyediaan VM yang fleksibel untuk workload pelatihan Anda.

Konfigurasi dan pembuatan cluster

Sebelum membuat cluster yang menggunakan Flex Start VM, pastikan project Anda memiliki kuota preemptible yang memadai untuk vCPU, memori, dan akselerator yang diminta oleh node pool Flex Start Anda. Untuk mengetahui informasi selengkapnya, lihat Kuota VM Flex-start.

Memverifikasi izin untuk Agen Layanan Google API

Anda tidak perlu memberikan peran IAM tambahan ke grup instance terkelola yang menyediakan VM Flex Start. Grup ini menggunakan agen layanan yang dikelola Google yang disiapkan secara otomatis saat Anda mengaktifkan API yang diperlukan. Untuk mengaktifkan API yang diperlukan, lihat Memulai.

Grup instance terkelola untuk node login Slurm menggunakan Agen Layanan Google API (PROJECT_NUMBER@cloudservices.gserviceaccount.com). Agen layanan ini memiliki peran Editor (roles/editor) secara default. Jika organisasi Anda menghapus peran ini, berikan peran berikut kepada Agen Layanan Google API agar dapat membuat node login:

  • Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1): memungkinkan agen layanan membuat, mencantumkan, dan menghapus instance VM.
  • Service Account User (roles/iam.serviceAccountUser): memungkinkan agen layanan melampirkan akun layanan ke VM.

Membuat cluster Slurm dengan model penyediaan Flex Start

Untuk membuat cluster Slurm yang menggunakan model penyediaan Flex Start, Anda harus menentukan provisioning_model dalam konfigurasi node pool dari spesifikasi cluster saat mengirimkan permintaan pembuatan cluster menggunakan API.

Contoh Cuplikan Konfigurasi: Simpan konfigurasi JSON berikut ke file bernama cluster_config.json. Contoh ini secara eksplisit menggunakan slurm_spec. Ganti placeholder (misalnya, <project-id>, <region>, <zone>) dengan nilai Anda yang sebenarnya.

{
  "display_name": "flexvm",
  "name": "projects/<project-id>/locations/<region>/modelDevelopmentClusters/",
  "network": {
    "network": "projects/<project-id>/global/networks/default",
    "subnetwork": "projects/<project-id>/regions/<region>/subnetworks/default"
  },
  "node_pools": [
    {
      "id": "login",
      "machine_spec": { "machine_type": "n2-standard-8" },
      "scaling_spec": { "min_node_count": 1, "max_node_count": 1 },
      "enable_public_ips": "true",
      "zone": "<zone>",
      "boot_disk": { "boot_disk_type": "pd-standard", "boot_disk_size_gb": 120 }
    },
    {
      "id": "a3u",
      "machine_spec": {
        "machine_type": "a3-ultragpu-8g",
        "accelerator_type": "NVIDIA_H200_141GB",
        "accelerator_count": 8
      },
      "provisioning_model": "FLEX_START",
      "flex_start_max_duration": "604800s",
      "scaling_spec": { "min_node_count": 0, "max_node_count": 2 },
      "zone": "<zone>",
      "enable_public_ips": "true",
      "boot_disk": { "boot_disk_type": "hyperdisk-balanced", "boot_disk_size_gb": 400 }
    }
  ],
  "orchestrator_spec": {
    "slurm_spec": {
      "home_directory_storage": "projects/<project-id>/locations/<zone>/instances/<filestore-id>",
      "partitions": [ { "id": "a3u", "node_pool_ids": [ "a3u" ] } ],
      "login_node_pool_id": "login"
    }
  }
}

Ikuti langkah-langkah di Membuat cluster Slurm untuk mengautentikasi dan mengirimkan permintaan.

Durasi Flex Start Maksimum: Anda dapat menetapkan durasi operasi maksimum untuk instance Flex Start. Gunakan kolom flex_start_max_duration dalam konfigurasi node pool Anda, dengan menentukan nilai sebagai string dalam detik, yang ditambahkan dengan "s" (misalnya, "172800s" untuk 2 hari). Jika dihilangkan, sistem akan ditetapkan secara default ke 7 hari.

Siklus proses dan ketahanan operasional

Memahami siklus proses node Flex Start di lingkungan Slurm pada Gemini Enterprise Agent Platform sangat penting untuk merencanakan tugas Anda.

Batasan Flex Start

Semua VM Flex Start memiliki durasi operasi maksimum tetap, yang ditentukan oleh setelan flex_start_max_duration.

  • Batas Durasi: Secara default, flex_start_max_duration ditetapkan ke 7 hari. Anda dapat mengganti batas ini dengan menentukan flex_start_max_duration kustom antara 10 menit (600 detik) dan 7 hari (604.800 detik) dalam konfigurasi node pool agar lebih sesuai dengan runtime tugas yang diharapkan.
  • Penghentian: Saat batas ini tercapai, Compute Engine akan menghentikan instance secara ketat.

Perilaku penskalaan node

Bagian berikut menjelaskan dua strategi penskalaan yang tersedia: statis dan dinamis.

Node statis

Node statis memungkinkan Anda mempertahankan kumpulan resource tetap yang selalu tersedia (misalnya, min_node_count > 0).

  • Penyediaan: Node diminta segera setelah pembuatan atau pengubahan ukuran cluster untuk memenuhi jumlah node minimum.
  • Masa berlaku dan pemulihan: Saat node Flex Start statis mencapai flex_start_max_duration dan dihentikan oleh Compute Engine, sistem akan otomatis mencoba membuat ulang node untuk memulihkan kapasitas cluster yang ditentukan. Siklus ini memastikan pool statis tetap terisi, terlepas dari apakah tugas Slurm sedang menunggu di node atau tidak.

Node dinamis

Node dinamis memungkinkan cluster meningkatkan skala hanya saat diperlukan.

  • Penyediaan: Saat tugas diantrekan (memasuki status PENDING), Slurm Scheduler meminta resource dengan membuat grup instance terkelola dan mengeluarkan permintaan ubah ukuran.
  • Masa berlaku dan pemulihan: Setelah masa berlaku habis, sistem akan menyediakan node Flex Start baru hanya jika tugas Slurm tertunda di node tersebut.

Ketahanan cluster dan perbaikan otomatis

Slurm di Gemini Enterprise Agent Platform memantau kondisi node pada tahap-tahap penting siklus proses tugas. Health check dijalankan sebelum tugas dimulai (prolog) dan setelah selesai (epilog) untuk membantu menjaga stabilitas tugas.

  • Penanganan error hardware: Jika layanan mendeteksi masalah hardware yang kritis (seperti error GPU), layanan ini dirancang untuk otomatis memperbaiki VM yang tidak responsif.
  • Penggantian otomatis: Jika tugas masih dalam status PENDING (atau telah dimasukkan kembali ke antrean PENDING karena kegagalan node), sistem akan otomatis menyediakan instance Flex Start baru untuk menggantikan VM yang tidak responsif. Dengan demikian, workload Anda dapat dilanjutkan pada hardware yang responsif tanpa intervensi manual.