- Kolokasi resource infrastruktur AI
- Penempatan sesuai topologi cluster
- Mode operasional cluster
- Kontrol dan penjadwalan pemeliharaan cluster
- Alat diagnostik dan pemantauan cluster
Sebagian besar kemampuan pengelolaan cluster hanya didukung untuk kapasitas terikat pemesanan—infrastruktur yang menggunakan model penyediaan terikat pemesanan, yang hanya mendukung jenis mesin GPU yang dikelompokkan. Untuk kapasitas yang menggunakan model penyediaan lainnya, hanya kemampuan pengelolaan cluster berikut yang tersedia:
- Kolokasi resource infrastruktur AI
- Penempatan sesuai topologi cluster
- Mengelola peristiwa host di seluruh instance
Kolokasi resource infrastruktur AI
Saat menggunakan GPU yang dikelompokkan, seperti A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU), Anda dapat meminta mesin host yang disediakan Compute Engine sedekat mungkin. Mesin ini menawarkan fitur berikut:
Compute Engine menyediakan mesin sebagai blok resource.
Pengaturan resource ini meminimalkan hop jaringan dan mengoptimalkan latensi jaringan terendah. Untuk men-deploy blok mesin yang dioptimalkan untuk akselerator yang dialokasikan Compute Engine secara padat, Anda dapat menggunakan opsi berikut:
Resource harus dialokasikan secara padat satu sama lain saat Anda melakukan satu atau beberapa hal berikut:
Membuat resource yang menggunakan Pemesanan untuk masa mendatang di AI Hypercomputer atau Pemesanan untuk masa mendatang dalam mode kalender.
Men-deploy grup instance terkelola (MIG) yang menggunakan permintaan perubahan ukuran dan membuat resource dalam permintaan yang sama.
Menentukan bahwa resource menggunakan kebijakan penempatan rapat atau kebijakan workload yang sama yang menentukan nilai jarak maksimum. Secara khusus, resource hanya perlu sedekat nilai jarak maksimum yang ditentukan kebijakan.
Resource secara opsional dialokasikan secara padat satu sama lain, berdasarkan ketersediaan upaya terbaik, saat Anda melakukan satu atau beberapa hal berikut:
Membuat resource dalam permintaan yang sama untuk VM Flex-start.
Menentukan bahwa resource menggunakan kebijakan penempatan rapat atau kebijakan workload yang sama yang tidak menentukan jarak maksimum.
Penempatan sesuai topologi cluster
Setelah membuat GPU yang dikelompokkan, Anda bisa mendapatkan informasi topologi di tingkat node dan cluster. Informasi ini membantu Anda melakukan hal berikut:
Menyesuaikan desain aplikasi atau workload untuk makin meminimalkan latensi jaringan.
Memahami dan memecahkan masalah latensi jaringan dan performa untuk instance yang sering berkomunikasi satu sama lain. Masalah ini dapat terjadi jika instance ditempatkan berjauhan secara tidak terduga.
Secara khusus, informasi topologi didukung sebagai berikut:
Informasi topologi berfungsi paling baik dengan kapasitas terikat pemesanan, yang diperlukan untuk melihat topologi pemesanan.
Untuk VM Spot, informasi topologi hanya muncul saat mesin menggunakan kebijakan penempatan rapat atau kebijakan workload.
Untuk informasi selengkapnya, lihat referensi berikut:
- Untuk instance dan cluster Slurm, lihat Melihat topologi instance komputasi.
- Untuk cluster GKE, lihat Melihat topologi node GKE dan Menjadwalkan workload GKE dengan Topology Aware Scheduling (TAS).
Mode operasional cluster
Saat Anda memesan kapasitas terikat pemesanan untuk membuat instance atau cluster komputasi, jenis mesin yang Anda pesan akan menentukan mode operasional cluster untuk instance. Mode ini menentukan perilaku instance Anda setelah terjadi error host atau laporan host yang salah. Mode operasional yang tersedia untuk instance adalah mode terkelola, tempat Compute Engine secara otomatis mengganti mesin yang rusak, tetapi menahan sebagian kapasitas yang Anda pesan untuk memastikan instance Anda memiliki resource yang diperlukan untuk memulai ulang. Atau mode semua kapasitas, tempat Anda memiliki akses ke kapasitas yang dipesan secara penuh, tetapi bertanggung jawab untuk mengelola kegagalan dan pemeliharaan yang direncanakan.
Untuk mengetahui informasi selengkapnya, lihat Mode operasional pemesanan.
Kontrol dan penjadwalan pemeliharaan cluster
Anda mengontrol pemeliharaan GPU yang dikelompokkan dengan menggunakan penjadwalan sesuai topologi dalam blok resource. Kemampuan ini membantu menyinkronkan upgrade sehingga workload Anda lebih tahan terhadap peristiwa host dan meminimalkan gangguan. Pendekatan ini membantu meningkatkan goodput workload Anda.
Untuk memfasilitasi kontrol penuh atas peristiwa pemeliharaan, Anda dapat menggunakan fitur berikut:
Jenis penjadwalan pemeliharaan
Saat Anda memesan kapasitas terikat pemesanan untuk membuat instance komputasi atau cluster GPU yang dikelompokkan, Anda dapat menentukan cara Compute Engine memelihara infrastruktur tempat instance Anda berjalan. Berdasarkan jenis mesin yang ingin Anda gunakan untuk instance, Anda dapat memilih antara pemeliharaan yang disinkronkan di seluruh instance (dikelompokkan), atau jadwal pemeliharaan yang berbeda (independen).
Untuk mengetahui informasi selengkapnya, lihat Jenis penjadwalan pemeliharaan.
Mengelola peristiwa host
Setelah membuat GPU yang dikelompokkan dan memulai workload, Anda dapat menyiapkan pemberitahuan dan menerima notifikasi saat pemeliharaan untuk instance atau blok yang dipesan dijadwalkan, dimulai, atau selesai. Anda juga dapat melihat dan, jika diperlukan, memulai pemeliharaan secara manual pada instance atau blok yang dipesan sebelum waktu yang dijadwalkan. Opsi ini membantu Anda mengontrol dan meminimalkan waktu nonaktif workload secara proaktif.
Untuk mengetahui informasi selengkapnya, lihat referensi berikut:
Alat diagnostik dan pemantauan cluster
Untuk pemantauan dan pemecahan masalah, jenis mesin GPU yang dikelompokkan mencakup layanan berikut untuk kapasitas terikat pemesanan:
Prediksi penurunan kondisi instance komputasi, yang membantu Anda mengidentifikasi instance komputasi yang kemungkinan akan mengalami penurunan dalam lima jam ke depan.
Pelaporan host yang salah, yang dapat Anda gunakan untuk menandai masalah dengan mesin host individual.
Dukungan untuk metrik Cloud Monitoring, yang membantu Anda memantau performa jaringan dan GPU.