Dokumen ini menjelaskan berbagai cara, yang disebut opsi pemakaian, untuk mendapatkan dan menggunakan resource komputasi di AI Hypercomputer. Pilih opsi yang paling sesuai dengan workload Anda, durasinya, dan kebutuhan biaya Anda.
Setiap opsi konsumsi menentukan hal berikut:
Cara Anda mengakses kapasitas untuk membuat VM atau cluster.
Model penyediaan yang mendasarinya, yang menentukan ketersediaan, masa aktif, dan harga VM Anda.
Perbandingan opsi pemakaian
Tabel berikut merangkum perbedaan utama antara opsi konsumsi:
| Opsi pemakaian | Pemesanan untuk masa mendatang di AI Hypercomputer | Pemesanan untuk masa mendatang hingga 90 hari (dalam mode kalender) | Flex-start | Spot |
|---|---|---|---|---|
| Mesin yang didukung | A4X Max, A4X, A4, A3 Ultra, A3 Mega, atau A3 High | A4, A3 Ultra, A3 Mega, atau A3 High dengan 8 GPU | Mesin GPU apa pun kecuali A4X Max dan A4X | Mesin GPU apa pun kecuali A4X Max dan A4X |
| Masa aktif | Kapan saja | Hingga 90 hari | Hingga 7 hari | Kapan saja (tetapi tunduk pada pengambilalihan) |
| Preemptible | ||||
| Jaminan kapasitas | Sangat tinggi. Jika Google Cloud menyetujui permintaan pemesanan Anda, maka Anda memiliki jaminan yang sangat tinggi bahwa Compute Engine akan menyediakan kapasitas yang Anda minta. | Sangat tinggi. Jika Google Cloud menyetujui permintaan pemesanan Anda, maka Anda memiliki jaminan yang sangat tinggi bahwa Compute Engine akan menyediakan kapasitas yang Anda minta. | Upaya terbaik. Compute Engine melakukan upaya terbaik untuk menjadwalkan penyediaan kapasitas yang Anda minta. | Upaya terbaik. Compute Engine melakukan upaya terbaik untuk menyediakan kapasitas yang Anda minta. |
| Kuota | Kuota akan otomatis ditingkatkan sebelum kapasitas diberikan. | Tidak ada kuota yang dikenai biaya. | Kuota preemptible dikenai biaya. | Kuota preemptible dikenai biaya. |
| Harga |
|
|
|
|
| Alokasi resource | Padat (Dense) | Padat (Dense) |
|
Standar (Kebijakan Compact opsional) |
| Model penyediaan | Terikat dengan reservasi | Terikat dengan reservasi | Flex-start | Spot |
| Metode pembuatan | Untuk membuat VM, Anda harus melakukan hal berikut:
|
Untuk membuat VM, Anda harus melakukan hal berikut:
|
Untuk membuat VM, gunakan salah satu metode berikut:
Saat kapasitas yang Anda minta tersedia, Compute Engine akan menyediakannya. |
Anda dapat langsung membuat VM menggunakan salah satu metode yang dijelaskan dalam Ringkasan opsi deployment. |
Memilih opsi pemakaian
Gunakan diagram alur berikut untuk memilih opsi konsumsi yang paling sesuai dengan beban kerja Anda:
Pertanyaan dalam diagram sebelumnya adalah sebagai berikut:
Apakah Anda memerlukan kapasitas selama lebih dari 90 hari?
Ya: Lihat Menggunakan reservasi mendatang di AI Hypercomputer.
Tidak: Lanjutkan ke pertanyaan 2.
Apakah Anda menginginkan kapasitas yang dipesan?
Ya: Lihat Menggunakan pemesanan untuk masa mendatang dalam mode kalender.
Tidak: Lanjutkan ke pertanyaan 3.
Apakah beban kerja Anda fault-tolerant?
Tidak: Lihat Menggunakan Flex-start.
Ya: Lihat Menggunakan Spot.
Menggunakan reservasi mendatang di AI Hypercomputer
Untuk menjalankan workload terdistribusi berskala besar dan berjalan lama yang memerlukan alokasi resource yang padat, Anda dapat meminta resource komputasi untuk waktu tertentu di masa mendatang. Anda memiliki akses eksklusif ke resource yang dipesan selama jangka waktu tersebut, dan Anda dapat menggunakan resource untuk membuat VM atau cluster. Di akhir periode pemesanan, Compute Engine melakukan hal berikut:
- Compute Engine akan menghapus pemesanan.
- Berdasarkan tindakan penghentian yang Anda tentukan untuk VM, Compute Engine akan menghentikan atau menghapus VM apa pun yang menggunakan reservasi.
Workload ideal untuk pemesanan mendatang di AI Hypercomputer
Pemesanan untuk masa mendatang ideal untuk beban kerja berikut:
Melakukan pra-pelatihan model dasar
Inferensi model dasar multi-host
Karakteristik utama pemesanan untuk masa mendatang di AI Hypercomputer
Pemesanan untuk masa mendatang memiliki karakteristik berikut:
-
Anda dapat memesan jenis mesin A4X Max, A4X, A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU). Mesin dialokasikan secara padat untuk meminimalkan latensi jaringan.
-
Anda dapat memesan VM sebanyak yang Anda inginkan selama yang Anda inginkan untuk tanggal mendatang. Kemudian, Anda dapat menggunakan resource yang dipesan untuk membuat dan menjalankan VM hingga akhir periode reservasi. Jika Anda memesan resource selama satu tahun atau lebih, Anda harus membeli dan melampirkan komitmen berbasis resource.
-
Setelah periode pemesanan dimulai, Anda dapat mengubah pemesanan yang dibuat secara otomatis sebagai berikut:
-
Anda menggunakan model penyediaan terikat reservasi, yang memiliki manfaat berikut:
Anda memiliki peluang yang lebih besar untuk mendapatkan GPU.
Selain komitmen yang dilampirkan ke VM, Anda mendapatkan diskon hingga 53% untuk vCPU dan GPU.
Cara menggunakan pemesanan untuk masa mendatang di AI Hypercomputer
Untuk menggunakan reservasi mendatang guna membuat VM atau cluster, Anda harus menyelesaikan langkah-langkah berikut:
-
Minta untuk mereservasi kapasitas. Anda menghubungi tim akun dan menentukan resource yang akan dipesan. Berdasarkan ketersediaan, Google membuat draf permintaan reservasi untuk Anda. Jika sudah benar, Anda dapat mengirimkannya. Google Cloud langsung menyetujui permintaan pemesanan.
Untuk mengetahui petunjuknya, lihat Mereservasi kapasitas.
-
Menggunakan resource yang dicadangkan. Di awal periode reservasi yang Anda pilih, Anda dapat menggunakan reservasi untuk membuat VM atau cluster.
Untuk mengetahui berbagai metode pembuatan VM atau cluster, lihat Ringkasan pembuatan VM dan cluster.
Menggunakan pemesanan untuk masa mendatang dalam mode kalender
Untuk menjalankan workload terdistribusi yang berjalan singkat dan memerlukan alokasi resource yang padat, Anda dapat meminta resource komputasi hingga 90 hari. Anda memiliki akses eksklusif ke resource yang dipesan selama waktu tersebut, dan Anda dapat menggunakan resource untuk membuat VM atau cluster. Di akhir periode pemesanan, Compute Engine melakukan hal berikut:
- Compute Engine akan menghapus reservasi.
- Berdasarkan tindakan penghentian yang Anda tentukan untuk VM, Compute Engine akan menghentikan atau menghapus VM apa pun yang menggunakan reservasi.
Workload ideal untuk pemesanan untuk masa mendatang dalam mode kalender
Pemesanan untuk masa mendatang dalam mode kalender ideal untuk workload berikut:
Pelatihan awal model
Penyesuaian model
Simulasi
Inferensi
Karakteristik utama pemesanan untuk masa mendatang dalam mode kalender
Pemesanan untuk masa mendatang dalam mode kalender memiliki karakteristik berikut:
-
Anda dapat memesan jenis mesin A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU). Mesin ini dialokasikan secara padat untuk meminimalkan latensi jaringan.
-
Anda dapat melihat ketersediaan resource di masa mendatang, lalu memesan hingga 80 VM untuk hingga 90 hari ke depan. Kemudian, Anda dapat menggunakan resource yang dipesan untuk membuat VM hingga akhir periode pemesanan.
-
Setelah periode pemesanan dimulai, Anda dapat mengubah pemesanan yang dibuat secara otomatis sebagai berikut:
-
Anda menggunakan model penyediaan terikat reservasi, yang memiliki manfaat berikut:
Anda memiliki peluang yang lebih besar untuk mendapatkan GPU.
Anda mendapatkan diskon hingga 53% untuk vCPU dan GPU.
Cara menggunakan pemesanan untuk masa mendatang dalam mode kalender
Untuk menggunakan reservasi mendatang dalam mode kalender guna membuat VM atau cluster, Anda harus menyelesaikan langkah-langkah berikut:
-
Lihat ketersediaan sumber daya. Anda dapat melihat ketersediaan resource yang ingin Anda pesan di masa mendatang. Saat membuat permintaan pemesanan, Anda dapat menentukan jumlah, jenis, dan durasi pemesanan untuk resource yang Anda konfirmasi ketersediaannya. Tindakan ini akan meningkatkan peluang Google Cloud menyetujui permintaan Anda.
Untuk mengetahui petunjuknya, lihat Melihat ketersediaan resource pada masa mendatang.
-
Kapasitas cadangan. Anda membuat permintaan pemesanan untuk tanggal dan waktu mendatang. Google Cloud menyetujui permintaan pemesanan dalam waktu dua menit. Jika disetujui, Compute Engine akan mencadangkan kapasitas untuk Anda. Pada tanggal pengiriman yang Anda pilih, Anda dapat menggunakan resource yang dipesan untuk membuat VM atau cluster.
Untuk mengetahui petunjuknya, lihat Membuat permintaan reservasi untuk VM GPU atau TPU.
-
Menggunakan resource yang dicadangkan. Di awal periode reservasi yang Anda pilih, Anda dapat menggunakan reservasi untuk membuat VM atau cluster.
Untuk mengetahui berbagai metode pembuatan VM atau cluster, lihat artikel berikut:
- Untuk membuat VM A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU), lihat Ringkasan pembuatan VM dan cluster.
- Untuk membuat VM A3 Mega atau A3 High (8 GPU) dengan GPUDirect-TCPX diaktifkan, lihat Membuat VM A3 dengan GPUDirect-TCPX diaktifkan.
Menggunakan Flex-start
Untuk menjalankan workload berdurasi singkat yang memerlukan resource yang dialokasikan secara padat, Anda dapat meminta resource komputasi hingga tujuh hari menggunakan Mulai fleksibel. Setiap kali resource tersedia, Compute Engine akan membuat VM dalam jumlah yang Anda minta. Anda dapat menghentikan VM Flex-start mandiri, tetapi Anda tidak dapat menghentikan VM Flex-start yang dibuat oleh grup instance terkelola (MIG) melalui permintaan pengubahan ukuran. VM mulai fleksibel akan ada hingga Anda menghapusnya, atau hingga Compute Engine menghapus VM di akhir durasi jalannya.
Workload ideal untuk Flex-start
Mulai fleksibel ideal untuk workload yang dapat dimulai kapan saja, seperti berikut:
Pra-pelatihan model kecil
Penyesuaian model
Simulasi
Inferensi batch
Karakteristik utama Flex-start
Mulai fleksibel memiliki karakteristik berikut:
-
Anda dapat meminta jenis mesin GPU apa pun, kecuali A4X Max dan A4X. Alokasi resource bervariasi berdasarkan metode pembuatan:
- Untuk VM Flex-start mandiri, mesin menggunakan penempatan standar. Penempatan ini mengalokasikan mesin berdasarkan ketersediaan, yang dapat menyebabkan VM berjauhan dalam zona yang sama.
- Untuk semua metode pembuatan lainnya, mesin dialokasikan secara padat untuk meminimalkan latensi jaringan.
Anda menggunakan model penyediaan flex-start, yang memiliki manfaat berikut:
Anda memiliki peluang yang lebih besar untuk mendapatkan GPU.
Anda mendapatkan diskon hingga 53% untuk vCPU, memori, dan GPU.
Cara menggunakan Flex-start
Untuk menggunakan Mulai fleksibel guna membuat VM atau cluster, pilih salah satu opsi berikut:
- Membuat VM mandiri
- Membuat MIG dengan permintaan pengubahan ukuran
- Membuat cluster Slurm
- Buat cluster GKE:
Menggunakan Spot
Untuk menjalankan beban kerja yang fault-tolerant, Anda bisa mendapatkan resource komputasi secara langsung berdasarkan ketersediaan. Anda mendapatkan resource dengan harga serendah mungkin. Namun, Compute Engine dapat melakukan preempt VM kapan saja untuk memulihkan kapasitas.
Workload ideal untuk Spot
Spot ideal untuk workload yang dapat menoleransi gangguan, seperti berikut:
Batch processing
Komputasi berperforma tinggi (HPC)
Continuous integration dan continuous deployment (CI/CD)
Analisis data
Encoding media
Inferensi online
Karakteristik utama Spot
Spot memiliki karakteristik berikut:
-
Anda dapat membuat jenis mesin GPU apa pun, kecuali A4X Max dan A4X. Alokasi padat bergantung pada ketersediaan resource. Untuk membantu memastikan alokasi yang lebih dekat, Anda dapat menerapkan kebijakan penempatan rapat ke VM.
-
Anda dapat langsung membuat VM sebanyak yang Anda inginkan. VM berjalan hingga Anda menghentikan atau menghapusnya, atau hingga Compute Engine melakukan preempt terhadap VM untuk memulihkan kapasitas.
-
Anda menggunakan model penyediaan spot, yang memiliki manfaat berikut:
Anda memiliki peluang yang lebih besar untuk mendapatkan GPU.
Anda mendapatkan diskon hingga 91% untuk banyak jenis mesin, GPU, TPU, dan disk SSD Lokal.
Cara menggunakan Spot
Untuk menggunakan Spot guna membuat VM atau cluster, Anda harus menyelesaikan langkah-langkah berikut:
-
Opsional: Buat kebijakan penempatan rapat. Anda membuat kebijakan penempatan yang ringkas untuk menentukan seberapa dekat VM harus ditempatkan satu sama lain. Jarak minimum yang Anda pilih memengaruhi jumlah dan jenis VM yang dapat Anda terapkan kebijakan ini.
-
Buat Spot VM. Anda dapat membuat VM sebanyak yang Anda inginkan, berdasarkan ketersediaan. VM berjalan hingga Anda menghentikan atau menghapusnya, atau hingga Compute Engine melakukan preempt terhadap VM untuk memulihkan kapasitas.
Untuk mengetahui petunjuknya, lihat Ringkasan pembuatan VM dan cluster.