Meminta TPU dengan pemesanan untuk masa mendatang dalam mode kalender

Autopilot Standard

Pratinjau — Future reservation in calendar mode

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Panduan ini menunjukkan cara mengoptimalkan penyediaan Unit Pemrosesan Tensor (TPU) dengan menggunakan pemesanan untuk masa mendatang dalam mode kalender. Pemesan untuk masa mendatang dalam mode kalender adalah penasihat dan pemberi rekomendasi kalender bawaan yang dapat membantu Anda menemukan kapasitas TPU dan membuat rencana ke depannya. Anda dapat meminta kapasitas untuk waktu mulai dan durasi yang ditentukan, antara 1 dan 90 hari, dan pemberi rekomendasi akan memberikan saran tanggal.

Panduan ini ditujukan untuk engineer Machine Learning (ML), Admin dan operator platform, serta spesialis Data dan AI yang tertarik untuk menggunakan kemampuan orkestrasi container Kubernetes dalam menjalankan beban kerja batch. Untuk mengetahui informasi selengkapnya tentang peran umum dan contoh tugas yang kami rujuk dalam Google Cloud konten, lihat Peran dan tugas pengguna GKE umum.

Untuk mengetahui informasi selengkapnya, lihat Tentang pemesanan untuk masa mendatang dalam mode kalender.

Kasus penggunaan

Reservasi mendatang dalam mode kalender paling cocok untuk beban kerja dengan permintaan terjadwal, jangka pendek, dan permintaan dengan permintaan tinggi, seperti pelatihan, atau model inferensi batch yang memerlukan ketersediaan tinggi pada waktu mulai yang diminta.

Jika workload Anda memerlukan resource yang disediakan secara dinamis sesuai kebutuhan, hingga 7 hari tanpa reservasi jangka panjang atau pengelolaan kuota yang rumit, pertimbangkan untuk menggunakan opsi konsumsi mulai fleksibel. Untuk mengetahui informasi selengkapnya, lihat Tentang penyediaan GPU dan TPU dengan flex-start.

Sebelum memulai

Sebelum memulai, pastikan Anda telah melakukan tugas berikut:

• Aktifkan Google Kubernetes Engine API.
Aktifkan Google Kubernetes Engine API
• Jika ingin menggunakan Google Cloud CLI untuk tugas ini, instal lalu lakukan inisialisasi gcloud CLI. Jika sebelumnya Anda telah menginstal gcloud CLI, dapatkan versi terbaru dengan menjalankan perintah gcloud components update. gcloud CLI versi sebelumnya mungkin tidak mendukung menjalankan perintah dalam dokumen ini.
  Catatan: Untuk penginstalan gcloud CLI yang ada, pastikan untuk menyetel properti compute/region. Jika Anda terutama menggunakan cluster zona, tetapkan compute/zone. Dengan menyetel lokasi default, Anda dapat menghindari error di gcloud CLI yang seperti ini: One of [--zone, --region] must be supplied: Please specify location. Anda mungkin perlu menentukan lokasi dalam perintah tertentu jika lokasi cluster Anda berbeda dengan lokasi default yang Anda tetapkan.

• Pastikan Anda memiliki salah satu dari hal berikut:
  • cluster Standard yang sudah ada dan menjalankan versi 1.28.3-gke.1098000 atau yang lebih baru.
  • cluster Autopilot yang ada dan menjalankan versi 1.30.3-gke.1451000 atau yang lebih baru.

Meminta pemesanan untuk masa mendatang dalam mode kalender untuk TPU

Proses untuk meminta TPU dengan pemesanan untuk masa mendatang dalam mode kalender melibatkan langkah-langkah berikut:

1. Pastikan Anda memiliki kuota yang cukup untuk resource apa pun yang bukan bagian dari reservasi saat VM dibuat, seperti disk atau alamat IP. Permintaan pemesanan untuk masa mendatang dalam mode kalender tidak memerlukan kuota Compute Engine.
2. Selesaikan langkah-langkah di membuat permintaan dalam mode kalender. Langkah-langkah ini mencakup hal-hal berikut:
   1. Melihat ketersediaan TPU di masa mendatang.
   2. Buat dan kirimkan permintaan pemesanan untuk masa mendatang dalam mode kalender untuk TPU.
   3. Tunggu hingga Google Cloud menyetujui permintaan Anda.
3. Buat node pool TPU yang menggunakan reservasi Anda.

Membuat node pool

Bagian ini hanya berlaku untuk cluster Standar, karena mode Autopilot otomatis membuat node berdasarkan beban kerja.

Anda dapat menggunakan reservasi saat membuat node pool slice TPU host tunggal atau multi-host.

Membuat node pool slice TPU host tunggal

Anda dapat membuat node pool slice TPU host tunggal menggunakan Google Cloud CLI.

gcloud container node-pools create NODE_POOL_NAME \
    --location=CONTROL_PLANE_LOCATION \
    --cluster=CLUSTER_NAME \
    --node-locations=NODE_ZONES \
    --machine-type=MACHINE_TYPE \
    --reservation-affinity=specific \ This is required
    --reservation=RESERVATION

Ganti kode berikut:

• NODE_POOL_NAME: nama node pool baru.
• CONTROL_PLANE_LOCATION: nama zona berdasarkan versi TPU yang ingin Anda gunakan. Untuk mengidentifikasi lokasi yang tersedia, lihat Ketersediaan TPU di GKE.
• CLUSTER_NAME: nama cluster.
• NODE_ZONES: daftar yang dipisahkan koma untuk satu atau beberapa zona tempat GKE membuat node pool.
• MACHINE_TYPE: jenis mesin yang akan digunakan untuk node. Untuk mengetahui informasi selengkapnya tentang jenis mesin yang kompatibel dengan TPU, gunakan tabel di Memilih versi TPU.
• RESERVATION: nama reservasi kalender yang akan dipakai.

Untuk daftar lengkap semua flag yang dapat Anda tentukan, lihat referensi gcloud container clusters create.

Setelah membuat node pool dengan reservasi kalender, Anda dapat men-deploy workload seperti node pool TPU lainnya. Penggunaan pemesanan untuk masa mendatang dalam mode kalender berfungsi dengan cara yang sama seperti untuk jenis pemesanan lainnya. Untuk mengetahui informasi selengkapnya, lihat Menggunakan resource zona yang dicadangkan.

Membuat node pool slice TPU multi-host

Langkah-langkah untuk membuat node pool slice TPU multi-host berbeda-beda, bergantung pada apakah Anda menggunakan Ironwood (TPU7x) atau versi TPU yang lebih lama.

Ironwood (TPU7x)

Pratinjau — Ironwood (TPU7x)

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Anda dapat membuat node pool slice TPU multi-host di versi Ironwood (TPU7x) menggunakan Google Cloud CLI atau Terraform:

gcloud

Untuk membuat node pool slice TPU multi-host dengan Ironwood (TPU7x), Anda harus membuat kebijakan workload terlebih dahulu.

Catatan: Anda tidak perlu membuat kebijakan workload baru untuk setiap node pool. Kebijakan workload bersifat unik per project, per region, dan per topologi. Anda dapat menggunakan kembali kebijakan workload yang sama untuk beberapa node pool yang memiliki karakteristik ini. Untuk melihat daftar kebijakan beban kerja, gunakan perintah gcloud compute resource-policies list --filter="region:REGION".

1. Buat kebijakan beban kerja:

   gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
       --type=HIGH_THROUGHPUT \
       --accelerator-topology=TPU_TOPOLOGY \
       --project=PROJECT_ID \
       --region=REGION
   

   Ganti kode berikut:

   • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.
   • TPU_TOPOLOGY: topologi TPU Ironwood (TPU7x). Contoh, 2x2x2. Untuk melihat semua topologi Ironwood (TPU7x) yang didukung, lihat bagian topologi.
   • PROJECT_ID: Google Cloud Project ID Anda.
   • REGION: region untuk kebijakan workload. Kebijakan workload adalah resource regional dan dapat digunakan kembali di seluruh node pool yang memiliki topologi yang sama.

2. Buat node pool dengan kebijakan workload:

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --location=us-central1 \
       --node-locations=us-central1-c \
       --machine-type=tpu7x-standard-4t \
       --reservation-affinity=specific \
       --reservation=FUTURE_RESERVATION_NAME \
       --placement-policy=WORKLOAD_POLICY
   

   Ganti kode berikut:

   • NODE_POOL_NAME: nama node pool baru.
   • WORKLOAD_POLICY: nama kebijakan workload yang Anda buat.
   • FUTURE_RESERVATION_NAME: nama pemesanan Anda untuk masa mendatang.

   Perintah ini membuat node pool bernama NODE_POOL_NAME dengan karakteristik berikut:

   • --machine-type=tpu7x-standard-4t menentukan jenis mesin Ironwood (TPU7x).

Terraform

1. Pastikan Anda menggunakan versi 4.84.0 atau yang lebih baru dari penyedia google.

2. Buat kebijakan beban kerja:

   resource "google_compute_resource_policy" {
     name   = "WORKLOAD_POLICY_NAME"
     region = CLUSTER_LOCATION
     workload_policy {
       type = "HIGH_THROUGHPUT"
       accelerator_topology = "TPU_TOPOLOGY"
     }
   }
   

   Ganti kode berikut:

   • WORKLOAD_POLICY_NAME: nama untuk kebijakan workload Anda.
   • CLUSTER_LOCATION: Lokasi komputasi untuk cluster. Sebaiknya Anda memiliki cluster regional untuk keandalan panel kontrol Kubernetes yang lebih tinggi. Anda juga dapat menggunakan cluster zonal. Untuk mengetahui informasi selengkapnya, lihat Memilih topologi dan versi TPU.
   • TPU_TOPOLOGY: topologi TPU Ironwood (TPU7x). Contoh, 2x2x2. Untuk melihat semua topologi Ironwood (TPU7x) yang didukung, lihat Merencanakan TPU.

   Untuk mengetahui informasi selengkapnya tentang referensi google_compute_resource_policy, lihat Penyedia Terraform.

3. Dalam konfigurasi Terraform, tambahkan blok berikut:

   resource "google_container_node_pool" "NODE_POOL_RESOURCE_NAME" {
     provider           = google
     project            = PROJECT_ID
     cluster            = CLUSTER_NAME
     name               = POOL_NAME
     location           = CLUSTER_LOCATION
     node_locations     = [NODE_ZONES]
     initial_node_count = NUM_NODES
   
     autoscaling {
       max_node_count = MAX_NODES
       location_policy      = "ANY"
     }
     node_config {
       machine_type = MACHINE_TYPE
       reservation_affinity {
         consume_reservation_type = "SPECIFIC_RESERVATION"
         key = "compute.googleapis.com/reservation-name"
         values = [RESERVATION_LABEL_VALUES]
       }
       flex_start = false
     }
   
     placement_policy {
       policy_name = WORKLOAD_POLICY_NAME
     }
   }
   

   Ganti kode berikut:

   • NODE_POOL_RESOURCE_NAME: nama resource node pool di template Terraform.
   • PROJECT_ID: Project ID Anda.
   • CLUSTER_NAME: nama cluster yang ada tempat node pool akan ditambahkan.
   • POOL_NAME: nama node pool yang akan dibuat.
   • NODE_ZONES: daftar yang dipisahkan koma untuk satu atau beberapa zona tempat GKE membuat node pool.
   • NUM_NODES: jumlah node dalam node pool. Nilainya harus nol atau hasil kali jumlah TPU chip yang dibagi empat, karena dalam slice TPU multi-host, setiap node slice TPU memiliki empat chip. Misalnya, jika TPU_TOPOLOGY adalah 4x8, maka ada 32 chip, yang berarti NUM_NODES harus 8. Untuk mempelajari topologi TPU lebih lanjut, gunakan tabel di Memilih versi TPU.
   • TPU_TOPOLOGY: ini menunjukkan topologi fisik yang dipilih untuk slice TPU. Format topologi bergantung pada versi TPU yang Anda gunakan. Untuk mempelajari lebih lanjut topologi TPU, gunakan tabel di Memilih topologi.

   Secara opsional, Anda juga dapat menggunakan variabel berikut:

   • RESERVATION_NAME: jika Anda menggunakan pemesanan TPU, berikan daftar label resource pemesanan yang akan digunakan saat membuat node pool. Untuk mempelajari cara mengisi RESERVATION_LABEL_VALUES di kolom reservation_affinity lebih lanjut, silakan melihat Penyedia Terraform.
   • autoscaling: membuat node pool dengan penskalaan otomatis yang diaktifkan. Saat GKE menskalakan node pool slice TPU multi-host, GKE secara atomik akan meningkatkan skala node pool dari nol hingga ukuran maksimum.
     • MAX_NODES: ukuran maksimum node pool. Nilai harus sama dengan hasil perkalian nilai yang ditentukan dalam TPU_TOPOLOGY ({A}x{B}x{C}) dibagi dengan jumlah chip di setiap VM. Misalnya, jika TPU_TOPOLOGY adalah 2x2x2, produknya adalah 8. Karena setiap VM di tpu7x-standard-4t memiliki 4 chip, jumlah node adalah 2.
   • spot: node pool yang akan menggunakan Spot VM untuk node slice TPU. Setelan ini tidak dapat diubah setelah node pool dibuat. Untuk mengetahui informasi selengkapnya, silakan melihat Spot VM.
   • flex_start: node pool yang akan menggunakan opsi konsumsi flex-start. Setelan ini tidak dapat disetel ke true jika spot diaktifkan.

Versi TPU lainnya

Anda dapat membuat node pool slice TPU multi-host di versi v3, v4, v5p, v5e, dan Trillium (v6e) menggunakan Google Cloud CLI, Terraform, atau konsol Google Cloud .

gcloud

  gcloud container node-pools create NODE_POOL_NAME \
      --cluster=CLUSTER_NAME \
      --location=CONTROL_PLANE_LOCATION \
      --node-locations=NODE_ZONES \
      --machine-type=MACHINE_TYPE \
      --tpu-topology=TPU_TOPOLOGY \
      --reservation-affinity=specific \
      --reservation=FUTURE_RESERVATION_NAME

Ganti kode berikut:

• NODE_POOL_NAME: nama node pool baru.
• CLUSTER_NAME: nama cluster.
• CONTROL_PLANE_LOCATION: nama zona berdasarkan versi TPU yang ingin Anda gunakan. Untuk mengidentifikasi lokasi yang tersedia, lihat Ketersediaan TPU di GKE.
• NODE_ZONES: daftar yang dipisahkan koma untuk satu atau beberapa zona tempat GKE membuat node pool.
• MACHINE_TYPE: jenis mesin yang akan digunakan untuk node. Untuk mengetahui informasi selengkapnya tentang jenis mesin yang kompatibel dengan TPU, gunakan tabel di Memilih versi TPU.
• TPU_TOPOLOGY: topologi TPU. Contoh, 2x2x2. Untuk melihat semua topologi TPU yang didukung, lihat bagian topologi.

• FUTURE_RESERVATION_NAME: nama pemesanan Anda untuk masa mendatang.

Terraform

1. Pastikan Anda menggunakan versi 4.84.0 atau yang lebih baru dari penyedia google.

2. Tambahkan blok berikut ke konfigurasi Terraform Anda:

   resource "google_container_node_pool" "NODE_POOL_RESOURCE_NAME" {
     provider           = google
     project            = PROJECT_ID
     cluster            = CLUSTER_NAME
     name               = POOL_NAME
     location           = CLUSTER_LOCATION
     node_locations     = [NODE_ZONES]
     initial_node_count = NUM_NODES
   
     autoscaling {
       max_node_count = MAX_NODES
       location_policy      = "ANY"
     }
     node_config {
       machine_type = MACHINE_TYPE
       reservation_affinity {
         consume_reservation_type = "SPECIFIC_RESERVATION"
         key = "compute.googleapis.com/reservation-name"
         values = [RESERVATION_LABEL_VALUES]
       }
       flex_start = false
     }
   
     placement_policy {
       type = "COMPACT"
       tpu_topology = TPU_TOPOLOGY
     }
   }
   

   Ganti kode berikut:

   • NODE_POOL_RESOURCE_NAME: nama resource node pool di template Terraform.
   • PROJECT_ID: Project ID Anda.
   • CLUSTER_NAME: nama cluster yang ada tempat node pool akan ditambahkan.
   • POOL_NAME: nama node pool yang akan dibuat.
   • CLUSTER_LOCATION: lokasi komputasi untuk cluster. Sebaiknya Anda memiliki cluster regional untuk keandalan panel kontrol Kubernetes yang lebih tinggi. Anda juga dapat menggunakan cluster zonal. Untuk mempelajari lebih lanjut, silakan membaca Memilih topologi dan versi TPU.
   • NODE_ZONES: daftar yang dipisahkan koma untuk satu atau beberapa zona tempat GKE membuat node pool.
   • NUM_NODES: jumlah node dalam node pool. Nilainya harus nol atau hasil kali jumlah TPU chip yang dibagi empat, karena dalam slice TPU multi-host, setiap node slice TPU memiliki 4 chip. Misalnya, jika TPU_TOPOLOGY adalah 4x8, maka ada 32 chip, yang berarti harus ada 8 NUM_NODES. Untuk mempelajari topologi TPU lebih lanjut, gunakan tabel di Memilih versi TPU.
   • TPU_TOPOLOGY: ini menunjukkan topologi fisik untuk slice TPU. Format topologi bergantung pada versi TPU yang Anda gunakan. Untuk mempelajari lebih lanjut topologi TPU, gunakan tabel di Memilih topologi.

   Secara opsional, Anda juga dapat menggunakan variabel berikut:

   • RESERVATION_NAME: jika Anda menggunakan pemesanan TPU, ini adalah daftar label resource pemesanan yang akan digunakan saat membuat node pool. Untuk mempelajari cara mengisi RESERVATION_LABEL_VALUES di kolom reservation_affinity lebih lanjut, silakan melihat Penyedia Terraform.
   • autoscaling: Membuat node pool dengan penskalaan otomatis yang diaktifkan. Saat GKE menskalakan node pool slice TPU multi-host, GKE secara atomik akan meningkatkan skala node pool dari nol hingga ukuran maksimum.
     • MAX_NODES: ini adalah ukuran maksimum node pool. Nilainya harus sama dengan hasil kali nilai yang ditentukan dalam TPU_TOPOLOGY ({A}x{B}x{C}) dibagi dengan jumlah chip di setiap VM).
   • spot: memungkinkan node pool menggunakan Spot VM untuk node slice TPU. Nama ini tidak dapat diubah setelah pembuatan node pool. Untuk mengetahui informasi selengkapnya, silakan melihat Spot VM.
   • flex_start: Menetapkan node pool agar menggunakan opsi konsumsi flex-start. Tidak dapat disetel ke true jika spot diaktifkan.

Konsol

Untuk membuat node pool dengan TPU:

1. Buka halaman Google Kubernetes Engine di konsol Google Cloud .

   Buka Google Kubernetes Engine

2. Di daftar cluster, klik nama cluster yang ingin diubah.

3. Klik Add node pool.

4. Di bagian Node pool details, centang kotak Specify node locations.

5. Pilih nama zona berdasarkan versi TPU yang ingin Anda gunakan. Untuk mengidentifikasi lokasi yang tersedia, lihat Ketersediaan TPU di GKE.

6. Dari panel navigasi, klik Node.

7. Di bagian Konfigurasi Mesin, pilih TPU.

8. Di menu drop-down Seri, pilih salah satu opsi berikut:

   • CT3: Perangkat TPU v3, host tunggal
   • CT3P: Slice pod multi-host TPU v3
   • CT4P: TPU v4
   • CT5LP: TPU v5e
   • CT5P: TPU v5p
   • CT6E: TPU Trillium (v6e)

9. Di menu drop-down Jenis mesin, pilih nama mesin yang akan digunakan untuk node. Gunakan tabel Pilih versi TPU untuk mempelajari cara menentukan jenis mesin dan topologi TPU yang membuat TPU slice node pool multi-host.

10. Di menu drop-down Topologi TPU, pilih topologi fisik untuk slice TPU.

11. Dalam dialog Perubahan yang diperlukan, klik Buat perubahan.

12. Pastikan Jenis boot disk adalah Persistent disk standar atau Persistent disk SSD.

13. Secara opsional, pilih kotak centang Aktifkan node di Spot VM agar dapat menggunakan Spot VM untuk node di node pool.

14. Klik Buat.

Setelah membuat node pool dengan reservasi kalender, Anda dapat men-deploy workload seperti node pool TPU lainnya. Penggunaan pemesanan untuk masa mendatang dalam mode kalender berfungsi dengan cara yang sama seperti untuk jenis pemesanan lainnya. Untuk mengetahui informasi selengkapnya, lihat Menggunakan resource zona yang dicadangkan.

Langkah berikutnya

• Coba contoh deployment GKE untuk model AI generatif yang menggunakan resource TPU yang Anda pesan:

  • Menyajikan LLM menggunakan TPU Trillium di GKE dengan vLLM
  • Menyajikan LLM menggunakan TPU di GKE dengan KubeRay
  • Menyajikan LLM menggunakan TPU di GKE dengan JetStream dan PyTorch
  • Menyajikan Gemma menggunakan TPU di GKE dengan JetStream
  • Menyajikan Stable Diffusion XL (SDXL) menggunakan TPU di GKE dengan MaxDiffusion
  • Menyajikan model open source menggunakan TPU di GKE dengan Optimum TPU

• Jelajahi contoh eksperimental untuk memanfaatkan GKE dalam mempercepat inisiatif AI/ML Anda di GKE AI Labs.