Membuat instance VM TPU

Dokumen ini menjelaskan cara membuat instance virtual machine (VM) TPU. VM TPU juga disebut slice TPU host tunggal.

Untuk membuat grup slice host tunggal, lihat Membuat MIG dengan slice TPU host tunggal.

Sebelum memulai

• Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Google Cloud dan API. Untuk menjalankan kode atau sampel dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

  Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

  gcloud

  1. Instal Google Cloud CLI. Setelah penginstalan, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

     gcloud init

     Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

     Catatan: Jika Anda telah menginstal gcloud CLI sebelumnya, pastikan Anda memiliki versi terbaru dengan menjalankan gcloud components update.
• Tetapkan region dan zona default.

REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

Instal Google Cloud CLI.

Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Prasyarat

Sebelum melanjutkan untuk membuat instance TPU, Anda harus melakukan hal berikut:

1. Pilih versi TPU: pilih versi TPU yang sesuai untuk beban kerja Anda. Untuk mengetahui daftar versi TPU menurut jenis workload, lihat Versi TPU yang direkomendasikan menurut jenis workload.

2. Validasi ketersediaan TPU di lokasi pilihan Anda: TPU tersedia di region tertentu. Google Cloud Untuk menggunakan versi TPU, pastikan ketersediaannya di region pilihan Anda. Untuk mengetahui daftar lokasi TPU, lihat Ketersediaan TPU.

3. Pastikan project Anda memiliki kuota TPU yang cukup: jika Anda membuat instance TPU dengan VM sesuai permintaan atau Spot VM, Anda harus memiliki kuota TPU yang cukup di region yang ingin Anda gunakan. Membuat instance TPU yang menggunakan reservasi TPU tidak memerlukan kuota TPU karena kuota digunakan saat reservasi dibuat. Untuk mengetahui daftar nama kuota TPU, lihat kuota TPU dan untuk mengetahui petunjuk cara melihat kuota, lihat Melihat dan mengelola kuota

4. Pilih opsi pemakaian TPU: pilih opsi pemakaian yang paling sesuai dengan workload, durasinya, dan kebutuhan biaya Anda. Untuk mengetahui daftar ketersediaan opsi pemakaian menurut versi TPU, lihat Opsi pemakaian TPU.

Membuat instance VM TPU

Parameter yang Anda gunakan untuk membuat instance VM TPU bergantung pada opsi penggunaan yang Anda gunakan: on-demand, Spot, terikat reservasi, atau flex-start. Untuk mengetahui informasi selengkapnya, lihat Tentang model penyediaan VM .

Membuat instance VM TPU sesuai permintaan

Untuk membuat instance VM TPU on-demand, gunakan perintah gcloud compute instances create:

Penting: Saat menggunakan jenis mesin ct6e-standard-8t, Anda harus menyetel thread per core ke 1 dengan menyertakan flag --threads-per-core=1 dalam perintah berikut. Untuk mengetahui informasi selengkapnya tentang thread per inti, lihat Menetapkan jumlah thread per inti.

gcloud

gcloud compute instances create TPU_NAME \
  --machine-type=MACHINE_TYPE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT \
  --zone=ZONE \
  --maintenance-policy=TERMINATE

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "TPU_NAME",
    "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        }
      }
    ],
    "scheduling": {
      "onHostMaintenance": "TERMINATE"
    },
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ]
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"

Ganti placeholder berikut:

• PROJECT_ID: ID Google Cloud project Anda.
• TPU_NAME: Nama untuk VM TPU Anda.
• MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya ct6e-standard-8t).
• IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
• IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.
• ZONE: Zona untuk VM TPU (misalnya us-central1-b).

Membuat instance VM Spot TPU

Untuk membuat instance VM Spot TPU, gunakan perintah gcloud compute instances create dengan flag --provisioning-model=SPOT:

Penting: Saat menggunakan jenis mesin ct6e-standard-8t, Anda harus menyetel thread per core ke 1 dengan menyertakan flag --threads-per-core=1 dalam perintah berikut. Untuk mengetahui informasi selengkapnya tentang thread per inti, lihat Menetapkan jumlah thread per inti.

gcloud

gcloud compute instances create TPU_NAME \
  --machine-type=MACHINE_TYPE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT \
  --zone=ZONE \
  --provisioning-model=SPOT \
  --instance-termination-action=DELETE \
  --maintenance-policy=TERMINATE

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "TPU_NAME",
    "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        }
      }
    ],
    "scheduling": {
      "onHostMaintenance": "TERMINATE",
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "DELETE"
    },
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ]
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"

Ganti placeholder berikut:

• PROJECT_ID: ID Google Cloud project Anda.
• TPU_NAME: Nama untuk VM TPU Anda.
• MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya ct6e-standard-8t).
• IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
• IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.
• ZONE: Zona untuk VM TPU (misalnya us-central1-b).

Membuat instance VM TPU menggunakan reservasi

Untuk membuat instance VM TPU menggunakan opsi penggunaan terikat dengan reservasi, gunakan perintah gcloud compute instances create dengan flag --reservation-affinity=specific dan --reservation:

Penting: Saat menggunakan jenis mesin ct6e-standard-8t, Anda harus menyetel thread per core ke 1 dengan menyertakan flag --threads-per-core=1 dalam perintah berikut. Untuk mengetahui informasi selengkapnya tentang thread per inti, lihat Menetapkan jumlah thread per inti.

gcloud

gcloud compute instances create TPU_NAME \
  --machine-type=MACHINE_TYPE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT \
  --zone=ZONE \
  --provisioning-model=reservation-bound \
  --reservation-affinity=specific \
  --reservation=RESERVATION_NAME \
  --instance-termination-action=DELETE \
  --maintenance-policy=TERMINATE

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "TPU_NAME",
    "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        }
      }
    ],
    "scheduling": {
      "onHostMaintenance": "TERMINATE",
      "provisioningModel": "RESERVATION_BOUND",
      "instanceTerminationAction": "DELETE"
    },
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ],
    "reservationAffinity": {
      "consumeReservationType": "SPECIFIC_RESERVATION",
      "key": "compute.googleapis.com/reservation-name",
      "values": [
        "RESERVATION_NAME"
      ]
    }
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"

Ganti placeholder berikut:

• PROJECT_ID: ID Google Cloud project Anda.
• TPU_NAME: Nama untuk VM TPU Anda.
• MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya ct6e-standard-8t).
• IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
• IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.
• ZONE: Zona untuk VM TPU (misalnya us-central1-b).
• RESERVATION_NAME: Nama pemesanan Anda.

Membuat VM TPU Flex-start

Untuk membuat instance VM Flex-start TPU, gunakan perintah gcloud compute instances create dengan flag --provisioning-model=FLEX_START:

Penting: Saat menggunakan jenis mesin ct6e-standard-8t, Anda harus menyetel thread per core ke 1 dengan menyertakan flag --threads-per-core=1 dalam perintah berikut. Untuk mengetahui informasi selengkapnya tentang thread per inti, lihat Menetapkan jumlah thread per inti.

gcloud

gcloud compute instances create TPU_NAME \
  --machine-type=MACHINE_TYPE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT \
  --zone=ZONE \
  --provisioning-model=FLEX_START \
  --max-run-duration=MAX_RUN_DURATION \
  --request-valid-for-duration=VALID_DURATION \
  --instance-termination-action=DELETE \
  --maintenance-policy=TERMINATE

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "TPU_NAME",
    "machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        }
      }
    ],
    "params": {
      "requestValidForDuration": {
        "seconds": VALID_DURATION
      }
    },
    "scheduling": {
      "onHostMaintenance": "TERMINATE",
      "provisioningModel": "FLEX_START",
      "instanceTerminationAction": "DELETE",
      "maxRunDuration": {
        "seconds": MAX_RUN_DURATION
      }
    },
    "networkInterfaces": [
      {
        "network": "global/networks/default"
      }
    ]
  }' \
  "https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"

Ganti placeholder berikut:

• PROJECT_ID: ID Google Cloud project Anda.
• TPU_NAME: Nama untuk VM TPU Anda.
• MACHINE_TYPE: Jenis mesin untuk VM TPU (misalnya ct6e-standard-8t).
• IMAGE_FAMILY: Kelompok image OS untuk VM TPU. Jika Anda ingin menginstal versi OS tertentu, gunakan flag --image. Untuk mengetahui informasi selengkapnya tentang image OS, lihat Image OS.
• IMAGE_PROJECT: Project yang berisi image OS. Untuk image TPU, ini adalah ubuntu-os-accelerator-images.
• ZONE: Zona untuk VM TPU (misalnya us-central1-b).
• MAX_RUN_DURATION: Durasi berjalan maksimum untuk VM TPU (misalnya, 6h). Untuk REST, tentukan ini sebagai jumlah detik (misalnya, 21600 untuk 6 jam).
• VALID_DURATION: Durasi maksimum permintaan berlaku. Untuk REST, tentukan ini sebagai jumlah detik (misalnya 3600 untuk 1 jam). permintaan valid.

Untuk mengetahui informasi selengkapnya tentang cara membuat instance Compute Engine, lihat Membuat dan memulai instance Compute Engine.

Batasan

• Operasi siklus proses: Anda tidak dapat menghentikan, memulai, melanjutkan, atau menangguhkan instance TPU. Untuk mengubah konfigurasi yang memerlukan mulai ulang atau untuk berhenti dikenai biaya, Anda harus menghapus instance.

• Perbarui detail VM: Anda dapat memperbarui properti yang hanya memerlukan tindakan muat ulang (REFRESH). Jika konfigurasi memerlukan restart (RESTART), Anda harus membuat ulang instance.

Langkah berikutnya

• Menghubungkan ke instance TPU
• Melihat detail instance TPU
• Memantau TPU
• Menghapus instance TPU