Menggunakan GPU NVIDIA

Halaman ini menjelaskan cara menjalankan tugas deep learning seperti pengenalan gambar, pemrosesan bahasa alami, serta tugas intensif komputasi lainnya menggunakan node pool dengan akselerator hardware unit pemrosesan grafis (GPU) NVIDIA untuk daya komputasi dengan instance penampung layanan Knative Anda.

Menambahkan node pool dengan GPU ke cluster GKE

Minta administrator membuat node pool dengan GPU:

1. Tambahkan node pool dengan kemampuan GPU ke cluster GKE Anda.

2. Instal driver perangkat NVIDIA ke node.

Menyiapkan layanan untuk menggunakan GPU

Anda dapat menentukan batas resource untuk menggunakan GPU bagi layanan Anda menggunakan konsol Google Cloud atau Google Cloud CLI saat men-deploy layanan baru, memperbarui layanan yang ada, atau men-deploy revisi:

Konsol

1. Buka Inferensi Knative

2. Klik Buat layanan untuk menampilkan formulir Buat layanan.

3. Di bagian Service settings:

   1. Pilih cluster GKE dengan node pool yang mendukung GPU.
   2. Tentukan nama yang ingin Anda berikan ke layanan Anda.
   3. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

4. Di bagian Configure the service's first revision:

   

   1. Tambahkan URL image container.
   2. Klik Setelan lanjutan, lalu di menu GPU yang dialokasikan, pilih jumlah GPU yang ingin Anda alokasikan ke layanan Anda.

5. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

6. Di bagian Konfigurasi cara layanan ini dipicu, pilih konektivitas yang ingin Anda gunakan untuk memanggil layanan.

7. Klik Create untuk men-deploy image ke layanan Knative dan tunggu hingga deployment selesai.

Command line

Perhatian: Men-deploy perubahan konfigurasi menggunakan file YAML akan menggantikan konfigurasi layanan yang ada. Karena file YAML sepenuhnya menggantikan semua konfigurasi, Anda harus menghindari penggunaan beberapa metode untuk mengubah layanan. Misalnya, jangan gunakan file YAML bersama dengan perintah Google Cloud konsol atau gcloud.

Anda dapat mendownload konfigurasi layanan yang ada ke dalam file YAML dengan perintah gcloud run services describe menggunakan tanda --format=export. Kemudian, Anda dapat mengubah file YAML tersebut dan men-deploy perubahan tersebut dengan perintah gcloud run services replace. Anda harus memastikan bahwa Anda hanya mengubah atribut yang ditentukan.

1. Download konfigurasi layanan Anda ke file bernama service.yaml di ruang kerja lokal:

   gcloud run services describe SERVICE --format export > service.yaml

   Ganti SERVICE dengan nama layanan Knative serving Anda.

2. Di file lokal Anda, perbarui atribut nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"

   Ganti GPU_UNITS dengan nilai GPU yang diinginkan dalam unit GPU Kubernetes. Misalnya, tentukan 1 untuk 1 GPU.

3. Deploy file YAML dan ganti layanan Anda dengan konfigurasi baru dengan menjalankan perintah berikut:

   gcloud run services replace service.yaml

Untuk mengetahui informasi selengkapnya tentang performa dan biaya GPU, lihat GPU.