Membuat dan menjalankan tugas yang menggunakan GPU

Dokumen ini menjelaskan cara membuat dan menjalankan tugas yang menggunakan unit pemrosesan grafis (GPU). Untuk mempelajari lebih lanjut fitur dan batasan GPU, lihat Tentang GPU dalam dokumentasi Compute Engine.

Saat membuat tugas Batch, Anda dapat menggunakan GPU secara opsional untuk mempercepat workload tertentu. Kasus penggunaan umum untuk tugas yang menggunakan GPU mencakup pemrosesan data intensif dan workload kecerdasan buatan (AI) seperti machine learning (ML).

Sebelum memulai

  1. Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.

  2. Untuk mendapatkan izin yang diperlukan untuk membuat tugas, minta administrator untuk memberi Anda peran IAM berikut:

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat tugas yang menggunakan GPU

Untuk membuat tugas yang menggunakan GPU, lakukan hal berikut:

  1. Rencanakan persyaratan untuk tugas yang menggunakan GPU.
  2. Buat tugas dengan persyaratan dan metode yang telah Anda identifikasi. Untuk contoh cara membuat tugas menggunakan opsi yang direkomendasikan, lihat Membuat contoh tugas yang menggunakan GPU dalam dokumen ini.

Merencanakan persyaratan untuk tugas yang menggunakan GPU

Sebelum membuat tugas yang menggunakan GPU, rencanakan persyaratan tugas seperti yang dijelaskan di bagian berikut:

  1. Pilih jenis mesin GPU dan opsi penggunaan
  2. Instal driver GPU.
  3. Tentukan resource VM yang kompatibel

Langkah 1: Pilih jenis mesin GPU dan opsi penggunaan

Persyaratan tugas bervariasi berdasarkan jenis mesin GPU dan opsi penggunaan yang Anda inginkan, dan opsi untuk setiap jenis mesin GPU dan opsi penggunaan mungkin saling bergantung.

Untuk memilih jenis mesin GPU dan opsi penggunaan untuk tugas Anda, selesaikan langkah-langkah berikut:

  1. Identifikasi dan pilih prioritas Anda:

    • Jika Anda ingin memprioritaskan performa dan harga dasar, lihat bagian Pilih jenis mesin GPU dalam dokumen ini.
    • Jika Anda ingin memprioritaskan ketersediaan resource atau diskon, lihat bagian Pilih opsi konsumsi dalam dokumen ini.

  2. Buat pilihan yang tersisa berdasarkan apa yang kompatibel dengan pilihan pertama Anda.

    1. Untuk mengidentifikasi opsi yang kompatibel dengan pilihan pertama Anda, lihat Ketersediaan opsi konsumsi menurut jenis mesin dalam dokumentasi Compute Engine.

    2. Lihat bagian yang tersisa untuk Pilih opsi penggunaan atau Pilih jenis mesin GPU.

Pilih jenis mesin GPU

Untuk memilih jenis mesin GPU untuk tugas dan memahami persyaratan tugasnya, selesaikan langkah-langkah berikut:

  1. Pilih jenis mesin GPU: Untuk meninjau jenis mesin GPU yang tersedia (kombinasi yang valid dari jenis GPU, jumlah GPU, dan jenis mesin (vCPU dan memori)) serta kasus penggunaan yang direkomendasikan, lihat Jenis mesin GPU dan Kelompok mesin yang dioptimalkan akselerator dalam dokumentasi Compute Engine.

  2. Pahami persyaratan tugas untuk jenis mesin GPU Anda: Kolom yang diperlukan agar tugas dapat menentukan jenis mesin GPU bervariasi berdasarkan kategori dalam tabel berikut:

    Jenis mesin GPU dan persyaratan tugasnya

    GPU untuk VM yang dioptimalkan akselerator: VM dengan jenis mesin dari kelompok mesin yang dioptimalkan akselerator memiliki jenis dan jumlah GPU ini yang terpasang secara otomatis.

    Untuk menggunakan GPU bagi VM yang dioptimalkan akselerator, sebaiknya tentukan jenis mesin. Setiap jenis mesin yang dioptimalkan akselerator hanya mendukung jenis dan jumlah GPU tertentu, sehingga secara fungsional setara, baik Anda menentukan atau tidak menentukan nilai tersebut selain jenis mesin yang dioptimalkan akselerator.

    Secara khusus, Batch juga mendukung penentuan hanya jenis dan jumlah GPU untuk VM yang dioptimalkan akselerator, tetapi opsi vCPU dan memori yang dihasilkan sering kali sangat terbatas. Oleh karena itu, sebaiknya Anda memverifikasi bahwa opsi vCPU dan memori yang tersedia kompatibel dengan persyaratan tugas pekerjaan.

    GPU untuk VM N1: GPU ini mengharuskan Anda menentukan jenis dan jumlah yang akan dipasang ke setiap VM dan harus dipasang ke VM dengan jenis mesin dari seri mesin N1.

    Untuk menggunakan GPU bagi VM N1, sebaiknya tentukan setidaknya jenis GPU dan jumlah GPU. Pastikan kombinasi nilai cocok dengan salah satu opsi GPU yang valid untuk jenis mesin N1. Opsi vCPU dan memori untuk VM N1 yang menggunakan jenis dan jumlah GPU tertentu cukup fleksibel. Kecuali jika Anda membuat tugas menggunakan konsol Google Cloud , Anda dapat mengizinkan Batch memilih jenis mesin secara otomatis yang memenuhi persyaratan tugas.
Pilih opsi konsumsi

Bagian ini merangkum cara memilih opsi pemakaian untuk tugas dan persyaratan tugas untuk setiap opsi.

Opsi penggunaan yang tersedia untuk Batch dan persyaratannya dijelaskan dalam tabel berikut, yang mencantumkannya berdasarkan kasus penggunaannya: dari ketersediaan resource yang kira-kira tertinggi hingga terendah.

Singkatnya, sebaiknya sebagian besar pengguna memilih opsi penggunaan untuk tugas sebagai berikut:

  • Kecuali jika salah satu kondisi lainnya benar, gunakan VM mulai fleksibel (Pratinjau) (lebih disarankan, jika memenuhi persyaratan Anda) atau sesuai permintaan.
  • Jika tugas Anda memerlukan jaminan ketersediaan resource yang sangat tinggi atau jika Anda memiliki pemesanan yang tidak digunakan dan tidak dapat dihapus, gunakan pemesanan mode kalender (Pratinjau) (lebih disarankan, jika memenuhi persyaratan Anda) atau pemesanan.
  • (Opsional) Jika workload Anda sangat fault-tolerant, Anda mungkin dapat mengurangi biaya dengan mencoba menggunakan Spot VM.
Opsi konsumsi dan persyaratan tugasnya

Pemesanan

  • Kasus penggunaan: Sebaiknya gunakan reservasi untuk tugas jika Anda menginginkan tingkat jaminan ketersediaan resource yang sangat tinggi dan tidak dapat menggunakan reservasi mode kalender, atau jika Anda sudah memiliki reservasi yang mungkin tidak digunakan.

  • Detail: Setelah dibuat, reservasi akan menimbulkan biaya VM yang ditentukan dengan harga yang sama seperti menjalankan VM hingga Anda menghapus reservasi tersebut. VM yang menggunakan pemesanan tidak dikenai biaya terpisah, tetapi pemesanan dikenai biaya terlepas dari penggunaan.

    Pelajari lebih lanjut reservasi dalam dokumentasi Compute Engine.

Batch menggunakan reservasi untuk tugas yang dapat memakai VM yang dipesan dan tidak digunakan. Untuk mengetahui informasi selengkapnya tentang persyaratan tugas untuk menggunakan reservasi, lihat halaman Memastikan ketersediaan resource menggunakan reservasi VM.

Reservasi mode kalender (Pratinjau)

  • Kasus penggunaan: Sebaiknya gunakan reservasi mode kalender untuk tugas jika Anda ingin menggunakan jenis mesin GPU yang mendukung reservasi mode kalender dan memerlukan tingkat jaminan ketersediaan resource yang sangat tinggi selama minimal 1 hari dan hingga 90 hari.

  • Detail: Sebelum membuat tugas, Anda harus meminta atau mengidentifikasi reservasi mode kalender yang dapat Anda gunakan. Jika Compute Engine memenuhi permintaan pemesanan untuk masa mendatang dalam mode kalender, pemesanan mode kalender yang dibuat otomatis akan dikenai biaya yang sama dengan menjalankan VM yang ditentukan selama seluruh periode pemesanan dengan harga Dynamic Workload Scheduler, yang menawarkan diskon hingga 53% dari harga on-demand. Setelah mengidentifikasi reservasi mode kalender yang dibuat otomatis yang dapat Anda gunakan, membuat tugas yang menggunakan reservasi mode kalender sangat mirip dengan membuat tugas yang menggunakan reservasi.

    Pelajari lebih lanjut reservasi mode kalender dalam dokumentasi Compute Engine.

Batch menggunakan reservasi mode kalender untuk tugas yang melakukan semua hal berikut:

VM mulai fleksibel (Pratinjau)

  • Kasus penggunaan: Sebaiknya gunakan VM Mulai fleksibel jika tugas Anda dapat menahan ketersediaan upaya terbaik dengan imbalan harga diskon dan hingga 7 hari untuk menyelesaikan tugas.

    Dibandingkan dengan VM on-demand dan Spot, VM mulai fleksibel dapat mempermudah Anda mengakses banyak resource GPU secara bersamaan. Misalnya, VM mulai fleksibel dapat membantu penjadwalan tugas dengan mengurangi penundaan atau masalah yang disebabkan oleh ketersediaan resource.

  • Detail: Jika permintaan untuk membuat tugas yang menggunakan VM mulai fleksibel terpenuhi, VM akan ditagih dengan harga Dynamic Workload Scheduler, yang menawarkan diskon hingga 53% dari harga on-demand.

    Pelajari lebih lanjut VM mulai fleksibel dalam dokumentasi Compute Engine.

Batch menggunakan VM mulai fleksibel untuk tugas yang melakukan semua hal berikut:

Sesuai permintaan

  • Kasus penggunaan: Secara default, kami merekomendasikan on-demand untuk sebagian besar tugas lainnya.1

  • Detail: Sesuai permintaan biasanya merupakan cara default untuk mengakses VM Compute Engine. On-demand memungkinkan Anda mengakses resource (jika tersedia) saat diminta. Resource akan dihapus hingga tugas selesai atau batas waktu proses tercapai.

Batch menggunakan on-demand untuk sebagian besar tugas lainnya secara default. Jika Anda ingin memastikan bahwa job menggunakan on-demand, lakukan semua hal berikut:1

1Pengecualian: Untuk tugas yang menggunakan seri mesin A3, perilaku defaultnya unik, dan sebaiknya Anda tidak menggunakan on-demand dan tidak membiarkan kolom provisioningModel tidak ditentukan; sebagai gantinya, gunakan persyaratan tugas untuk VM Flex-start. Penggunaan sesuai permintaan tidak direkomendasikan untuk seri mesin A3 karena ketersediaan resource yang rendah. Akibatnya, jika tugas menggunakan seri mesin A3, memblokir reservasi, dan memiliki kolom provisioningModel yang tidak ditentukan atau ditetapkan ke STANDARD, opsi penggunaan default adalah unik: Perilakunya mirip dengan VM Mulai fleksibel, yang membatasi waktu berjalan hingga 7 hari; namun, hal ini tidak direkomendasikan karena tugas ini tidak menerima diskon dari harga Dynamic Workload Scheduler. Jika tugas Anda dengan VM A3 dapat mentoleransi batas waktu berjalan selama 7 hari, sebaiknya gunakan VM Flex-start, bukan VM on-demand. Jika tidak, Anda tidak dapat memastikan bahwa tugas dengan VM A3 menggunakan on-demand kecuali jika Anda menyetel provisioningModel ke STANDARD dan memverifikasi secara manual bahwa tugas tidak dapat menggunakan reservasi, tanpa menyetel kolom reservation ke NO_RESERVATION.

Spot VM

  • Kasus penggunaan: Sebaiknya coba gunakan Spot VM untuk mengurangi biaya workload fault-tolerant.

  • Detail: Jika permintaan untuk membuat tugas yang menggunakan Spot VM terpenuhi, VM akan ditagih dengan harga Spot VM, yang dapat sering berubah dan mungkin memberikan diskon terbesar, hingga 91% dari harga on-demand. Namun, Spot VM mungkin tidak selalu tersedia dan dapat di-preempt kapan saja.

    Pelajari lebih lanjut Spot VM dalam dokumentasi Compute Engine.

Batch menggunakan Spot VM untuk tugas yang memenuhi semua hal berikut:

Langkah 2: Instal driver GPU

Untuk menggunakan GPU dalam tugas, Anda harus menginstal driver GPU. Untuk menginstal driver GPU, pilih salah satu metode berikut:

  • Instal driver GPU secara otomatis (direkomendasikan jika memungkinkan): Seperti yang ditunjukkan dalam contoh, agar Batch mengambil driver GPU yang diperlukan dari lokasi pihak ketiga dan menginstalnya atas nama Anda, tetapkan kolom installGpuDrivers untuk tugas ke true. Metode ini direkomendasikan jika tugas Anda tidak mengharuskan Anda menginstal driver secara manual.

    Secara opsional, jika Anda perlu menentukan versi driver GPU yang diinstal Batch, tetapkan juga kolom driverVersion.

  • Menginstal driver GPU secara manual: Metode ini diperlukan jika salah satu kondisi berikut terpenuhi:

    • Tugas menggunakan script dan container runnable, serta tidak memiliki akses internet. Untuk mengetahui informasi selengkapnya tentang akses yang dimiliki tugas, lihat Ringkasan jaringan batch.
    • Tugas menggunakan image VM kustom. Untuk mempelajari lebih lanjut image OS VM dan image OS VM yang dapat Anda gunakan, lihat Ringkasan lingkungan OS VM.

    Untuk menginstal driver GPU yang diperlukan secara manual, metode berikut direkomendasikan:

    1. Buat image VM kustom yang menyertakan driver GPU.

      1. Untuk menginstal driver GPU, jalankan skrip penginstalan berdasarkan OS yang ingin Anda gunakan:

      2. Jika tugas Anda memiliki runnable container dan tidak menggunakan Container-Optimized OS, Anda juga harus menginstal NVIDIA Container Toolkit

    2. Saat Anda membuat dan mengirimkan tugas yang menggunakan GPU, tentukan image VM kustom yang menyertakan driver GPU, dan tetapkan kolom installGpuDrivers untuk tugas ke false (default).

Langkah 3: Tentukan resource VM yang kompatibel

Untuk mempelajari persyaratan dan opsi dalam menentukan resource VM untuk tugas, lihat Resource tugas.

Singkatnya, Anda harus melakukan semua hal berikut saat menentukan resource VM untuk tugas yang menggunakan GPU:

  • Pastikan jenis mesin GPU tersedia di lokasi VM tugas Anda.

    Untuk mempelajari tempat jenis mesin GPU tersedia, lihat Ketersediaan akselerator dalam dokumentasi Compute Engine.

  • Jika Anda menentukan jenis mesin tugas, pastikan jenis mesin tersebut memiliki vCPU dan memori yang cukup untuk persyaratan tugas. Jenis mesin tugas harus ditentukan setiap kali Anda membuat tugas menggunakan konsol Google Cloud dan direkomendasikan setiap kali Anda membuat tugas yang menggunakan GPU untuk VM yang dioptimalkan untuk akselerator.

  • Pastikan Anda menentukan resource VM untuk tugas menggunakan metode yang valid:

    • Tentukan resource VM secara langsung menggunakan kolom instances[].policy (direkomendasikan jika memungkinkan). Metode ini ditunjukkan dalam contoh.
    • Tentukan resource VM melalui template menggunakan kolom instances[].instanceTemplate. Metode ini diperlukan untuk menginstal driver GPU secara manual melalui image kustom. Untuk mengetahui informasi selengkapnya, lihat Menentukan resource tugas menggunakan template instance VM.

Buat contoh tugas yang menggunakan GPU

Bagian berikut menjelaskan cara membuat contoh tugas untuk setiap opsi penggunaan. Secara khusus, contoh tugas menggunakan opsi yang direkomendasikan: semua menginstal driver GPU secara otomatis, dan semua menentukan resource VM secara langsung.

Opsi konsumsi Contoh petunjuk tugas
Reservasi atau reservasi mode kalender (Pratinjau)

Memastikan ketersediaan resource menggunakan reservasi VM
VM mulai fleksibel (Pratinjau)

Menggunakan GPU dan VM mulai fleksibel
VM Sesuai Permintaan atau Spot VM

Pilih salah satu opsi berikut berdasarkan jenis mesin GPU Anda:

Menggunakan GPU dan VM mulai fleksibel

Anda dapat membuat tugas yang menggunakan GPU untuk VM A3 melalui Dynamic Workload Scheduler menggunakan gcloud CLI atau Batch API.

gcloud

  1. Buat file JSON yang menginstal driver GPU, menentukan jenis mesin GPU yang mendukung VM Flex-start, memblokir reservasi, dan berjalan di lokasi yang mendukung jenis mesin GPU.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan VM dan GPU mulai fleksibel untuk VM yang dioptimalkan untuk akselerator, buat file JSON dengan konten berikut.

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel":"FLEX_START",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

    Ganti kode berikut:

    • INSTALL_GPU_DRIVERS: Jika disetel ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menyetel kolom ini ke false (default), Anda harus menginstal driver GPU secara manual untuk menggunakan GPU apa pun untuk tugas ini.

    • MACHINE_TYPE: jenis mesin GPU yang mendukung VM dengan fitur Mulai fleksibel. Untuk mengetahui informasi selengkapnya, lihat Ketersediaan opsi konsumsi menurut jenis mesin dalam dokumentasi Compute Engine.

    • ALLOWED_LOCATIONS: Anda dapat secara opsional menggunakan kolom allowedLocations[] untuk menentukan region atau zona tertentu dalam region tempat VM untuk tugas Anda diizinkan berjalan—misalnya, regions/us-central1 mengizinkan semua zona di region us-central1. Pastikan Anda menentukan lokasi yang menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini. Jika tidak, jika Anda menghapus kolom ini, pastikan lokasi tugas menawarkan jenis mesin GPU.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud alpha batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
    --location LOCATION \
    --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create v1alpha yang menginstal driver GPU, menentukan jenis mesin GPU yang mendukung VM mulai fleksibel, memblokir reservasi, dan berjalan di lokasi yang mendukung jenis mesin GPU.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan VM dan GPU dengan mulai fleksibel untuk VM yang dioptimalkan akselerator, buat permintaan berikut:

POST https://batch.googleapis.com/v1alpha/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel":"FLEX_START",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • INSTALL_GPU_DRIVERS: Jika disetel ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menyetel kolom ini ke false (default), Anda harus menginstal driver GPU secara manual untuk menggunakan GPU apa pun untuk tugas ini.

  • MACHINE_TYPE: jenis mesin GPU yang mendukung VM dengan fitur Mulai fleksibel. Untuk mengetahui informasi selengkapnya, lihat Ketersediaan opsi konsumsi menurut jenis mesin dalam dokumentasi Compute Engine.

  • ALLOWED_LOCATIONS: Anda dapat secara opsional menggunakan kolom allowedLocations[] untuk menentukan region atau zona tertentu dalam region tempat VM untuk tugas Anda diizinkan berjalan—misalnya, regions/us-central1 mengizinkan semua zona di region us-central1. Pastikan Anda menentukan lokasi yang menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini. Jika tidak, jika Anda menghapus kolom ini, pastikan lokasi tugas menawarkan jenis mesin GPU.

Menggunakan GPU untuk VM yang dioptimalkan akselerator

Anda dapat membuat tugas yang menggunakan GPU untuk VM yang dioptimalkan akselerator menggunakan Google Cloud konsol, gcloud CLI, Batch API, Java, Node.js, atau Python.

Konsol

Untuk membuat tugas yang menggunakan GPU menggunakan konsol Google Cloud , lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Daftar tugas.

    Buka Daftar tugas

  2. Klik Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.

  3. Konfigurasi halaman Detail pekerjaan:

    1. Opsional: Di kolom Nama tugas, sesuaikan nama tugas.

      Misalnya, masukkan example-gpu-job.

    2. Konfigurasi bagian Detail tugas:

      1. Di jendela Dapat dijalankan baru, tambahkan setidaknya satu skrip atau penampung agar tugas ini dapat dijalankan.

        Misalnya, untuk membuat tugas skrip dasar, lakukan hal berikut:

        1. Centang kotak Script. Kolom akan muncul.

        2. Di kolom, masukkan skrip berikut:

          echo Hello world from task ${BATCH_TASK_INDEX}.

        3. Klik Done.

      2. Di kolom Jumlah tugas, masukkan jumlah tugas untuk tugas ini.

        Misalnya, masukkan 3.

      3. Opsional: Di kolom Paralelisme, masukkan jumlah tugas yang akan dijalankan secara bersamaan.

        Misalnya, masukkan 1 (default).

  4. Konfigurasi halaman Spesifikasi resource:

    1. Di panel kiri, klik Spesifikasi resource. Halaman Spesifikasi resource akan terbuka.

    2. Di bagian Model penyediaan VM, pilih salah satu opsi berikut untuk opsi penggunaan untuk VM tugas ini:

      • Jika tugas Anda dapat bertahan dari preemption dan Anda menginginkan Spot VM yang didiskon, pilih Spot.

      • Jika tidak, untuk menggunakan VM sesuai permintaan, pilih Standar (default).

    3. Pilih lokasi untuk tugas ini.

      1. Di kolom Region, pilih region.

      2. Di kolom Zone, lakukan salah satu hal berikut:

        • Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.

        • Jika tidak, pilih apa saja (default).

    4. Pilih jenis mesin GPU untuk VM tugas ini:

      1. Di opsi kelompok mesin, klik GPU.

      2. Di kolom GPU type, pilih jenis GPU. Kemudian, di kolom Number of GPUs, pilih jumlah GPU untuk setiap VM.

        Jika Anda memilih salah satu jenis GPU untuk VM yang dioptimalkan akselerator, kolom Jenis mesin hanya mengizinkan satu opsi untuk jenis mesin berdasarkan jenis dan jumlah GPU yang Anda pilih.

      3. Untuk menginstal driver GPU secara otomatis, pilih GPU driver installation (default).

    5. Konfigurasi jumlah resource VM yang diperlukan untuk setiap tugas:

      1. Di kolom Cores, masukkan jumlah vCPUs per tugas.

        Misalnya, masukkan 1 (default).

      2. Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.

        Misalnya, masukkan 0.5 (default).

    6. Klik Done.

  5. Opsional: Konfigurasi kolom lainnya untuk tugas ini.

  6. Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Pratinjau.

  7. Klik Buat.

    Halaman Job details menampilkan tugas yang Anda buat.

gcloud

  1. Buat file JSON yang menginstal driver GPU, menentukan jenis mesin dari kelompok mesin yang dioptimalkan akselerator, dan berjalan di lokasi yang memiliki jenis mesin GPU.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM yang dioptimalkan untuk akselerator, buat file JSON dengan konten berikut:

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

    Ganti kode berikut:

    • INSTALL_GPU_DRIVERS: Jika disetel ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menyetel kolom ini ke false (default), Anda harus menginstal driver GPU secara manual untuk menggunakan GPU apa pun untuk tugas ini.

    • PROVISIONING_MODEL: model penyediaan untuk opsi penggunaan Anda: STANDARD untuk VM on-demand atau SPOT untuk Spot VM.

    • MACHINE_TYPE: jenis mesin dari kelompok mesin yang dioptimalkan akselerator.

    • ALLOWED_LOCATIONS: Anda dapat secara opsional menggunakan kolom allowedLocations[] untuk menentukan region atau zona tertentu dalam region tempat VM untuk tugas Anda diizinkan berjalan—misalnya, regions/us-central1 mengizinkan semua zona di region us-central1. Pastikan Anda menentukan lokasi yang menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini. Jika tidak, jika Anda menghapus kolom ini, pastikan lokasi tugas menawarkan jenis mesin GPU.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
    --location LOCATION \
    --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create yang menginstal driver GPU, menentukan jenis mesin dari kelompok mesin yang dioptimalkan akselerator, dan berjalan di lokasi yang memiliki jenis mesin GPU.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM yang dioptimalkan untuk akselerator, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • INSTALL_GPU_DRIVERS: Jika disetel ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menyetel kolom ini ke false (default), Anda harus menginstal driver GPU secara manual untuk menggunakan GPU apa pun untuk tugas ini.

  • PROVISIONING_MODEL: model penyediaan untuk opsi penggunaan Anda: STANDARD untuk VM on-demand atau SPOT untuk Spot VM.

  • MACHINE_TYPE: jenis mesin dari kelompok mesin yang dioptimalkan akselerator.

  • ALLOWED_LOCATIONS: Anda dapat secara opsional menggunakan kolom allowedLocations[] untuk menentukan region atau zona tertentu dalam region tempat VM untuk tugas Anda diizinkan berjalan—misalnya, regions/us-central1 mengizinkan semua zona di region us-central1. Pastikan Anda menentukan lokasi yang menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini. Jika tidak, jika Anda menghapus kolom ini, pastikan lokasi tugas menawarkan jenis mesin GPU.

Java 


import com.google.cloud.batch.v1.AllocationPolicy;
import com.google.cloud.batch.v1.AllocationPolicy.Accelerator;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicy;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicyOrTemplate;
import com.google.cloud.batch.v1.BatchServiceClient;
import com.google.cloud.batch.v1.CreateJobRequest;
import com.google.cloud.batch.v1.Job;
import com.google.cloud.batch.v1.LogsPolicy;
import com.google.cloud.batch.v1.Runnable;
import com.google.cloud.batch.v1.Runnable.Script;
import com.google.cloud.batch.v1.TaskGroup;
import com.google.cloud.batch.v1.TaskSpec;
import com.google.protobuf.Duration;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateGpuJob {

  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "YOUR_PROJECT_ID";
    // Name of the region you want to use to run the job. Regions that are
    // available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
    String region = "europe-central2";
    // The name of the job that will be created.
    // It needs to be unique for each project and region pair.
    String jobName = "JOB_NAME";
    // Optional. When set to true, Batch fetches the drivers required for the GPU type
    // that you specify in the policy field from a third-party location,
    // and Batch installs them on your behalf. If you set this field to false (default),
    // you need to install GPU drivers manually to use any GPUs for this job.
    boolean installGpuDrivers = false;
    // Accelerator-optimized machine types are available to Batch jobs. See the list
    // of available types on: https://cloud.google.com/compute/docs/accelerator-optimized-machines
    String machineType = "g2-standard-4";

    createGpuJob(projectId, region, jobName, installGpuDrivers, machineType);
  }

  // Create a job that uses GPUs
  public static Job createGpuJob(String projectId, String region, String jobName,
                                  boolean installGpuDrivers, String machineType)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (BatchServiceClient batchServiceClient = BatchServiceClient.create()) {
      // Define what will be done as part of the job.
      Runnable runnable =
          Runnable.newBuilder()
              .setScript(
                  Script.newBuilder()
                      .setText(
                          "echo Hello world! This is task ${BATCH_TASK_INDEX}. "
                                  + "This job has a total of ${BATCH_TASK_COUNT} tasks.")
                      // You can also run a script from a file. Just remember, that needs to be a
                      // script that's already on the VM that will be running the job.
                      // Using setText() and setPath() is mutually exclusive.
                      // .setPath("/tmp/test.sh")
                      .build())
              .build();

      TaskSpec task = TaskSpec.newBuilder()
                  // Jobs can be divided into tasks. In this case, we have only one task.
                  .addRunnables(runnable)
                  .setMaxRetryCount(2)
                  .setMaxRunDuration(Duration.newBuilder().setSeconds(3600).build())
                  .build();

      // Tasks are grouped inside a job using TaskGroups.
      // Currently, it's possible to have only one task group.
      TaskGroup taskGroup = TaskGroup.newBuilder()
          .setTaskCount(3)
          .setParallelism(1)
          .setTaskSpec(task)
          .build();

      // Policies are used to define on what kind of virtual machines the tasks will run.
      // Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
      InstancePolicy instancePolicy =
          InstancePolicy.newBuilder().setMachineType(machineType).build();  

      // Policies are used to define on what kind of virtual machines the tasks will run on.
      AllocationPolicy allocationPolicy =
          AllocationPolicy.newBuilder()
              .addInstances(
                  InstancePolicyOrTemplate.newBuilder()
                      .setInstallGpuDrivers(installGpuDrivers)
                      .setPolicy(instancePolicy)
                      .build())
              .build();

      Job job =
          Job.newBuilder()
              .addTaskGroups(taskGroup)
              .setAllocationPolicy(allocationPolicy)
              .putLabels("env", "testing")
              .putLabels("type", "script")
              // We use Cloud Logging as it's an out of the box available option.
              .setLogsPolicy(
                  LogsPolicy.newBuilder().setDestination(LogsPolicy.Destination.CLOUD_LOGGING))
              .build();

      CreateJobRequest createJobRequest =
          CreateJobRequest.newBuilder()
              // The job's parent is the region in which the job will run.
              .setParent(String.format("projects/%s/locations/%s", projectId, region))
              .setJob(job)
              .setJobId(jobName)
              .build();

      Job result =
          batchServiceClient
              .createJobCallable()
              .futureCall(createJobRequest)
              .get(5, TimeUnit.MINUTES);

      System.out.printf("Successfully created the job: %s", result.getName());

      return result;
    }
  }
}

Node.js 

// Imports the Batch library
const batchLib = require('@google-cloud/batch');
const batch = batchLib.protos.google.cloud.batch.v1;

// Instantiates a client
const batchClient = new batchLib.v1.BatchServiceClient();

/**
 * TODO(developer): Update these variables before running the sample.
 */
// Project ID or project number of the Google Cloud project you want to use.
const projectId = await batchClient.getProjectId();
// Name of the region you want to use to run the job. Regions that are
// available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
const region = 'europe-central2';
// The name of the job that will be created.
// It needs to be unique for each project and region pair.
const jobName = 'batch-gpu-job';
// The GPU type. You can view a list of the available GPU types
// by using the `gcloud compute accelerator-types list` command.
const gpuType = 'nvidia-l4';
// The number of GPUs of the specified type.
const gpuCount = 1;
// Optional. When set to true, Batch fetches the drivers required for the GPU type
// that you specify in the policy field from a third-party location,
// and Batch installs them on your behalf. If you set this field to false (default),
// you need to install GPU drivers manually to use any GPUs for this job.
const installGpuDrivers = false;
// Accelerator-optimized machine types are available to Batch jobs. See the list
// of available types on: https://cloud.google.com/compute/docs/accelerator-optimized-machines
const machineType = 'g2-standard-4';

// Define what will be done as part of the job.
const runnable = new batch.Runnable({
  script: new batch.Runnable.Script({
    commands: ['-c', 'echo Hello world! This is task ${BATCH_TASK_INDEX}.'],
  }),
});

const task = new batch.TaskSpec({
  runnables: [runnable],
  maxRetryCount: 2,
  maxRunDuration: {seconds: 3600},
});

// Tasks are grouped inside a job using TaskGroups.
const group = new batch.TaskGroup({
  taskCount: 3,
  taskSpec: task,
});

// Policies are used to define on what kind of virtual machines the tasks will run on.
// In this case, we tell the system to use "g2-standard-4" machine type.
// Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
const instancePolicy = new batch.AllocationPolicy.InstancePolicy({
  machineType,
  // Accelerator describes Compute Engine accelerators to be attached to the VM
  accelerators: [
    new batch.AllocationPolicy.Accelerator({
      type: gpuType,
      count: gpuCount,
      installGpuDrivers,
    }),
  ],
});

const allocationPolicy = new batch.AllocationPolicy.InstancePolicyOrTemplate({
  instances: [{installGpuDrivers, policy: instancePolicy}],
});

const job = new batch.Job({
  name: jobName,
  taskGroups: [group],
  labels: {env: 'testing', type: 'script'},
  allocationPolicy,
  // We use Cloud Logging as it's an option available out of the box
  logsPolicy: new batch.LogsPolicy({
    destination: batch.LogsPolicy.Destination.CLOUD_LOGGING,
  }),
});
// The job's parent is the project and region in which the job will run
const parent = `projects/${projectId}/locations/${region}`;

async function callCreateBatchGPUJob() {
  // Construct request
  const request = {
    parent,
    jobId: jobName,
    job,
  };

  // Run request
  const [response] = await batchClient.createJob(request);
  console.log(JSON.stringify(response));
}

await callCreateBatchGPUJob();

Python 

from google.cloud import batch_v1


def create_gpu_job(project_id: str, region: str, job_name: str) -> batch_v1.Job:
    """
    This method shows how to create a sample Batch Job that will run
    a simple command on Cloud Compute instances on GPU machines.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        region: name of the region you want to use to run the job. Regions that are
            available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
        job_name: the name of the job that will be created.
            It needs to be unique for each project and region pair.

    Returns:
        A job object representing the job created.
    """
    client = batch_v1.BatchServiceClient()

    # Define what will be done as part of the job.
    task = batch_v1.TaskSpec()
    runnable = batch_v1.Runnable()
    runnable.script = batch_v1.Runnable.Script()
    runnable.script.text = "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
    # You can also run a script from a file. Just remember, that needs to be a script that's
    # already on the VM that will be running the job. Using runnable.script.text and runnable.script.path is mutually
    # exclusive.
    # runnable.script.path = '/tmp/test.sh'
    task.runnables = [runnable]

    # We can specify what resources are requested by each task.
    resources = batch_v1.ComputeResource()
    resources.cpu_milli = 2000  # in milliseconds per cpu-second. This means the task requires 2 whole CPUs.
    resources.memory_mib = 16  # in MiB
    task.compute_resource = resources

    task.max_retry_count = 2
    task.max_run_duration = "3600s"

    # Tasks are grouped inside a job using TaskGroups.
    # Currently, it's possible to have only one task group.
    group = batch_v1.TaskGroup()
    group.task_count = 4
    group.task_spec = task

    # Policies are used to define on what kind of virtual machines the tasks will run on.
    # In this case, we tell the system to use "g2-standard-4" machine type.
    # Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
    policy = batch_v1.AllocationPolicy.InstancePolicy()
    policy.machine_type = "g2-standard-4"

    instances = batch_v1.AllocationPolicy.InstancePolicyOrTemplate()
    instances.policy = policy
    instances.install_gpu_drivers = True
    allocation_policy = batch_v1.AllocationPolicy()
    allocation_policy.instances = [instances]

    job = batch_v1.Job()
    job.task_groups = [group]
    job.allocation_policy = allocation_policy
    job.labels = {"env": "testing", "type": "container"}
    # We use Cloud Logging as it's an out of the box available option
    job.logs_policy = batch_v1.LogsPolicy()
    job.logs_policy.destination = batch_v1.LogsPolicy.Destination.CLOUD_LOGGING

    create_request = batch_v1.CreateJobRequest()
    create_request.job = job
    create_request.job_id = job_name
    # The job's parent is the region in which the job will run
    create_request.parent = f"projects/{project_id}/locations/{region}"

    return client.create_job(create_request)

Menggunakan GPU untuk VM N1

Anda dapat membuat tugas yang menggunakan GPU untuk VM N1 menggunakan Google Cloud konsol, gcloud CLI, Batch API, Java, Node.js, atau Python.

Konsol

Untuk membuat tugas yang menggunakan GPU menggunakan konsol Google Cloud , lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Daftar tugas.

    Buka Daftar tugas

  2. Klik Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.

  3. Konfigurasi halaman Detail pekerjaan:

    1. Opsional: Di kolom Nama tugas, sesuaikan nama tugas.

      Misalnya, masukkan example-gpu-job.

    2. Konfigurasi bagian Detail tugas:

      1. Di jendela Dapat dijalankan baru, tambahkan setidaknya satu skrip atau penampung agar tugas ini dapat dijalankan.

        Misalnya, untuk membuat tugas skrip dasar, lakukan hal berikut:

        1. Centang kotak Script. Kolom akan muncul.

        2. Di kolom, masukkan skrip berikut:

          echo Hello world from task ${BATCH_TASK_INDEX}.

        3. Klik Done.

      2. Di kolom Jumlah tugas, masukkan jumlah tugas untuk tugas ini.

        Misalnya, masukkan 3.

      3. Opsional: Di kolom Paralelisme, masukkan jumlah tugas yang akan dijalankan secara bersamaan.

        Misalnya, masukkan 1 (default).

  4. Konfigurasi halaman Spesifikasi resource:

    1. Di panel kiri, klik Spesifikasi resource. Halaman Spesifikasi resource akan terbuka.

    2. Di bagian Model penyediaan VM, pilih salah satu opsi berikut untuk opsi penggunaan untuk VM tugas ini:

      • Jika tugas Anda dapat bertahan dari preemption dan Anda menginginkan Spot VM yang didiskon, pilih Spot.

      • Jika tidak, untuk menggunakan VM sesuai permintaan, pilih Standar (default).

    3. Pilih lokasi untuk tugas ini.

      1. Di kolom Region, pilih region.

      2. Di kolom Zone, lakukan salah satu hal berikut:

        • Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.

        • Jika tidak, pilih apa saja (default).

    4. Pilih jenis mesin GPU untuk VM tugas ini:

      1. Di opsi kelompok mesin, klik GPU.

      2. Di kolom GPU type, pilih jenis GPU.

        Jika Anda memilih salah satu jenis GPU untuk VM N1, maka kolom Seri akan disetel ke N1.

      3. Di kolom Number of GPUs, pilih jumlah GPU untuk setiap VM.

      4. Di kolom Machine type, pilih jenis mesin.

      5. Untuk menginstal driver GPU secara otomatis, pilih GPU driver installation (default).

    5. Konfigurasi jumlah resource VM yang diperlukan untuk setiap tugas:

      1. Di kolom Cores, masukkan jumlah vCPUs per tugas.

        Misalnya, masukkan 1 (default).

      2. Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.

        Misalnya, masukkan 0.5 (default).

    6. Klik Done.

  5. Opsional: Konfigurasi kolom lainnya untuk tugas ini.

  6. Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Pratinjau.

  7. Klik Buat.

    Halaman Job details menampilkan tugas yang Anda buat.

gcloud

  1. Buat file JSON yang menginstal driver GPU, menentukan sub-bidang type dan count dari kolom accelerators[], dan berjalan di lokasi yang memiliki jenis mesin GPU.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM N1 dan memungkinkan Batch memilih jenis mesin N1 yang tepat, buat file JSON dengan konten berikut:

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "reservation": "NO_RESERVATION",
                    "accelerators": [
                        {
                            "type": "GPU_TYPE",
                            "count": GPU_COUNT
                        }
                    ]
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

    Ganti kode berikut:

    • INSTALL_GPU_DRIVERS: Jika disetel ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menyetel kolom ini ke false (default), Anda harus menginstal driver GPU secara manual untuk menggunakan GPU apa pun untuk tugas ini.

    • PROVISIONING_MODEL: model penyediaan untuk opsi penggunaan Anda: STANDARD untuk VM on-demand atau SPOT untuk Spot VM.

    • GPU_TYPE: jenis GPU. Anda dapat melihat daftar jenis GPU yang tersedia menggunakan perintah gcloud compute accelerator-types list. Hanya gunakan kolom ini untuk GPU untuk VM N1.

    • GPU_COUNT: jumlah GPU dari jenis yang ditentukan. Untuk mengetahui informasi selengkapnya tentang opsi yang valid, lihat Jenis mesin GPU untuk seri mesin N1. Hanya gunakan kolom ini untuk GPU untuk VM N1.

    • ALLOWED_LOCATIONS: Anda dapat secara opsional menggunakan kolom allowedLocations[] untuk menentukan region atau zona tertentu dalam region tempat VM untuk tugas Anda diizinkan berjalan—misalnya, regions/us-central1 mengizinkan semua zona di region us-central1. Pastikan Anda menentukan lokasi yang menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini. Jika tidak, jika Anda menghapus kolom ini, pastikan lokasi tugas menawarkan jenis mesin GPU.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
    --location LOCATION \
    --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create yang menginstal driver GPU, menentukan subkolom type dan count kolom accelerators[], dan menggunakan lokasi yang memiliki jenis mesin GPU.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM N1 dan memungkinkan Batch memilih jenis mesin N1 yang tepat, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "reservation": "NO_RESERVATION",
                    "accelerators": [
                        {
                            "type": "GPU_TYPE",
                            "count": GPU_COUNT
                        }
                    ]
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • INSTALL_GPU_DRIVERS: Jika disetel ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menyetel kolom ini ke false (default), Anda harus menginstal driver GPU secara manual untuk menggunakan GPU apa pun untuk tugas ini.

  • PROVISIONING_MODEL: model penyediaan untuk opsi penggunaan Anda: STANDARD untuk VM on-demand atau SPOT untuk Spot VM.

  • GPU_TYPE: jenis GPU. Anda dapat melihat daftar jenis GPU yang tersedia menggunakan perintah gcloud compute accelerator-types list. Hanya gunakan kolom ini untuk GPU untuk VM N1.

  • GPU_COUNT: jumlah GPU dari jenis yang ditentukan. Untuk mengetahui informasi selengkapnya tentang opsi yang valid, lihat Jenis mesin GPU untuk seri mesin N1. Hanya gunakan kolom ini untuk GPU untuk VM N1.

  • ALLOWED_LOCATIONS: Anda dapat secara opsional menggunakan kolom allowedLocations[] untuk menentukan region atau zona tertentu dalam region tempat VM untuk tugas Anda diizinkan berjalan—misalnya, regions/us-central1 mengizinkan semua zona di region us-central1. Pastikan Anda menentukan lokasi yang menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini. Jika tidak, jika Anda menghapus kolom ini, pastikan lokasi tugas menawarkan jenis mesin GPU.

Java 


import com.google.cloud.batch.v1.AllocationPolicy;
import com.google.cloud.batch.v1.AllocationPolicy.Accelerator;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicy;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicyOrTemplate;
import com.google.cloud.batch.v1.BatchServiceClient;
import com.google.cloud.batch.v1.CreateJobRequest;
import com.google.cloud.batch.v1.Job;
import com.google.cloud.batch.v1.LogsPolicy;
import com.google.cloud.batch.v1.Runnable;
import com.google.cloud.batch.v1.Runnable.Script;
import com.google.cloud.batch.v1.TaskGroup;
import com.google.cloud.batch.v1.TaskSpec;
import com.google.protobuf.Duration;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateGpuJobN1 {

  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "YOUR_PROJECT_ID";
    // Name of the region you want to use to run the job. Regions that are
    // available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
    String region = "europe-central2";
    // The name of the job that will be created.
    // It needs to be unique for each project and region pair.
    String jobName = "JOB_NAME";
    // Optional. When set to true, Batch fetches the drivers required for the GPU type
    // that you specify in the policy field from a third-party location,
    // and Batch installs them on your behalf. If you set this field to false (default),
    // you need to install GPU drivers manually to use any GPUs for this job.
    boolean installGpuDrivers = false;
    // The GPU type. You can view a list of the available GPU types
    // by using the `gcloud compute accelerator-types list` command.
    String gpuType = "nvidia-tesla-t4";
    // The number of GPUs of the specified type.
    int gpuCount = 2;

    createGpuJob(projectId, region, jobName, installGpuDrivers, gpuType, gpuCount);
  }

  // Create a job that uses GPUs
  public static Job createGpuJob(String projectId, String region, String jobName,
                                  boolean installGpuDrivers, String gpuType, int gpuCount)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (BatchServiceClient batchServiceClient = BatchServiceClient.create()) {
      // Define what will be done as part of the job.
      Runnable runnable =
          Runnable.newBuilder()
              .setScript(
                  Script.newBuilder()
                      .setText(
                          "echo Hello world! This is task ${BATCH_TASK_INDEX}. "
                                  + "This job has a total of ${BATCH_TASK_COUNT} tasks.")
                      // You can also run a script from a file. Just remember, that needs to be a
                      // script that's already on the VM that will be running the job.
                      // Using setText() and setPath() is mutually exclusive.
                      // .setPath("/tmp/test.sh")
                      .build())
              .build();

      TaskSpec task = TaskSpec.newBuilder()
                  // Jobs can be divided into tasks. In this case, we have only one task.
                  .addRunnables(runnable)
                  .setMaxRetryCount(2)
                  .setMaxRunDuration(Duration.newBuilder().setSeconds(3600).build())
                  .build();

      // Tasks are grouped inside a job using TaskGroups.
      // Currently, it's possible to have only one task group.
      TaskGroup taskGroup = TaskGroup.newBuilder()
          .setTaskCount(3)
          .setParallelism(1)
          .setTaskSpec(task)
          .build();

      // Accelerator describes Compute Engine accelerators to be attached to the VM.
      Accelerator accelerator = Accelerator.newBuilder()
          .setType(gpuType)
          .setCount(gpuCount)
          .build();

      // Policies are used to define on what kind of virtual machines the tasks will run on.
      AllocationPolicy allocationPolicy =
          AllocationPolicy.newBuilder()
              .addInstances(
                  InstancePolicyOrTemplate.newBuilder()
                      .setInstallGpuDrivers(installGpuDrivers)
                      .setPolicy(InstancePolicy.newBuilder().addAccelerators(accelerator))
                      .build())
              .build();

      Job job =
          Job.newBuilder()
              .addTaskGroups(taskGroup)
              .setAllocationPolicy(allocationPolicy)
              .putLabels("env", "testing")
              .putLabels("type", "script")
              // We use Cloud Logging as it's an out of the box available option.
              .setLogsPolicy(
                  LogsPolicy.newBuilder().setDestination(LogsPolicy.Destination.CLOUD_LOGGING))
              .build();

      CreateJobRequest createJobRequest =
          CreateJobRequest.newBuilder()
              // The job's parent is the region in which the job will run.
              .setParent(String.format("projects/%s/locations/%s", projectId, region))
              .setJob(job)
              .setJobId(jobName)
              .build();

      Job result =
          batchServiceClient
              .createJobCallable()
              .futureCall(createJobRequest)
              .get(5, TimeUnit.MINUTES);

      System.out.printf("Successfully created the job: %s", result.getName());

      return result;
    }
  }
}

Node.js 

// Imports the Batch library
const batchLib = require('@google-cloud/batch');
const batch = batchLib.protos.google.cloud.batch.v1;

// Instantiates a client
const batchClient = new batchLib.v1.BatchServiceClient();

/**
 * TODO(developer): Update these variables before running the sample.
 */
// Project ID or project number of the Google Cloud project you want to use.
const projectId = await batchClient.getProjectId();
// Name of the region you want to use to run the job. Regions that are
// available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
const region = 'europe-central2';
// The name of the job that will be created.
// It needs to be unique for each project and region pair.
const jobName = 'batch-gpu-job-n1';
// The GPU type. You can view a list of the available GPU types
// by using the `gcloud compute accelerator-types list` command.
const gpuType = 'nvidia-tesla-t4';
// The number of GPUs of the specified type.
const gpuCount = 1;
// Optional. When set to true, Batch fetches the drivers required for the GPU type
// that you specify in the policy field from a third-party location,
// and Batch installs them on your behalf. If you set this field to false (default),
// you need to install GPU drivers manually to use any GPUs for this job.
const installGpuDrivers = false;
// Accelerator-optimized machine types are available to Batch jobs. See the list
// of available types on: https://cloud.google.com/compute/docs/accelerator-optimized-machines
const machineType = 'n1-standard-16';

// Define what will be done as part of the job.
const runnable = new batch.Runnable({
  script: new batch.Runnable.Script({
    commands: ['-c', 'echo Hello world! This is task ${BATCH_TASK_INDEX}.'],
  }),
});

const task = new batch.TaskSpec({
  runnables: [runnable],
  maxRetryCount: 2,
  maxRunDuration: {seconds: 3600},
});

// Tasks are grouped inside a job using TaskGroups.
const group = new batch.TaskGroup({
  taskCount: 3,
  taskSpec: task,
});

// Policies are used to define on what kind of virtual machines the tasks will run on.
// In this case, we tell the system to use "g2-standard-4" machine type.
// Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
const instancePolicy = new batch.AllocationPolicy.InstancePolicy({
  machineType,
  // Accelerator describes Compute Engine accelerators to be attached to the VM
  accelerators: [
    new batch.AllocationPolicy.Accelerator({
      type: gpuType,
      count: gpuCount,
      installGpuDrivers,
    }),
  ],
});

const allocationPolicy = new batch.AllocationPolicy.InstancePolicyOrTemplate({
  instances: [{installGpuDrivers, policy: instancePolicy}],
});

const job = new batch.Job({
  name: jobName,
  taskGroups: [group],
  labels: {env: 'testing', type: 'script'},
  allocationPolicy,
  // We use Cloud Logging as it's an option available out of the box
  logsPolicy: new batch.LogsPolicy({
    destination: batch.LogsPolicy.Destination.CLOUD_LOGGING,
  }),
});
// The job's parent is the project and region in which the job will run
const parent = `projects/${projectId}/locations/${region}`;

async function callCreateBatchGPUJobN1() {
  // Construct request
  const request = {
    parent,
    jobId: jobName,
    job,
  };

  // Run request
  const [response] = await batchClient.createJob(request);
  console.log(JSON.stringify(response));
}

await callCreateBatchGPUJobN1();

Python 

from google.cloud import batch_v1


def create_gpu_job(
    project_id: str, region: str, zone: str, job_name: str
) -> batch_v1.Job:
    """
    This method shows how to create a sample Batch Job that will run
    a simple command on Cloud Compute instances on GPU machines.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        region: name of the region you want to use to run the job. Regions that are
            available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
        zone: name of the zone you want to use to run the job. Important in regard to GPUs availability.
            GPUs availability can be found here: https://cloud.google.com/compute/docs/gpus/gpu-regions-zones
        job_name: the name of the job that will be created.
            It needs to be unique for each project and region pair.

    Returns:
        A job object representing the job created.
    """
    client = batch_v1.BatchServiceClient()

    # Define what will be done as part of the job.
    task = batch_v1.TaskSpec()
    runnable = batch_v1.Runnable()
    runnable.script = batch_v1.Runnable.Script()
    runnable.script.text = "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
    # You can also run a script from a file. Just remember, that needs to be a script that's
    # already on the VM that will be running the job. Using runnable.script.text and runnable.script.path is mutually
    # exclusive.
    # runnable.script.path = '/tmp/test.sh'
    task.runnables = [runnable]

    # We can specify what resources are requested by each task.
    resources = batch_v1.ComputeResource()
    resources.cpu_milli = 2000  # in milliseconds per cpu-second. This means the task requires 2 whole CPUs.
    resources.memory_mib = 16  # in MiB
    task.compute_resource = resources

    task.max_retry_count = 2
    task.max_run_duration = "3600s"

    # Tasks are grouped inside a job using TaskGroups.
    # Currently, it's possible to have only one task group.
    group = batch_v1.TaskGroup()
    group.task_count = 4
    group.task_spec = task

    # Policies are used to define on what kind of virtual machines the tasks will run on.
    # Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
    policy = batch_v1.AllocationPolicy.InstancePolicy()
    policy.machine_type = "n1-standard-16"

    accelerator = batch_v1.AllocationPolicy.Accelerator()
    # Note: not every accelerator is compatible with instance type
    # Read more here: https://cloud.google.com/compute/docs/gpus#t4-gpus
    accelerator.type_ = "nvidia-tesla-t4"
    accelerator.count = 1

    policy.accelerators = [accelerator]
    instances = batch_v1.AllocationPolicy.InstancePolicyOrTemplate()
    instances.policy = policy
    instances.install_gpu_drivers = True
    allocation_policy = batch_v1.AllocationPolicy()
    allocation_policy.instances = [instances]

    location = batch_v1.AllocationPolicy.LocationPolicy()
    location.allowed_locations = ["zones/us-central1-b"]
    allocation_policy.location = location

    job = batch_v1.Job()
    job.task_groups = [group]
    job.allocation_policy = allocation_policy
    job.labels = {"env": "testing", "type": "container"}
    # We use Cloud Logging as it's an out of the box available option
    job.logs_policy = batch_v1.LogsPolicy()
    job.logs_policy.destination = batch_v1.LogsPolicy.Destination.CLOUD_LOGGING

    create_request = batch_v1.CreateJobRequest()
    create_request.job = job
    create_request.job_id = job_name
    # The job's parent is the region in which the job will run
    create_request.parent = f"projects/{project_id}/locations/{region}"

    return client.create_job(create_request)

Langkah berikutnya