Halaman ini memberikan informasi latar belakang tentang cara kerja GPU dengan Dataflow, termasuk informasi tentang prasyarat dan jenis GPU yang didukung.
Dengan menggunakan GPU dalam tugas Dataflow, Anda dapat mempercepat beberapa tugas pemrosesan data. GPU dapat melakukan komputasi tertentu lebih cepat daripada CPU. Komputasi ini biasanya berupa aljabar numerik atau linear, yang sering digunakan dalam kasus penggunaan pemrosesan gambar dan machine learning. Tingkat peningkatan performa bervariasi berdasarkan kasus penggunaan, jenis komputasi, dan jumlah data yang diproses.
Prasyarat untuk menggunakan GPU di Dataflow
- Untuk menggunakan GPU dengan tugas Dataflow, Anda harus menggunakan Runner v2.
- Dataflow menjalankan kode pengguna di VM pekerja di dalam container Docker.
VM pekerja ini menjalankan Container-Optimized OS.
Agar tugas Dataflow dapat menggunakan GPU, Anda memerlukan prasyarat berikut:
- Driver GPU diinstal di VM pekerja dan dapat diakses oleh container Docker. Untuk mengetahui informasi selengkapnya, lihat Menginstal driver GPU.
- Library GPU yang diperlukan oleh pipeline Anda, seperti library NVIDIA CUDA-X atau NVIDIA CUDA Toolkit, diinstal dalam image container kustom. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi image container.
- Karena container GPU biasanya berukuran besar, untuk menghindari kehabisan ruang disk, tingkatkan ukuran boot disk default menjadi 50 gigabyte atau lebih.
Harga
Tugas yang menggunakan GPU akan dikenai biaya seperti yang ditentukan di halaman harga Dataflow pricing page.
Ketersediaan
Jenis GPU berikut didukung dengan Dataflow:
| Jenis GPU | String worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
Untuk mengetahui informasi selengkapnya tentang setiap jenis GPU, termasuk data performa, lihat Platform GPU Compute Engine.
Untuk mengetahui informasi tentang region dan zona yang tersedia untuk GPU, lihat Ketersediaan region dan zona GPU dalam dokumentasi Compute Engine.
Workload yang direkomendasikan
Tabel berikut memberikan rekomendasi tentang jenis GPU yang akan digunakan untuk berbagai workload. Contoh dalam tabel hanyalah saran, dan Anda harus melakukan pengujian di lingkungan Anda sendiri untuk menentukan jenis GPU yang sesuai untuk workload Anda.
Untuk mengetahui informasi yang lebih mendetail tentang ukuran memori GPU, ketersediaan fitur, dan jenis workload ideal untuk berbagai model GPU, lihat Diagram perbandingan umum di halaman platform GPU.
| Workload | A100, H100 | L4 | T4 |
|---|---|---|---|
| Penyesuaian model | Direkomendasikan | ||
| Inferensi model besar | Direkomendasikan | Direkomendasikan | |
| Inferensi model sedang | Direkomendasikan | Direkomendasikan | |
| Inferensi model kecil | Direkomendasikan | Direkomendasikan |
Langkah berikutnya
- Lihat contoh alur kerja developer untuk membangun pipeline yang menggunakan GPU.
- Pelajari cara me njalankan pipeline Apache Beam di Dataflow dengan GPU.
- Kerjakan Memproses gambar satelit Landsat dengan GPU.