Menggunakan GPU untuk menjalankan inferensi AI di Cloud Run. Jika Anda baru mengenal konsep AI, lihat GPU untuk AI. GPU digunakan untuk melatih dan menjalankan model AI. Hal ini dapat memberi Anda performa yang lebih stabil dengan kemampuan untuk menskalakan beban kerja, bergantung pada pemanfaatan Anda secara keseluruhan. Lihat dukungan GPU untuk layanan, tugas, dan kumpulan pekerja untuk mempelajari lebih lanjut konfigurasi GPU.
Tutorial untuk layanan
- Menjalankan Gemma di Cloud Run
- Menjalankan inferensi LLM di GPU Cloud Run dengan Gemma dan Ollama
- Menjalankan inferensi LLM di GPU Cloud Run dengan vLLM
- Menjalankan OpenCV di Cloud Run dengan akselerasi GPU
- Menjalankan inferensi LLM di GPU Cloud Run dengan Hugging Face Transformers.js
- Menjalankan inferensi LLM di GPU Cloud Run dengan Hugging Face TGI
Tutorial untuk tugas
- Menyesuaikan LLM menggunakan GPU dengan tugas Cloud Run
- Menjalankan inferensi batch menggunakan GPU di tugas Cloud Run
- Transcoding video yang dipercepat GPU dengan FFmpeg di tugas Cloud Run