Verwenden Sie GPUs, um KI-Inferenz in Cloud Run auszuführen. Wenn Sie sich noch nicht mit KI-Konzepten auskennen, lesen Sie den Abschnitt GPUs für KI. GPUs werden zum Trainieren und Ausführen von KI-Modellen verwendet. Dies kann zu einer stabileren Leistung führen, da Sie Arbeitslasten je nach Gesamtauslastung skalieren können. Weitere Informationen zu GPU-Konfigurationen finden Sie unter GPU-Unterstützung für Dienste, Jobs und Worker-Pools.
Anleitungen für Dienste
- Gemma in Cloud Run ausführen
- LLM-Inferenzen auf Cloud Run-GPUs mit Gemma und Ollama ausführen
- OpenCV in Cloud Run mit GPU-Beschleunigung ausführen
- LLM-Inferenzen auf Cloud Run-GPUs mit Hugging Face Transformers.js ausführen
Anleitungen für Jobs
- LLMs mit GPUs und Cloud Run-Jobs abstimmen
- Batch-Inferenz mit GPUs in Cloud Run-Jobs ausführen
- GPU-beschleunigte Videotranscodierung mit FFmpeg in Cloud Run-Jobs