GPUs zum Ausführen von KI-Inferenz in Cloud Run verwenden Wenn Sie mit KI-Konzepten noch nicht vertraut sind, lesen Sie den Abschnitt GPUs für KI. GPUs werden zum Trainieren und Ausführen von KI-Modellen verwendet. So können Sie eine stabilere Leistung erzielen und Arbeitslasten je nach Gesamtauslastung skalieren. Weitere Informationen zu GPU-Konfigurationen finden Sie unter GPU-Unterstützung für Dienste, Jobs und Worker-Pools.
Tutorials für Dienste
- LLM-Inferenzen auf Cloud Run-GPUs mit Gemma 3 und Ollama ausführen
- Gemma 3 in Cloud Run ausführen
- LLM-Inferenzen auf Cloud Run-GPUs mit vLLM ausführen
- OpenCV in Cloud Run mit GPU-Beschleunigung ausführen
- LLM-Inferenzen auf Cloud Run-GPUs mit Hugging Face Transformers.js ausführen
- LLM-Inferenzen auf Cloud Run-GPUs mit Hugging Face TGI ausführen
Anleitungen für Jobs
- LLMs mit GPUs und Cloud Run-Jobs abstimmen
- Batch-Inferenzen mit GPUs in Cloud Run-Jobs ausführen
- GPU-beschleunigte Videotranscodierung mit FFmpeg in Cloud Run-Jobs