KI-Inferenz in Cloud Run mit GPUs ausführen

Verwenden Sie GPUs, um KI-Inferenz in Cloud Run auszuführen. Wenn Sie sich noch nicht mit KI-Konzepten auskennen, lesen Sie den Abschnitt GPUs für KI. GPUs werden zum Trainieren und Ausführen von KI-Modellen verwendet. Dies kann zu einer stabileren Leistung führen, da Sie Arbeitslasten je nach Gesamtauslastung skalieren können. Weitere Informationen zu GPU-Konfigurationen finden Sie unter GPU-Unterstützung für Dienste, Jobs und Worker-Pools.

Anleitungen für Dienste

• Gemma in Cloud Run ausführen
• LLM-Inferenzen auf Cloud Run-GPUs mit Gemma und Ollama ausführen
• OpenCV in Cloud Run mit GPU-Beschleunigung ausführen
• LLM-Inferenzen auf Cloud Run-GPUs mit Hugging Face Transformers.js ausführen

Anleitungen für Jobs

• LLMs mit GPUs und Cloud Run-Jobs abstimmen
• Batch-Inferenz mit GPUs in Cloud Run-Jobs ausführen
• GPU-beschleunigte Videotranscodierung mit FFmpeg in Cloud Run-Jobs