使用 GPU 在 Cloud Run 上執行 AI 推論。如果您是 AI 概念新手，請參閱 AI 專用的 GPU。GPU 用於訓練及執行 AI 模型。這樣一來，您就能獲得更穩定的效能，並根據整體用量調整工作負載。如要進一步瞭解 GPU 設定，請參閱服務、工作和工作站集區的 GPU 支援。
服務教學課程
- 使用 Gemma 3 和 Ollama 在 Cloud Run GPU 上執行 LLM 推論
- 在 Cloud Run 執行 Gemma 3
- 使用 vLLM 在 Cloud Run GPU 上執行 LLM 推論
- 在 Cloud Run 上執行 OpenCV，並加快 GPU 運算速度
- 使用 Hugging Face Transformers.js 在 Cloud Run GPU 上執行 LLM 推論。
- 使用 Hugging Face TGI 在 Cloud Run GPU 上執行 LLM 推論