在 Cloud Run 中使用 GPU 執行 AI 推論

在 Cloud Run 使用 GPU 執行 AI 推論。如果您是 AI 概念新手，請參閱 AI 專用的 GPU。GPU 用於訓練及執行 AI 模型。這可讓您獲得更穩定的效能，並根據整體用量調整工作負載。如要進一步瞭解 GPU 設定，請參閱服務、工作和工作站集區的 GPU 支援。

服務教學課程

• 在 Cloud Run 執行 Gemma
• 使用 Gemma 和 Ollama 在 Cloud Run GPU 上執行 LLM 推論
• 使用 vLLM 在 Cloud Run GPU 上執行 LLM 推論
• 在 Cloud Run 上執行 OpenCV，並加快 GPU 速度
• 使用 Hugging Face Transformers.js 在 Cloud Run GPU 上執行 LLM 推論
• 使用 Hugging Face TGI 在 Cloud Run GPU 上執行 LLM 推論

工作教學課程

• 使用 Cloud Run 工作，透過 GPU 微調 LLM
• 使用 Cloud Run 工作中的 GPU 執行批次推論
• 在 Cloud Run 工作中，使用 FFmpeg 透過 GPU 加速影片轉碼