GPU を使用して Cloud Run で AI 推論を実行します。AI のコンセプトを初めて使用する場合は、 AI 用の GPU をご覧ください。 GPU は、AI モデルのトレーニングと実行に使用されます。これにより、全体的な使用率に応じてワークロードをスケーリングできるため、パフォーマンスがより安定します。GPU 構成の詳細については、サービス、 ジョブ、およびワーカープール での GPU のサポートをご覧ください。
サービスのチュートリアル
- Cloud Run で Gemma を実行する
- Gemma と Ollama を使用して Cloud Run GPU で LLM 推論を実行する
- vLLM と Cloud Run を使用して GPU 上で LLM 推論を実行する
- GPU アクセラレーションを使用して Cloud Run で OpenCV を実行する
- Hugging Face Transformers.js を使用して Cloud Run GPU で LLM 推論を実行する
- Hugging Face TGI を使用して Cloud Run GPU で LLM 推論を実行する
ジョブのチュートリアル
- Cloud Run ジョブで GPU を使用して LLM をファインチューニングする
- Cloud Run ジョブで GPU を使用してバッチ推論を実行する
- Cloud Run ジョブで FFmpeg を使用した GPU アクセラレーションによる動画のコード変換