Hugging Face TGI を使用して Cloud Run で LLM 推論を実行する

次の例は、Llama 3 を使用して Hugging Face Text Generation Inference（TGI）ツールキットを実行するバックエンド サービスの実行方法を示しています。Hugging Face TGI はオープンな大規模言語モデル（LLM）であり、GPU が有効になっている Cloud Run サービスにデプロイしてサービングできます。

サンプル全体については、Cloud Run で TGI DLC を使用して Llama 3.1 8B をデプロイするをご覧ください。