Llama モデルは、Gemini Enterprise Agent Platform でマネージド API およびセルフデプロイ モデルとして使用できます。レスポンスをストリーミングして、エンドユーザーのレイテンシを軽減できます。ストリーミング レスポンスでは、サーバー送信イベント(SSE)を使用してレスポンスを段階的にストリーミングします。
マネージド Llama モデル
Llama モデルは、API としてフルマネージド モデルとサーバーレス モデルを提供します。Agent Platform で Llama モデルを使用するには、Agent Platform API エンドポイントにリクエストを直接送信します。Llama モデルをマネージド API として使用する場合、インフラストラクチャのプロビジョニングや管理は不要です。
Gemini Enterprise Agent Platform で使用できる Llama のモデルは次のとおりです。Llama モデルにアクセスするには、Model Garden のモデルカードに移動します。
Llama モデルを使用する
マネージド モデルの場合、curl コマンドを使用して、次のモデル名で Gemini Enterprise Agent Platform エンドポイントにリクエストを送信できます。Llama モデルにストリーミング呼び出しと非ストリーミング呼び出しを行う方法については、オープンモデル API を呼び出すをご覧ください。
セルフデプロイされた Gemini Enterprise Agent Platform モデルを使用するには:
- Model Garden コンソールに移動します。
- 関連する Gemini Enterprise Agent Platform モデルを見つけます。
- [有効にする] をクリックし、表示されたフォームに記入して必要な商用利用ライセンスを取得します。
パートナー モデルのデプロイと使用の詳細については、パートナー モデルをデプロイして予測リクエストを行うをご覧ください。