Gemini Enterprise Agent Platform には、生成モデルを使用する際にコンピューティング リソースを取得して使用するための複数のオプションが用意されています。これらの使用オプションは、初期プロトタイピングから本番環境へのデプロイまで、あらゆるワークロードのニーズを満たすように設計されています。適切なオプションを選択することは、パフォーマンス、信頼性、費用のバランスを取るうえで非常に重要です。
このガイドでは、利用可能な消費オプションについて詳しく説明し、特定のワークロード要件にマッピングするのに役立ちます。また、レイテンシ、可用性、費用を最適化するための戦略についても説明します。
使用オプション
Gemini Enterprise Agent Platform には、さまざまなトラフィック パターンとビジネスニーズに合わせて、次の 5 つの使用オプションが用意されています。
| 使用オプション | 説明 | 推奨用途 | 料金 | |
|---|---|---|---|---|
| プロビジョンド スループット | 契約期間中に保証されたスループットを提供 | SLA が必要な、重要性が高く、安定した、常時稼働のワークロード | コミットメント ベース（1 週間、1 か月、3 か月、1 年のプランで利用可能） | |
| 従量制 | Standard | 柔軟な従量課金制オプション（前払いのコミットメントなし） | 日常的なユースケース向けのデフォルト オプション。変動するトラフィック需要に柔軟に対応 | トークンごと（標準レート） |
| 優先度 | 優先処理により信頼性を高めつつ、PayGo の柔軟性を維持 | 標準の PayGo よりも高い信頼性と上限を必要とする重要なワークロード | トークンごと（プレミアム レート） | |
| フレックス | レイテンシ許容ワークロード向けの費用対効果の高いオプション | 低価格と引き換えに、レスポンス時間の遅延やスロットリングの増加を許容できるタスク | トークンごと（割引料金） | |
| バッチ推論 | 大量の非同期処理向けに費用を最適化 | 結果が長い期間内に必要となる大規模なジョブ | トークンごと（割引料金） | |
料金については、料金ページをご覧ください。
ワークロードに適したオプションを選択する
以降のセクションでは、ワークロードの特定の要件と特性に基づいて、最適な使用オプションを選択するためのガイダンスを提供します。
レイテンシの影響を受けやすいワークロード
多くの場合、組織は適切な使用量モデルを選択する際に、信頼性と費用のトレードオフを考慮する必要があります。プロビジョンド スループットは信頼性が最も高いものの、トラフィックが急増すると使用率が低下する可能性があります。同様に、PayGo は最大限の柔軟性を提供しますが、サービス品質を保証することはできません。次のセクションでは、これらのメカニズムを組み合わせて最適な結果を得る方法について説明します。
- プロビジョンド スループットでベースライン トラフィックをカバーする。これにより、予約済み容量の使用率が向上し、トラフィックのコアに保証された信頼性を提供しながら、経済的になります。これを行う手順は以下のとおりです。
- 分単位または秒単位のトラフィック パターンを分析します。
- プロビジョンド スループットでカバーするトラフィック量を決定します。優先度の高いトラフィックをカバーする必要があります。
- 標準または優先の従量課金制でスピルオーバー トラフィックを管理する: デフォルトでは、プロビジョンド スループットのベースラインを超えるトラフィック（スピルオーバー トラフィック）は、標準の従量課金制で処理されます。TPM の上限を超えるリクエストのパフォーマンスのばらつきが大きい場合は、最適化によってそのばらつきを軽減できます。優先従量課金制では、上限を条件として、プレミアム価格で信頼性の高いパフォーマンスを実現できます。
非同期の大量のワークロード
リクエストのバックログが大量にあり（たとえば、要約するドキュメントが数百万ある場合）、即時のレイテンシが懸念されない場合は、リクエストを JSON ファイルまたはスプレッドシートに作成してバッチジョブを送信する必要があります。これは、画像ラベル付け、ドキュメントの一括処理、過去のデータの感情分析などのユースケースに役立ちます。
これは、大量の推論に最も費用対効果の高いオプションです。
レイテンシを許容できる、コスト重視のワークロード
アプリケーションがレスポンスを待機できるが、コスト削減が優先されるリクエストを処理する必要がある場合は、Flex 従量課金制を使用する必要があります。Flex PayGo では、即時実行を必要としないリクエストに対して、トークンあたりの料金が割引されます。このオプションは、オフライン分析、データ アノテーション、商品カタログの作成、翻訳などのユースケースに役立ちます。
最適化戦略
使用量モデルを選択したら、次の戦略を使用して、レイテンシ、可用性、費用をさらに最適化します。
レイテンシ
インタラクティブなアプリケーションを構築する場合、レイテンシはユーザー エクスペリエンスにおいて重要な役割を果たします。レイテンシとは、モデルが入力プロンプトを処理し、対応する出力レスポンスを生成するまでにかかる時間のことです。モデルでレイテンシを調べる際は、次の点を考慮してください。
- 最初のトークンまでの時間（TTFT）: モデルがプロンプトを受け取ってからレスポンスの最初のトークンを生成するまでにかかる時間。TTFT は、ストリーミング アプリケーションにおいて特に重要で、即時のフィードバックを提供することが不可欠な場合に適しています。
- 最後のトークンまでの時間（TTLT）: モデルがプロンプトを処理してレスポンスを生成するまでにかかる全体的な時間。
レイテンシを最適化するには:
- ユースケースに適したモデルを選択する: Gemini Enterprise Agent Platform には、さまざまな機能とパフォーマンス特性を持つ多様なモデルが用意されています。速度と出力の品質に関する要件を慎重に評価し、ユースケースに最適なモデルを選択します。使用可能なモデルのリストについては、Gemini Enterprise Agent Platform Model Garden をご覧ください。
- プロンプトのサイズを縮小する: 不要な詳細や冗長性のない、意図を効果的に伝える明確で簡潔なプロンプトを作成します。プロンプトを短くすると、最初のトークンまでの時間が短縮されます。
- 出力トークンを制限する:
- システム指示を使用して、レスポンスの長さを制御します。簡潔な回答を提供するようモデルに指示するか、出力の文または段落を特定の数に制限します。この戦略により、最後のトークンまでの時間を短縮できます。
- 上限を設定して出力を制限します。
max_output_tokensパラメータを使用して、生成されるレスポンスの長さに上限を設定し、出力が長くなりすぎないようにします。レイテンシは生成されるトークンの数に正比例します。生成されるトークンが少ないほど、レスポンスが速くなります。ただし、文の途中でレスポンスが途切れる可能性があるため、注意が必要です。
- プロビジョンド スループットを使用する: 最も一貫したパフォーマンスを実現するには、プロビジョンド スループットを使用します。これにより、トラフィックが多いときに PayGo モデルで発生する可能性のある「コールド スタート」やキューイングによる変動を排除できます。
- 思考予算を制限する: 思考をサポートするモデルを使用している場合は、思考予算を減らすことでレイテンシを短縮できます。モデルが回答を生成する前に生成する内部推論トークンを制限することで、全体的な処理時間を短縮できます。ただし、回答の品質が低下しないように、タスクの複雑さに応じて十分な予算を確保する必要があります。
- レスポンスにストリーミングを使用する: ストリーミングにより、応答性が向上し、よりインタラクティブなユーザー エクスペリエンスを実現できます。ストリーミングでは、モデルは完全な出力を生成する前にレスポンスを送信し始めます。これにより、出力のリアルタイム処理が可能になり、ユーザー インターフェースをすぐに更新して、他のタスクを同時に実行できます。
対象
可用性を最適化するには:
- 再試行ロジックを実装する: 429 エラーに対して指数バックオフを実装します。特に、Standard PayGo を使用している場合は、この実装が重要です。
- ハイブリッド実装を使用する: ワークロードに適したオプションを選択するで説明されているように、重要な本番環境アプリで PayGo のみに依存しないでください。プロビジョンド スループットと PayGo を組み合わせることで、リソース不足（429 エラー）に対する最高レベルの保証が提供されます。
- プロビジョンド スループットの割り当てを管理する: TPM の消費量を定期的にモニタリングし、予想されるトラフィック イベント（プロダクトのリリースなど）の前に PT GSU を増やします。アラート ポリシーを使用して、モニタリングを自動化できます。
- グローバル エンドポイントを使用する: グローバル エンドポイントを使用して Google のグローバル キャパシティ プールを利用し、リージョンの容量制限によるスロットリングを最小限に抑えます。
- トラフィックを平滑化して、可能な限り急増を抑える: PayGo トラフィック率（TPM）が高いほど、スロットリング率が高くなる傾向があります。
- トラフィックをオフピーク時間にシフトする: モデルの使用量は、一般的に日中のパターンに従います。ワークロードをオフピーク時間や週末にシフトすると、可用性が大幅に向上します。
費用
費用を最適化するには:
- プロビジョンド スループットのサイズを適正化する: 通常、ピーク需要に対応するために PT をプロビジョニングする必要はありません。ピーク需要に備えてプロビジョニングすると、全体的な使用率が低下し、費用が増加します。リスク許容度に応じて、トラフィックの特定のパーセンタイルをカバーすることを目指し、残りは Standard PayGo と Priority PayGo で処理します。
- 長期のプロビジョンド スループットを購入する: 1 年間の PT コミットメントは、1 か月の PT と比較して 26% 割引の料金が適用されるため、大幅なコスト削減につながります。購入したプロビジョンド スループット GSU に関連付けられたモデルはいつでも変更して、最新のモデル機能を活用できます。
- Flex PayGo を使用する: レイテンシに敏感でないパイプラインの部分（バックグラウンドでの要約、データ抽出など）を特定し、Flex PayGo に移行して費用を約 50% 削減します。
- バッチ処理を使用する: 大規模なデータセットの処理などの非同期ジョブの場合、バッチ処理は、Standard PayGo を使用してリクエストを順次処理するよりも大幅に安価（50%）です。
- コンテキスト キャッシュ保存を使用する: コンテキスト キャッシュ保存は、繰り返されるコンテンツを含むリクエストの費用とレイテンシを削減するのに役立ちます。大規模で一般的なコンテンツをプロンプトの先頭に配置し、類似した接頭辞を含むリクエストを短時間で送信することで、キャッシュ ヒット率を向上させます。
- 低価格のモデルを選択する: ユースケースで許容される場合は、Flash-Lite などの小型モデルを使用します。これらのモデルは、高負荷でフル機能のモデルよりもトークンあたりの価格が低くなります。