Gemini Omni モデルのプロビジョンド スループット

このセクションでは、割り当ての適用動作や生成 AI スケール ユニット(GSU)の最小購入単位など、Gemini Omni モデルでプロビジョンド スループットがどのように機能するかについて説明します。

Gemini Omni モデルの場合、割り当ての適用期間は、モデル用に購入した GSU の数によって異なり、変更される可能性があります。以降のセクションでは、GSU のサイズごとの割り当て適用期間を示します。

Gemini Omni モデル: 割り当て適用ウィンドウ

Gemini Omni モデルの GSU サイズごとの割り当て適用期間は次のとおりです。

  • 1 ~ 9 GSU: 2,000 秒
  • 10 ~ 19 GSU: 200 秒
  • 20 ~ 39 GSU: 100 秒
  • 40 ~ 66 GSU: 50 秒
  • 67 個以上の GSU: 30 秒

記載されている値は、リクエストのレイテンシとは関係ありません。リクエストの処理時間は、割り当ての適用期間と同じではありません。

GSU の量が少ないほど、適用期間が長くなります。これにより、小さなリクエストが期間内に正常に処理されるようになります。モデルの GSU 数が増加しても、リクエストの処理に長いウィンドウ時間は必要ありません。プロビジョンド スループットを使用して Gemini Omni モデルで出力をより頻繁に処理する必要がある場合は、購入する GSU の数を増やし、対応する適用期間を確認します。

たとえば、10 秒の 1080p 動画を 1 つ生成する必要があるワークロード用に、Omni 1.2 Flash の 1 GSU を購入したとします。この場合、通常は 60 秒以内にこの動画を生成でき、トラフィックはプロビジョンド スループットとして処理されます。ただし、同じ長さの別の動画を生成する場合は、割り当ての適用期間(1 GSU の場合は 2,000 秒)が終了するまで待つ必要があります。この適用期間の時間は、リクエストが行われた時間ではなく、Gemini Enterprise Agent Platform のクロック時間によって決まります。違反措置の期間はバックエンドのアルゴリズムによって異なり、変更される可能性があります。

リクエストを行う際に、長さと解像度に関する API パラメータを設定します。プロビジョンド スループットを指定すると、より正確なエクスペリエンスを実現できます。これらのパラメータが指定されていない場合、プロビジョンド スループットのリクエスト サイズの見積もりでは、デフォルトの期間と解像度が想定されます。これにより、従量課金制への早期のスピルオーバーが発生し、購入したプロビジョンド スループットの使用率が低下する可能性があります。

GSU 要件の見積もり

プロビジョンド スループット ページの見積もりツールを使用して、ワークロードに必要な GSU の数を見積もります。このツールでは、特定の頻度ウィンドウの入力トークンと出力トークンの合計数の見積もりを入力する必要があります。見積もりツールの使用方法の詳細については、標準のプロビジョンド スループットの注文を行うをご覧ください。

トークン数を推定するには、次の方法を使用します。

  • 入力テキスト トークン: SDK トークナイザまたは countTokens API を使用します。
  • 他のモダリティの入力トークン: 料金ページの前提条件に基づく見積もりを使用します。
  • 既存のワークロード: 特定の時間枠内に生成されたレスポンスのトークン使用量を合計します。

たとえば、30 秒ごとに 5 つの 10 秒 720p 動画と 5 つの 10 秒 1080p 動画を生成するワークロード(合計 10 件のリクエスト)を考えてみましょう。各リクエストに 20 個の入力テキスト トークン、1 つの画像(1,120 トークン)、100 個のレスポンス思考トークンがあるとします。GSU 見積もりツールの入力は次のとおりです。

  • 頻度: 30 秒
  • 入力テキスト トークンの合計数: 20 × 10(リクエスト)= 200
  • 画像トークンの合計: 1,120 × 10(リクエスト)= 11,200
  • 出力推論トークンの合計数: 100 × 10(リクエスト)= 1,000
  • 出力動画トークンの合計数: 10 秒(再生時間)× 5,792(トークン/秒)× 5 本の動画(720p)+ 10 秒(再生時間)× 8,688(トークン/秒)× 5 本の動画(1080p)= 724,000
  • 推定 GSU: 283(gemini-omni-1.2-flash の場合)または 434(gemini-omni-1.1-flash-preview の場合)

高解像度と長時間再生のシナリオ

1 つの大きなリクエストを 2 つの適用ウィンドウに分割することはできません。1 つのリクエストに適用期間の保持量を超える量が必要な場合は、送信頻度や、後続のウィンドウに未使用のプロビジョンド スループット割り当てがどれだけ残っているかにかかわらず、毎回 PayGo として処理されます。

Gemini Omni

gemini-omni-1.2-flash の場合、これは 10 秒以上の 4K 動画にのみ影響します。360p、720p、1080p では、サポートされているすべての長さ(最大 15 秒)が、購入サイズに関係なく 1 つのウィンドウに収まります。9 秒以下の 4K 動画も同様です(一般的な入力トークンと推論トークンが 118k トークン未満の場合)。

10 秒以上の 4K 動画を生成する場合は、見積もりツールの結果を次の表と比較し、大きい方の数を注文します。

最長の 4K 動画 1 ~ 9 GSU 10 ~ 19 GSU 20 ~ 39 GSU 40 ~ 66 GSU 67 以上の GSU
10 秒 2 11 22 43 71
11 秒 2 12 24 47 78
12 秒 2 13 26 51 85
13 秒 2 14 28 55 92
14 秒 2 15 30 59 98
15 秒 2 16 32 63 105

推定 GSU 数に一致する列を確認します。たとえば、2,000 秒ごとに 15 秒の 4K 動画を 6 本生成するとします。見積もりツールは 10 GSU を返します。これは平均スループットに十分です。ただし、10 GSU の場合、適用期間は 200 秒であり、15 秒の動画は 1 つのウィンドウに収まりません。6 つのリクエストの間隔をさらに広げても、この問題は解決しません。PayGo のスピルオーバーなしでリクエストを正常に処理するには、16 個の GSU を注文します。

これらの数値は、テキストや画像のプロンプト、編集する最大 10 秒の動画など、一般的なプロンプトと推論トークンを想定しています(15 秒の入力動画を 40 以上の GSU で編集する場合は、40 ~ 66 GSU と 67 以上の GSU の列に 1 GSU を追加します)。

Gemini Omni

gemini-omni-1.1-flash-preview の場合、これは 7 秒以上の 4K 動画にのみ影響します。360p、720p、1080p では、サポートされているすべての長さが、どの購入サイズでも 1 つのウィンドウに収まります。4K 動画(6 秒以下)も同様です(一般的な入力トークンと推論トークンが 88k トークン未満の場合)。

7 秒以上の 4K 動画を生成する場合は、見積もりツールの結果を次の表と比較し、どちらか大きい方の数を注文してください。

最長の 4K 動画 1 ~ 9 GSU 10 ~ 19 GSU 20 ~ 39 GSU 40 ~ 66 GSU 67 以上の GSU
7 秒 2 12 23 46 76
8 秒 2 13 26 52 87
9 秒 2 15 29 58 97
10 秒 2 17 33 65 107

推定 GSU 数に一致する列を確認します。たとえば、2,000 秒ごとに 10 秒の 4K 動画を 6 本生成するとします。見積もりツールは 10 GSU を返します。これは平均スループットに十分です。ただし、10 GSU の場合、適用期間は 200 秒であり、10 秒の動画は 1 つのウィンドウに収まりません。6 つのリクエストの間隔をさらに広げても、この問題は解決しません。PayGo のスピルオーバーなしでリクエストを正常に処理するには、17 個の GSU を注文します。

これらの数値は、テキストや画像のプロンプト、編集する最大 10 秒の動画など、一般的なプロンプトと推論トークンを想定しています。

次のステップ