Débit provisionné pour les modèles Gemini Omni

Cette section explique le fonctionnement du débit provisionné pour les modèles Gemini Omni, y compris le comportement d'application des quotas et les incréments d'achat minimaux d'unités de scaling pour l'IA générative (GSU).

Pour les modèles Gemini Omni, les fenêtres d'application des quotas varient en fonction du nombre de GSU que vous achetez pour le modèle et sont susceptibles d'être modifiées. Les sections suivantes répertorient les fenêtres d'application des quotas pour différentes tailles de GSU.

Modèles Gemini Omni : fenêtres d'application des quotas

Voici les fenêtres d'application des quotas pour différentes tailles de GSU pour les modèles Gemini Omni :

  • 1 à 9 GSU : 2 000 secondes
  • 10 à 19 GSU : 200 secondes
  • 20 à 39 GSU : 100 secondes
  • 40 à 66 GSU : 50 secondes
  • 67 GSU ou plus : 30 secondes

Les valeurs indiquées ne dépendent pas de la latence de la requête. Le temps de traitement de votre demande n'est pas le même que la période d'application du quota.

Les fenêtres d'application sont plus grandes pour les petites quantités de GSU afin de garantir que les petites requêtes sont traitées avec succès dans la fenêtre. À mesure que le nombre de GSU d'un modèle augmente, il n'est pas nécessaire d'allonger la durée de la fenêtre pour traiter une requête. Si vous devez traiter plus fréquemment les sorties sur les modèles Gemini Omni à l'aide du débit provisionné, augmentez le nombre de GSU achetées et vérifiez la période d'application correspondante.

Par exemple, imaginez que vous avez acheté 1 GSU d'Omni 1.2 Flash pour une charge de travail qui nécessite de générer une seule vidéo 1080p de 10 secondes. Dans ce cas, vous pouvez généralement générer cette vidéo en 60 secondes, et le trafic est traité comme un débit provisionné. Toutefois, si vous souhaitez générer une autre vidéo de la même durée, vous devez attendre la fin de la période d'application du quota (2 000 secondes pour 1 GSU). La durée de cette fenêtre d'application est déterminée par l'heure de Gemini Enterprise Agent Platform, et non par l'heure à laquelle la requête est effectuée. Les fenêtres d'application dépendent des algorithmes de backend et sont susceptibles d'être modifiées.

Définissez les paramètres d'API de durée et de résolution lorsque vous effectuez une requête. Lorsqu'il est fourni, le débit provisionné peut offrir une expérience plus précise. Si ces paramètres ne sont pas fournis, l'estimation de la taille des requêtes de débit provisionné suppose la durée et la résolution par défaut, ce qui peut entraîner un débordement prématuré et évitable vers le paiement à l'usage et réduire l'utilisation du débit provisionné que vous avez acheté.

Estimer les besoins en GSU

Utilisez l'outil d'estimation sur la page "Débit provisionné" pour estimer le nombre de GSU requis pour votre charge de travail. L'outil nécessite que vous saisissiez une estimation du nombre total de jetons d'entrée et de sortie pour une fenêtre de fréquence spécifique. Pour en savoir plus sur l'utilisation de l'outil d'estimation, consultez Passer une commande de débit provisionné standard.

Pour estimer le nombre de jetons, utilisez les méthodes suivantes :

  • Jetons de texte d'entrée : utilisez le tokenizer du SDK ou l'API countTokens.
  • Jetons d'entrée d'autres modalités : utilisez des estimations basées sur les hypothèses de la page des tarifs.
  • Charges de travail existantes : additionnez l'utilisation des jetons à partir des réponses générées dans un intervalle de temps spécifique.

Prenons l'exemple d'une charge de travail qui génère cinq vidéos 720p de 10 secondes et cinq vidéos 1080p de 10 secondes toutes les 30 secondes (10 requêtes au total). Supposons que chaque requête comporte 20 jetons de texte d'entrée, une image (1 120 jetons) et 100 jetons de raisonnement de réponse. Les entrées de l'estimateur GSU sont les suivantes :

  • Fréquence : 30 s
  • Nombre total de jetons de texte d'entrée : 20 × 10 (requêtes) = 200
  • Nombre total de jetons d'image : 1 120 × 10 (requêtes) = 11 200
  • Nombre total de jetons de raisonnement de sortie : 100 × 10 (requêtes) = 1 000
  • Nombre total de jetons vidéo de sortie : 10 s (durée) × 5 792 (jetons/s) × 5 vidéos (720p) + 10 s (durée) × 8 688 (jetons/s) × 5 vidéos (1080p) = 724 000
  • Estimation des GSU : 283 (pour gemini-omni-1.2-flash) ou 434 (pour gemini-omni-1.1-flash-preview)

Scénarios de haute résolution et de longue durée

Une seule requête volumineuse ne peut pas être répartie sur deux fenêtres d'application. Si une requête nécessite plus de ressources que ce que contient votre fenêtre d'application, elle est diffusée en tant que PayGo à chaque fois, quelle que soit la fréquence à laquelle vous l'envoyez et quelle que soit la quantité de quota de débit provisionné inutilisé dans les fenêtres suivantes.

Gemini Omni

Pour gemini-omni-1.2-flash, cela n'affecte que les vidéos 4K de 10 secondes ou plus. En 360p, 720p et 1080p, toutes les durées compatibles (jusqu'à 15 secondes) tiennent dans une seule fenêtre, quelle que soit la taille d'achat, tout comme les vidéos 4K de 9 secondes ou moins (en supposant que les jetons d'entrée et de raisonnement standards soient inférieurs à 118 000 jetons).

Si vous générez des vidéos 4K de 10 secondes ou plus, comparez le résultat de l'outil d'estimation au tableau suivant et commandez le nombre le plus élevé :

Vidéo 4K la plus longue 1 à 9 GSU 10 à 19 GSU 20 à 39 GSU 40 à 66 GSU 67 GSU ou plus
10 secondes 2 11 22 43 71
11 secondes 2 12 24 47 78
12 secondes 2 13 26 51 85
13 secondes 2 14 28 55 92
14 secondes 2 15 30 59 98
15 secondes 2 16 32 63 105

Lisez la colonne correspondant à votre nombre estimé de GSU. Par exemple, supposons que vous générez six vidéos 4K de 15 secondes toutes les 2 000 secondes. L'estimateur renvoie 10 GSU, ce qui est suffisant pour un débit moyen. Cependant, à 10 GSU, la fenêtre d'application est de 200 secondes et aucune de vos vidéos de 15 secondes ne tient dans une seule fenêtre. Espacer davantage les six requêtes ne résout pas ce problème. Pour traiter correctement les requêtes sans débordement PayGo, commandez 16 GSU.

Ces chiffres supposent des jetons de requête et de raisonnement standards, tels qu'une requête textuelle ou d'image, ou une vidéo de 10 secondes maximum à modifier (si vous modifiez une vidéo d'entrée de 15 secondes à plus de 40 GSU, ajoutez 1 GSU dans les colonnes "40-66 GSU" et "67+ GSU").

Gemini Omni

Pour gemini-omni-1.1-flash-preview, cela n'affecte que les vidéos 4K d'une durée de sept secondes ou plus. À 360p, 720p et 1080p, toutes les durées compatibles tiennent dans une seule fenêtre, quelle que soit la taille d'achat, tout comme les vidéos 4K de six secondes ou moins (en supposant des jetons d'entrée et de raisonnement typiques inférieurs à 88 000 jetons).

Si vous générez des vidéos 4K de sept secondes ou plus, comparez le résultat de l'outil d'estimation au tableau suivant et commandez le nombre le plus élevé :

Vidéo 4K la plus longue 1 à 9 GSU 10 à 19 GSU 20 à 39 GSU 40 à 66 GSU Plus de 67 GSU
7 secondes 2 12 23 46 76
8 secondes 2 13 26 52 87
9 secondes 2 15 29 58 97
10 secondes 2 17 33 65 107

Lisez la colonne correspondant à votre nombre estimé de GSU. Par exemple, supposons que vous génériez six vidéos 4K de 10 secondes toutes les 2 000 secondes. L'estimateur renvoie 10 GSU, ce qui est suffisant pour un débit moyen. Cependant, à 10 GSU, la fenêtre d'application est de 200 secondes et aucune de vos vidéos de 10 secondes ne tient dans une seule fenêtre. Espacer davantage les six requêtes ne résout pas ce problème. Pour traiter correctement les requêtes sans dépassement PayGo, commandez 17 USG.

Ces chiffres supposent des jetons de requête et de raisonnement standards, tels qu'une requête textuelle ou d'image, ou une vidéo de 10 secondes maximum à modifier.

Étapes suivantes