Gemini Enterprise Agent Platform propose plusieurs options pour obtenir et utiliser des ressources de calcul lors de l'utilisation de modèles génératifs. Ces options de consommation sont conçues pour répondre aux besoins de n'importe quelle charge de travail, du prototypage initial aux déploiements en production. Il est essentiel de sélectionner la bonne option pour trouver un équilibre entre performances, fiabilité et coût.
Ce guide détaille les options de consommation disponibles, vous aide à les adapter aux exigences spécifiques de vos charges de travail et fournit des stratégies pour optimiser la latence, la disponibilité et les coûts.
Options de consommation
Gemini Enterprise Agent Platform propose cinq options de consommation adaptées à différents modèles de trafic et besoins métier :
| Option d'utilisation | Description | Idéal pour les cas suivants | Tarifs | |
|---|---|---|---|---|
| Débit provisionné | Fournit un débit garanti pour une période d'engagement | Charges de travail critiques, stables et toujours actives pour lesquelles un SLA est nécessaire | Basé sur l'engagement (disponible pour des forfaits d'une semaine, d'un mois, de trois mois et d'un an) | |
| PayGo | Standard | Option flexible de paiement à l'utilisation sans engagement initial | Option par défaut pour les cas d'utilisation quotidiens, avec une flexibilité pour les demandes de trafic variables | Par jeton (tarif standard) |
| Priorité | Offre une plus grande fiabilité grâce au traitement prioritaire, tout en conservant la flexibilité du paiement à l'usage | Charges de travail importantes qui nécessitent une fiabilité et des limites plus élevées que le paiement à l'usage standard | Par jeton (tarif premium) | |
| Flex | Option économique pour les charges de travail tolérantes à la latence | Tâches pouvant tolérer des temps de réponse plus lents et une limitation plus élevée en échange d'un prix inférieur | Par jeton (prix réduit) | |
| Inférence par lot | Optimisation des coûts pour le traitement asynchrone de volumes élevés | Jobs à grande échelle dont les résultats sont nécessaires dans un délai plus long | Par jeton (prix réduit) | |
Pour en savoir plus sur les tarifs, consultez la page des tarifs.
Choisissez l'option adaptée à votre charge de travail
Les sections suivantes vous aident à sélectionner l'option de consommation la plus adaptée en fonction des exigences et des caractéristiques spécifiques de votre charge de travail.
Charges de travail sensibles à la latence
Les organisations doivent souvent faire des compromis entre fiabilité et coût lorsqu'elles choisissent les modèles de consommation appropriés. Bien que le débit provisionné offre la plus grande fiabilité, il peut entraîner une sous-utilisation si votre trafic présente des pics. De même, PayGo peut offrir une flexibilité maximale, mais ne peut pas garantir une qualité de service. La section suivante décrit comment combiner au mieux ces mécanismes pour obtenir un résultat optimal :
- Couvrez le trafic de référence avec le débit provisionné. Cela améliore l'utilisation de votre capacité réservée, ce qui la rend économique tout en offrant une fiabilité garantie pour l'essentiel de votre trafic. Pour ce faire, procédez comme suit :
- Analysez vos tendances de trafic à la minute ou à la seconde.
- Déterminez la quantité de trafic à couvrir par le débit provisionné. Elle doit couvrir votre trafic prioritaire.
- Gérer le trafic de débordement avec le paiement à l'usage Standard ou Prioritaire : par défaut, le trafic qui dépasse votre référence de débit provisionné (appelé trafic de débordement) est géré par le paiement à l'usage Standard. Si vous observez une variance plus élevée des performances pour les requêtes au-dessus de la limite de TPM, vous pouvez l'atténuer grâce à l'optimisation. Priority PayGo vous permet d'obtenir des performances fiables à un prix premium, sous réserve de la limite de montée en charge.
Charges de travail asynchrones à volume élevé
Si vous avez un grand nombre de requêtes en attente (par exemple, si vous avez des millions de documents à résumer) et que la latence immédiate n'est pas un problème, vous devez envoyer un job par lot en formulant des requêtes dans un fichier JSON ou une feuille de calcul. Cela est utile pour des cas d'utilisation tels que l'étiquetage d'images, le traitement de documents par lot ou l'analyse des sentiments sur des données historiques.
Il s'agit de l'option la plus économique pour l'inférence à volume élevé.
Charges de travail tolérantes à la latence et économiques
Si vous devez traiter des requêtes pour lesquelles l'application peut attendre une réponse, mais que la réduction des coûts est une priorité, vous devez utiliser le paiement à l'usage Flex. Le paiement à l'usage Flex offre une tarification par jeton réduite pour les requêtes qui ne nécessitent pas d'exécution immédiate. Cette option est utile pour des cas d'utilisation tels que l'analyse hors connexion, l'annotation de données, la création de catalogues de produits ou la traduction.
Stratégies d'optimisation
Une fois que vous avez sélectionné votre modèle de consommation, utilisez les stratégies suivantes pour optimiser davantage la latence, la disponibilité et les coûts.
Latence
Lorsque vous créez des applications interactives, la latence joue un rôle crucial dans l'expérience utilisateur. La latence fait référence au temps nécessaire à un modèle pour traiter votre prompt d'entrée et générer une réponse de sortie correspondante. Lorsque vous examinez la latence avec un modèle, tenez compte des points suivants :
- Délai avant le premier jeton (TTFT) : temps nécessaire au modèle pour produire le premier jeton de la réponse après avoir reçu le prompt. Le TTFT est particulièrement pertinent pour les applications de streaming, où il est crucial de fournir un retour immédiat.
- Délai d'émission du dernier jeton (TTLT) : temps global nécessaire au modèle pour traiter le prompt et générer la réponse.
Pour optimiser la latence :
- Sélectionnez le modèle adapté à votre cas d'utilisation : Gemini Enterprise Agent Platform propose une gamme variée de modèles avec différentes capacités et caractéristiques de performances. Évaluez soigneusement vos exigences en termes de vitesse et de qualité de sortie pour choisir le modèle qui correspond le mieux à votre cas d'utilisation. Pour obtenir la liste des modèles disponibles, consultez Model Garden sur Gemini Enterprise Agent Platform.
- Réduisez la taille des requêtes : définissez des requêtes claires et concises qui transmettent efficacement votre intent sans détails inutiles ni redondances. Des requêtes plus courtes réduisent le délai avant l'obtention du premier jeton.
- Limiter les jetons de sortie :
- Utilisez des instructions système pour contrôler la longueur de la réponse. Demandez au modèle de fournir des réponses concises ou de limiter la sortie à un nombre spécifique de phrases ou de paragraphes. Cette stratégie peut réduire le délai avant l'obtention du dernier jeton.
- Limitez la sortie en définissant une limite. Utilisez le paramètre
max_output_tokenspour définir une limite maximale pour la longueur de la réponse générée, afin d'éviter une sortie trop longue. La latence est directement proportionnelle au nombre de jetons générés. Générer moins de jetons permet d'obtenir des réponses plus rapides. Toutefois, soyez prudent, car cela pourrait couper les réponses au milieu d'une phrase.
- Utiliser le débit provisionné : pour des performances optimales, utilisez le débit provisionné. Cela élimine la variabilité causée par les "démarrages à froid" ou la mise en file d'attente qui peuvent parfois se produire dans les modèles PayGo en cas de trafic élevé.
- Limiter le budget de réflexion : si vous utilisez un modèle compatible avec la réflexion, vous pouvez réduire la latence en réduisant le budget de réflexion. En limitant les jetons de raisonnement interne que le modèle génère avant de répondre, vous réduisez le temps de traitement global. Toutefois, vous devez vous assurer que le budget reste suffisant pour la complexité de la tâche afin d'éviter de dégrader la qualité des réponses.
- Utilisez le streaming pour vos réponses : le streaming améliore la réactivité perçue et crée une expérience utilisateur plus interactive. Avec le streaming, le modèle commence à envoyer sa réponse avant de générer la sortie complète. Ainsi, les résultats sont traités en temps réel. Vous pouvez ainsi mettre à jour votre interface utilisateur immédiatement et effectuer d'autres tâches simultanées.
Disponibilité
Pour optimiser la disponibilité :
- Implémentez une logique de nouvelle tentative : implémentez un intervalle exponentiel entre les tentatives pour les erreurs 429, en particulier lorsque vous utilisez Standard PayGo.
- Utilisez une implémentation hybride : comme indiqué dans Choisir l'option adaptée à votre charge de travail, ne vous fiez pas uniquement à PayGo pour les applications de production critiques. La combinaison du débit provisionné et du paiement à l'usage offre la meilleure garantie contre l'épuisement des ressources (erreurs 429).
- Gérer votre quota de débit provisionné : surveillez régulièrement votre consommation de TPM et augmentez les GSU PT avant les événements de trafic prévus (comme les lancements de produits). Vous pouvez utiliser une règle d'alerte pour automatiser la surveillance.
- Utiliser le point de terminaison global : utilisez le point de terminaison global pour exploiter le pool de capacité global de Google afin de minimiser la limitation due aux contraintes de capacité régionales.
- Lissez votre trafic pour réduire les pics autant que possible : des taux de trafic PayGo (TPM) plus élevés ont tendance à être associés à des taux de limitation plus élevés.
- Déplacez le trafic vers les heures creuses : l'utilisation globale du modèle suit généralement un schéma diurne. Décaler votre charge de travail aux heures creuses ou aux week-ends peut améliorer considérablement la disponibilité.
Coût
Pour optimiser les coûts :
- Redimensionnez votre débit provisionné : en général, vous n'avez pas besoin de provisionner du débit pour couvrir les pics de demande. Le provisionnement pour les pics de demande réduit l'utilisation globale et augmente les coûts. Essayez de couvrir un centile spécifique de votre trafic en fonction de votre tolérance au risque, et laissez le paiement à l'usage standard et le paiement à l'usage prioritaire gérer le reste.
- Achetez du débit provisionné à plus long terme : un engagement de DP d'un an est proposé avec une remise de 26 % par rapport au DP d'un mois, ce qui permet de réaliser des économies importantes. Vous pouvez toujours modifier le modèle associé aux GSU de débit provisionné que vous avez achetées pour profiter des dernières fonctionnalités de nos modèles.
- Utilisez Flex PayGo : identifiez les parties de votre pipeline qui ne sont pas sensibles à la latence (par exemple, la synthèse en arrière-plan ou l'extraction de données) et déplacez-les vers Flex PayGo pour réduire les coûts d'environ 50 %.
- Utiliser le traitement par lot : pour les jobs asynchrones tels que le traitement de grands ensembles de données, le traitement par lot est nettement moins cher (50 %) que le traitement séquentiel des requêtes à l'aide de Standard PayGo.
- Utiliser la mise en cache du contexte : la mise en cache du contexte permet de réduire le coût et la latence des requêtes contenant du contenu répété. Augmentez les taux de succès de cache (hit) en plaçant les contenus volumineux et courants au début de votre requête, et en envoyant des requêtes avec un préfixe similaire dans un court laps de temps.
- Sélectionnez un modèle moins cher : si votre cas d'utilisation le permet, utilisez l'un de nos modèles plus petits, comme Flash-Lite, dont le prix par jeton est inférieur à celui de nos modèles complets et plus puissants.