Code d'erreur 429

Si le nombre de vos requêtes dépasse la capacité allouée pour les traiter, le code d'erreur 429 est renvoyé. Le tableau suivant affiche le message d'erreur généré par chaque type de framework de quota :

Framework de quota Message
Paiement à l'usage Resource exhausted, please try again later.
Débit provisionné Too many requests. Exceeded the Provisioned Throughput.

Si vous disposez d'un abonnement de débit provisionné, vous pouvez réserver un certain débit pour des modèles d'IA générative spécifiques. Si vous ne disposez pas d'un abonnement de débit provisionné et que les ressources ne sont pas disponibles pour votre application, un code d'erreur 429 est renvoyé. Bien que vous ne disposiez pas de capacité réservée, vous pouvez relancer votre requête. Toutefois, la requête n'est pas comptabilisée dans votre taux d'erreur, comme indiqué dans votre contrat de niveau de service (SLA).

Pour les projets ayant acheté un débit provisionné, Gemini Enterprise Agent Platform mesure le débit d'un projet et réserve la quantité de débit achetée pour l'utilisation réelle du projet.

Pour le débit provisionné standard, lorsque vous utilisez moins que la quantité achetée, les erreurs qui pourraient être 429 sont renvoyées en tant qu'erreurs 5XX et sont comptabilisées dans le taux d'erreur du contrat de niveau de service. Pour le débit provisionné à zone unique, lorsque vous utilisez moins que la quantité achetée, les erreurs 429 liées à la capacité sont traitées comme des erreurs 5XX, mais ne sont pas comptabilisées dans le taux d'erreur du contrat de niveau de service. Lorsque vous dépassez la quantité achetée, les requêtes supplémentaires sont traitées à la demande, selon le paiement à l'usage.

Pay-as-you-go

Dans le framework de quota de paiement à l'usage, vous disposez des options suivantes pour résoudre les erreurs 429 :

  • Utilisez le point de terminaison mondial au lieu d'un point de terminaison régional chaque fois que cela est possible.
  • Implémentez une stratégie de nouvelle tentative à l'aide d' un intervalle exponentiel tronqué entre les tentatives.
  • Si votre modèle utilise des quotas, vous pouvez envoyer une demande d'augmentation de quota (DAQ). Si votre modèle utilise le paiement à l'usage standard, il peut être utile de lisser le trafic et de réduire les pics importants.
  • Des erreurs 429 peuvent se produire en raison des limites d'accélération si l'utilisation de votre projet augmente fortement. Pour éviter d'atteindre les limites d'accélération, augmentez progressivement votre trafic et maintenez des schémas d'utilisation cohérents.
  • Abonnez-vous au débit provisionné pour un niveau de service plus cohérent. Pour en savoir plus, consultez la section Débit provisionné.

Débit provisionné

Pour corriger l'erreur 429 générée par le débit provisionné, procédez comme suit :

  • Utilisez l'exemple de comportement par défaut Default behavior example, qui ne définit pas d'en-tête header dans les requêtes de prédiction. Tous les dépassements sont traités à la demande et facturés selon le paiement à l'usage.
  • Augmentez le nombre de GSU dans votre abonnement de débit provisionné.

Étape suivante