Code d'erreur 429

Si le nombre de vos requêtes dépasse la capacité allouée pour les traiter, le code d'erreur 429 est renvoyé. Le tableau suivant affiche le message d'erreur généré par chaque type de framework de quota :

Framework de quota Message
Paiement à l'usage Resource exhausted, please try again later.
Débit provisionné Too many requests. Exceeded the Provisioned Throughput.

Si vous disposez d'un abonnement de débit provisionné (DP), vous pouvez réserver un certain débit pour des modèles d'IA générative spécifiques. Si vous ne disposez pas d'un abonnement PT et que les ressources ne sont pas disponibles pour votre application, un code d'erreur 429 est renvoyé. Bien que vous ne disposiez pas de capacité réservée, vous pouvez relancer votre requête. Toutefois, la requête n'est pas comptabilisée dans votre taux d'erreur, comme indiqué dans votre contrat de niveau de service (SLA).

Pour les projets ayant acheté un débit provisionné, Vertex AI mesure le débit d'un projet et réserve la capacité de débit achetée pour l'utilisation réelle du projet.

Pour le PT standard, lorsque vous utilisez moins que le montant acheté, les erreurs qui pourraient être 429 sont renvoyées en tant qu'erreurs 5XX et sont comptabilisées dans le taux d'erreur de l'accord de niveau de service. Pour les PT à zone unique, lorsque vous utilisez moins que la quantité achetée, les erreurs 429 liées à la capacité sont traitées comme des erreurs 5XX, mais ne sont pas comptabilisées dans le taux d'erreur du SLA. Lorsque vous dépassez le montant acheté, les demandes supplémentaires sont traitées à la demande selon le paiement à l'usage.

Paiement à l'usage

Dans le framework de quota de paiement à l'usage, vous disposez des options suivantes pour résoudre les erreurs 429 :

  • Utilisez le point de terminaison mondial au lieu d'un point de terminaison régional chaque fois que possible.
  • Implémentez une stratégie de nouvelle tentative à l'aide d'un intervalle exponentiel tronqué entre les tentatives.
  • Si votre modèle utilise des quotas, vous pouvez envoyer une demande d'augmentation de quota (DAQ). Si votre modèle utilise le paiement à l'usage standard, il peut être utile de lisser le trafic et de réduire les pics importants.
  • Abonnez-vous au débit provisionné pour un niveau de service plus cohérent. Pour en savoir plus, consultez PT.

PT

Pour corriger l'erreur 429 générée par le débit provisionné, procédez comme suit :

  • Utilisez l'exemple de comportement par défaut, qui ne définit pas d'en-tête dans les requêtes de prédiction. Tous les dépassements sont traités à la demande et facturés selon le paiement à l'usage.
  • Augmentez le nombre de GSU dans votre abonnement PT.

Étapes suivantes