Fehlercode 429

Wenn die Anzahl Ihrer Anfragen die für die Verarbeitung von Anfragen zugewiesene Kapazität übersteigt, wird der Fehlercode 429 zurückgegeben. In der folgenden Tabelle wird die Fehlermeldung angezeigt, die von den einzelnen Kontingent-Frameworks generiert wird:

Kontingent-Framework Nachricht
Pay-as-you-go Resource exhausted, please try again later.
Bereitgestellter Durchsatz Too many requests. Exceeded the Provisioned Throughput.

Mit einem Abo für bereitgestellten Durchsatz (Provisioned Throughput, PT) können Sie eine bestimmte Menge an Durchsatz für bestimmte generative KI-Modelle reservieren. Wenn Sie kein PT-Abo haben und für Ihre Anwendung keine Ressourcen verfügbar sind, wird der Fehlercode 429 zurückgegeben. Obwohl Sie keine reservierte Kapazität haben, können Sie Ihre Anfrage noch einmal senden. Die Anfrage wird jedoch nicht auf Ihre Fehlerrate angerechnet, wie in Ihrem Service Level Agreement (SLA) beschrieben.

Bei Projekten, für die PT erworben wurde, misst die Gemini Enterprise Agent Platform den Durchsatz eines Projekts und reserviert die gekaufte Menge an Durchsatz für die tatsächliche Nutzung des Projekts.

Wenn Sie bei Standard-PT weniger als die gekaufte Menge nutzen, werden Fehler, die andernfalls 429 wären, als 5XX zurückgegeben und auf die SLA-Fehlerrate angerechnet. Wenn Sie bei Single Zone-PT weniger als die gekaufte Menge nutzen, werden kapazitätsbezogene 429-Fehler als 5XX behandelt, aber nicht auf die SLA-Fehlerrate angerechnet. Wenn Sie die gekaufte Menge überschreiten, werden die zusätzlichen Anfragen nach Bedarf als „Pay as you go“ verarbeitet.

Pay-as-you-go

Im Kontingent-Framework „Pay as you go“ haben Sie die folgenden Möglichkeiten, 429-Fehler zu beheben:

  • Verwenden Sie nach Möglichkeit den globalen Endpunkt anstelle eines regionalen Endpunkts.
  • Implementieren Sie eine Wiederholungsstrategie mit abgeschnittenem exponentiellen Backoff.
  • Wenn Ihr Modell Kontingente verwendet, können Sie eine Anfrage zur Kontingenterhöhung einreichen. Wenn Ihr Modell „Pay as you go“ verwendet, kann es hilfreich sein, den Traffic zu glätten und große Spitzen zu reduzieren.
  • Abonnieren Sie PT, um ein einheitlicheres Serviceniveau zu erhalten. Weitere Informationen finden Sie unter PT.

PT

So beheben Sie den von PT generierten Fehler 429:

  • Verwenden Sie das Beispiel für das Standardverhalten, bei dem in Vorhersageanfragen kein Header festgelegt wird. Alle Überschreitungen werden nach Bedarf verarbeitet und als „Pay as you go“ in Rechnung gestellt.
  • Erhöhen Sie die Anzahl der GSUs in Ihrem PT-Abo.

Nächste Schritte