Fehlercode 429

Wenn die Anzahl Ihrer Anfragen die für die Verarbeitung von Anfragen zugewiesene Kapazität übersteigt, wird der Fehlercode 429 zurückgegeben. In der folgenden Tabelle sehen Sie die Fehlermeldung, die von den einzelnen Kontingent-Frameworks generiert wird:

Kontingent-Framework Nachricht
Pay-as-you-go Resource exhausted, please try again later.
Bereitgestellter Durchsatz Too many requests. Exceeded the Provisioned Throughput.

Mit einem Abo für bereitgestellten Durchsatz können Sie eine bestimmte Menge an Durchsatz für bestimmte generative KI-Modelle reservieren. Wenn Sie kein Abo für bereitgestellten Durchsatz haben und keine Ressourcen für Ihre Anwendung verfügbar sind, wird der Fehlercode 429 zurückgegeben. Obwohl Sie keine reservierte Kapazität haben, können Sie Ihre Anfrage noch einmal senden. Die Anfrage wird jedoch nicht auf Ihre Fehlerrate angerechnet, wie in Ihrem Service Level Agreement (SLA) beschrieben.

Bei Projekten, für die bereitgestellter Durchsatz erworben wurde, misst die Gemini Enterprise Agent Platform den Durchsatz des Projekts und reserviert die gekaufte Menge an Durchsatz für die tatsächliche Nutzung des Projekts.

Wenn Sie bei Standard-bereitgestelltem Durchsatz weniger als die gekaufte Menge nutzen, werden Fehler, die andernfalls 429 wären, als 5XX zurückgegeben und auf die SLA-Fehlerrate angerechnet. Wenn Sie bei bereitgestelltem Durchsatz für eine einzelne Zone weniger als die gekaufte Menge nutzen, werden kapazitätsbezogene 429-Fehler als 5XX behandelt, aber nicht auf die SLA-Fehlerrate angerechnet. Wenn Sie die gekaufte Menge überschreiten, werden die zusätzlichen Anfragen On-Demand als „Pay as you go“ verarbeitet.

Pay-as-you-go

Beim Kontingent-Framework „Pay as you go“ haben Sie die folgenden Möglichkeiten, 429-Fehler zu beheben:

  • Verwenden Sie nach Möglichkeit den globalen Endpunkt anstelle eines regionalen Endpunkts.
  • Implementieren Sie eine Wiederholungsstrategie mit abgeschnittenem exponentiellen Backoff.
  • Wenn Ihr Modell Kontingente verwendet, können Sie eine Anfrage zur Kontingenterhöhung einreichen. Wenn Ihr Modell „Pay as you go“ verwendet, kann es hilfreich sein, den Traffic zu glätten und große Spitzen zu reduzieren.
  • Abonnieren Sie bereitgestellten Durchsatz, um ein konsistenteres Serviceniveau zu erhalten. Weitere Informationen finden Sie unter Bereitgestellter Durchsatz.

Bereitgestellter Durchsatz

So beheben Sie den Fehler 429, der durch bereitgestellten Durchsatz generiert wird:

  • Verwenden Sie das Beispiel für das Standardverhalten, bei dem in Vorhersageanfragen kein Header festgelegt wird. Alle Überschreitungen werden On-Demand verarbeitet und als „Pay as you go“ in Rechnung gestellt.
  • Erhöhen Sie die Anzahl der GSUs in Ihrem Abo für bereitgestellten Durchsatz.

Nächste Schritte