Durchsatzkontingent

Vertex AI bietet verschiedene Möglichkeiten, den Durchsatz für generative KI-Modelle zu verwalten, damit Sie Kosten und Leistung in Einklang bringen können. In diesem Dokument werden die verfügbaren Optionen beschrieben: ein flexibles Pay-as-you-go-Modell und reservierte Kapazität für einen vorhersagbaren Durchsatz.

Kontingente für verwaltete Modelle

Vertex AI bietet zwei Möglichkeiten, den Durchsatz für die verwalteten generativen KI-Modelle in Vertex AI zu verwalten. So können Sie Kosten, Flexibilität und Leistung in Einklang bringen. Sie können entweder ein flexibles Pay-as-you-go-Modell verwenden oder eine bestimmte Menge an Durchsatz zu einem festen Preis reservieren.

Pay as you go

Für das standardmäßige Pay-as-you-go-Modell verwendet Vertex AI Dynamic Shared Quota, für das kein vordefiniertes Nutzungslimit gilt. Stattdessen erhalten Sie Zugriff auf einen großen, freigegebenen Ressourcenpool, der dynamisch auf Grundlage der Verfügbarkeit und Nachfrage in Echtzeit zugewiesen wird.

Mit diesem Modell können Ihre Arbeitslasten mehr Ressourcen nutzen, wenn diese verfügbar sind. Wenn Sie den Fehler resource exhausted (429) erhalten, bedeutet das, dass die gemeinsame Nutzung des Pools vorübergehend von vielen Nutzern gleichzeitig stark beansprucht wird. Sie sollten Wiederholungsmechanismen in Ihrer Anwendung implementieren, da sich die Verfügbarkeit schnell ändern kann.

Reservierte Kapazität

Für kritische Produktionsanwendungen, die eine konsistente Leistung und vorhersehbare Kosten erfordern, können Sie bereitgestellten Durchsatz verwenden. Bereitgestellter Durchsatz ist ein Abo mit festen Kosten, das eine bestimmte Menge an Durchsatz für Ihre Modelle an einem ausgewählten Standort reserviert.

Kontingente für Dienste mit generativer KI

Vertex AI bietet eine Reihe von Diensten für generative KI, z. B. Modellabstimmung, Modellbewertung, Batchvorhersage, Einbettungen und RAG. Weitere Informationen zu den Kontingenten für diese Dienste finden Sie unter Kontingente und Systemlimits für generative KI in Vertex AI.

Nächste Schritte