Auf dieser Seite wird erläutert, was Provisioned Throughput ist und wann Sie Provisioned Throughput verwenden sollten.
Einführung in den bereitgestellten Durchsatz
Bereitgestellter Durchsatz ist ein Abonnement mit fester Gebühr und fester Laufzeit, das in verschiedenen Laufzeiten verfügbar ist und Durchsatz für unterstützte generative KI-Modelle in Vertex AI reserviert. Wenn Sie Durchsatz reservieren möchten, müssen Sie das Modell und die verfügbaren Standorte angeben, an denen das Modell ausgeführt wird.
Wann sollte Provisioned Throughput verwendet werden?
Wenn einer der folgenden Punkte auf Ihren Anwendungsfall zutrifft, sollten Sie Provisioned Throughput verwenden:
- Sie entwickeln Produktionsanwendungen auf Basis generativer KI in Echtzeit, z. B. Chatbots und Agenten.
- Für Ihre kritischen Arbeitslasten ist durchgehend ein hoher Durchsatz erforderlich. Die Messung des Durchsatzes hängt vom Modell ab.
- Sie möchten Nutzern Ihrer Anwendungen eine konsistente und vorhersehbare Erfahrung bieten.
- Sie möchten deterministische Kosten für generative KI, indem Sie einen festen monatlichen oder wöchentlichen Preis bezahlen und Überschreitungen kontrollieren.
Bereitgestellter Durchsatz ist eine von mehreren Möglichkeiten, Ihre Modelle für generative KI zu verwenden. Informationen zu allen Nutzungsoptionen finden Sie unter Nutzungsoptionen.
Nächste Schritte
- Unterstützte Modelle mit bereitgestelltem Durchsatz.