Ein dedizierter öffentlicher Endpunkt ist ein öffentlicher Endpunkt für die Online-Inferenz. Es bietet folgende Vorteile:
- Dediziertes Netzwerk: Wenn Sie eine Inferenzanfrage an einen dedizierten öffentlichen Endpunkt senden, wird sie vom Traffic anderer Nutzer isoliert.
- Optimierte Netzwerklatenz
- Unterstützung größerer Nutzlasten: Bis zu 10 MB.
- Längere Zeitüberschreitungen bei Anfragen: Konfigurierbar bis zu 1 Stunde.
- Bereit für generative KI: Streaming und gRPC werden unterstützt. Das Inferenz-Zeitlimit kann auf bis zu 1 Stunde konfiguriert werden.
Aus diesen Gründen werden dedizierte öffentliche Endpunkte als Best Practice für die Bereitstellung von Online-Inferenzen der Gemini Enterprise Agent Platform empfohlen.
Weitere Informationen finden Sie unter Endpunkttyp auswählen.
Dedizierten öffentlichen Endpunkt erstellen und Modell darauf bereitstellen
Sie können einen dedizierten Endpunkt erstellen und ein Modell darauf bereitstellen, indem Sie dieGoogle Cloud Console verwenden. Weitere Informationen finden Sie unter Modell mit der Google Cloud Console bereitstellen.
Sie können auch einen dedizierten öffentlichen Endpunkt erstellen und ein Modell darauf bereitstellen, indem Sie die Gemini Enterprise API so verwenden:
- Dedizierten öffentlichen Endpunkt erstellen Die Konfiguration des Inferenz-Zeitlimits und der Einstellungen für das Anfrage-/Antwort-Logging wird beim Erstellen des Endpunkts unterstützt.
- Modell mithilfe der Gemini Enterprise API bereitstellen
Online-Inferenzen von einem dedizierten öffentlichen Endpunkt abrufen
Dedizierte Endpunkte unterstützen sowohl HTTP- als auch gRPC-Kommunikationsprotokolle. Bei gRPC-Anfragen muss der Header „x-vertex-ai-endpoint-id“ enthalten sein, damit der Endpunkt richtig identifiziert werden kann. Die folgenden APIs werden unterstützt:
- Vorhersagen
- RawPredict
- StreamRawPredict
- Chatvervollständigung (nur Gemini Enterprise Agent Platform Model Garden)
Mit dem Agent Platform SDK für Python können Sie Online-Inferenzanfragen an einen dedizierten öffentlichen Endpunkt senden. Weitere Informationen finden Sie unter Online-Inferenzanfrage an einen dedizierten öffentlichen Endpunkt senden.
Tutorial
Beschränkungen
- Die Bereitstellung von abgestimmten Gemini-Modellen wird nicht unterstützt.
- VPC Service Controls wird nicht unterstützt. Verwenden Sie stattdessen einen Private Service Connect-Endpunkt.
Nächste Schritte
- Endpunkttypen für die Online-Inferenz auf der Gemini Enterprise Agent Platform