Un endpoint pubblico dedicato è un endpoint pubblico per l'inferenza online. Offre i seguenti vantaggi:
- Networking dedicato: quando invii una richiesta di inferenza a un endpoint pubblico dedicato, questa viene isolata dal traffico di altri utenti.
- Latenza di rete ottimizzata
- Supporto di payload più grandi: fino a 10 MB.
- Timeout delle richieste più lunghi: configurabili fino a 1 ora.
- Predisposizione per l'AI generativa: sono supportati lo streaming e gRPC. Il timeout dell'inferenza è configurabile fino a 1 ora.
Per questi motivi, gli endpoint pubblici dedicati sono consigliati come best practice per la gestione delle inferenze online di Gemini Enterprise Agent Platform.
Per saperne di più, consulta Scegli un tipo di endpoint.
Crea un endpoint pubblico dedicato ed esegui il deployment di un modello
Puoi creare un endpoint dedicato ed eseguire il deployment di un modello utilizzando la consoleGoogle Cloud . Per maggiori dettagli, consulta Esegui il deployment di un modello utilizzando la console Google Cloud .
Puoi anche creare un endpoint pubblico dedicato ed eseguire il deployment di un modello utilizzando l'API Gemini Enterprise come segue:
- Crea un endpoint pubblico dedicato. La configurazione delle impostazioni di timeout dell'inferenza e di logging di richieste e risposte è supportata al momento della creazione dell'endpoint.
- Esegui il deployment del modello utilizzando l'API Gemini Enterprise.
Ottieni inferenze online da un endpoint pubblico dedicato
Gli endpoint dedicati supportano i protocolli di comunicazione HTTP e gRPC. Per le richieste gRPC, l'intestazione x-vertex-ai-endpoint-id deve essere inclusa per una corretta identificazione dell'endpoint. Sono supportate le seguenti API:
- Previsione
- RawPredict
- StreamRawPredict
- Completamento della chat (solo Gemini Enterprise Agent Platform Model Garden)
Puoi inviare richieste di inferenza online a un endpoint pubblico dedicato utilizzando l'SDK Agent Platform per Python. Per maggiori dettagli, consulta Invia una richiesta di inferenza online a un endpoint pubblico dedicato.
Tutorial
Limitazioni
- Il deployment dei modelli Gemini ottimizzati non è supportato.
- I Controlli di servizio VPC non sono supportati. Utilizza invece un endpoint Private Service Connect.
Passaggi successivi
- Scopri di più sui tipi di endpoint di inferenza online di Gemini Enterprise Agent Platform.