Modelli Llama completamente gestiti


I modelli Llama sono disponibili per l'utilizzo come API gestite e modelli con deployment autonomo su Gemini Enterprise Agent Platform. Puoi riprodurre in streaming le risposte per ridurre la percezione della latenza da parte dell'utente finale. Una risposta in streaming utilizza gli eventi inviati dal server (SSE) per trasmettere la risposta in modo incrementale.

Modelli Llama gestiti

I modelli Llama offrono modelli serverless completamente gestiti come API. Per utilizzare un modello Llama su Agent Platform, invia una richiesta direttamente all'endpoint API Agent Platform. Quando utilizzi i modelli Llama come API gestita, non è necessario eseguire il provisioning o la gestione dell'infrastruttura.

I seguenti modelli sono disponibili da Llama per l'utilizzo in Gemini Enterprise Agent Platform. Per accedere a un modello Llama, vai alla relativa scheda del modello in Model Garden.

Llama 4 Maverick 17B-128E Il modello Llama 4 multimodale più grande e potente (MoE 17B attivo/400B totale), ottimizzato per la programmazione, il ragionamento profondo, la chat sofisticata e la comprensione delle immagini ad alta precisione.
Llama 4 Scout 17B-16E Modello MoE ad alta efficienza (17 miliardi di parametri attivi/109 miliardi di parametri totali) che offre risultati all'avanguardia per il recupero di contesti lunghi, il riassunto di documenti e il ragionamento su codebase di grandi dimensioni.

Utilizza i modelli Llama

Per i modelli gestiti, puoi utilizzare i comandi curl per inviare richieste all'endpoint di Gemini Enterprise Agent Platform utilizzando i seguenti nomi di modelli. Per scoprire come effettuare chiamate in streaming e non in streaming ai modelli Llama, consulta Chiama le API dei modelli open source.

Per utilizzare un modello Gemini Enterprise Agent Platform con deployment autonomo:

  1. Vai alla console Model Garden.
  2. Trova il modello Gemini Enterprise Agent Platform pertinente.
  3. Fai clic su Abilita e compila il modulo fornito per ottenere le licenze per uso commerciale necessarie.

Per saperne di più sul deployment e sull'utilizzo dei modelli partner, consulta Esegui il deployment di un modello partner e invia richieste di previsione.

Passaggi successivi

Scopri come utilizzare i modelli Llama.