Panoramica dei modelli con deployment automatico

Model Garden ti consente di eseguire l'autodistribuzione e l'hosting di modelli aperti, partner e personalizzati su Gemini Enterprise Agent Platform. A differenza delle offerte di model-as-a-service (MaaS), che sono serverless e non richiedono il deployment manuale, i modelli di cui è stato eseguito il deployment autonomo vengono eseguiti in modo sicuro all'interno del tuo progetto Google Cloud e della tua rete VPC, offrendoti il controllo completo sull'ambiente di deployment.

Modelli aperti con deployment autonomo

I modelli open forniscono funzionalità preaddestrate per varie attività di AI, inclusi i modelli Gemma che eccellono nell'elaborazione multimodale. Questi modelli sono disponibili senza costi e puoi pubblicare i loro output a condizione che rispetti i termini di licenza. Gemini Enterprise Agent Platform offre modelli open weight e open source.

Quando utilizzi un modello open con Gemini Enterprise Agent Platform, usi Gemini Enterprise Agent Platform per la tua infrastruttura. Puoi anche utilizzare modelli open con altri prodotti di infrastruttura, come PyTorch o Jax.

Modelli con pesi aperti

Molti modelli aperti sono considerati modelli linguistici di grandi dimensioni (LLM) open weight. I modelli open weight offrono maggiore trasparenza rispetto ai modelli non open weight. I pesi di un modello sono i valori numerici memorizzati nell'architettura della rete neurale del modello che rappresentano i pattern e le relazioni appresi dai dati su cui viene addestrato un modello. I parametri o i pesi preaddestrati dei modelli open weight vengono rilasciati. Puoi utilizzare un modello open weight per l'inferenza e l'ottimizzazione. Dettagli come il set di dati originale, l'architettura del modello e il codice di addestramento non vengono sempre forniti.

Modelli open source

I modelli open si differenziano dai modelli di AI open source. Mentre i modelli open spesso espongono i pesi e la rappresentazione numerica principale dei pattern appresi, non forniscono necessariamente il codice sorgente completo o i dettagli dell'addestramento. I modelli open source, d'altra parte, in genere rendono disponibile pubblicamente l'intero codebase, inclusi i dati e gli script di addestramento. La fornitura dei pesi offre un livello di trasparenza del modello di AI, consentendoti di comprenderne le funzionalità senza doverlo creare autonomamente.

Modelli di partner con deployment autonomo

Model Garden ti aiuta ad acquistare e gestire le licenze dei modelli dei partner che offrono modelli proprietari come opzione di autodeploy. Puoi accedere a questi modelli tramite Cloud Marketplace. Dopo aver ottenuto una licenza, puoi scegliere di eseguire il deployment su hardware on demand o utilizzare le prenotazioni e gli sconti per impegno di utilizzo di Compute Engine esistenti per gestire i costi. Con i modelli dei partner con autodeploy, ti viene addebitato sia l'utilizzo del modello sia l'infrastruttura della Gemini Enterprise Agent Platform sottostante consumata.

Per richiedere l'utilizzo di un modello di partner con deployment autonomo:

  1. Vai alla console Model Garden.
  2. Trova il modello di partner pertinente.
  3. Fai clic su Attiva e compila il modulo fornito per ottenere le licenze di utilizzo commerciale necessarie.

Per saperne di più sul deployment e sull'utilizzo dei modelli partner, consulta Eseguire il deployment di un modello partner ed effettuare richieste di previsione.

Considerazioni

Quando utilizzi modelli di partner con deployment autonomo, tieni presente quanto segue:

  • Esportazione dei pesi:a differenza di alcuni modelli aperti, non puoi esportare i pesi dei modelli di partner con deployment autonomo.
  • Tipo di endpoint:per questi deployment è supportato solo il tipo di endpoint pubblico condiviso.

Scopri di più sui modelli con deployment automatico in Gemini Enterprise Agent Platform