Panoramica dei modelli di cui è stato eseguito il deployment

Model Garden ti consente di eseguire l'autodistribuzione e pubblicare modelli aperti, partner e personalizzati su Vertex AI. A differenza delle offerte di modello come servizio (MaaS), che sono serverless e non richiedono il deployment manuale, i modelli di cui è stato eseguito il deployment autonomo vengono eseguiti in modo sicuro all'interno del tuo progetto Google Cloud e della tua rete VPC, offrendoti il controllo completo sull'ambiente di deployment.

Modelli aperti con deployment autonomo

I modelli aperti forniscono funzionalità preaddestrate per varie attività di AI, inclusi i modelli Gemini, che eccellono nell'elaborazione multimodale. Questi modelli sono disponibili gratuitamente per l'uso e puoi pubblicare i loro output a condizione che rispetti i termini di licenza. Vertex AI offre modelli open weight e open source.

Quando utilizzi un modello open con Vertex AI, usi Vertex AI per la tua infrastruttura. Puoi anche utilizzare i modelli open con altri prodotti di infrastruttura, come PyTorch o Jax.

Modelli con pesi aperti

Molti modelli aperti sono considerati modelli linguistici di grandi dimensioni (LLM) con pesi aperti. I modelli con pesi aperti offrono maggiore trasparenza rispetto ai modelli senza pesi aperti. I pesi di un modello sono i valori numerici archiviati nell'architettura della rete neurale del modello che rappresentano i pattern e le relazioni appresi dai dati su cui viene addestrato un modello. I parametri o i pesi preaddestrati dei modelli open weight vengono rilasciati. Puoi utilizzare un modello con pesi aperti per l'inferenza e l'ottimizzazione. Dettagli come il set di dati originale, l'architettura del modello e il codice di addestramento non vengono sempre forniti.

Modelli open source

I modelli aperti differiscono dai modelli di AI open source. Sebbene i modelli open espongano spesso i pesi e la rappresentazione numerica principale dei pattern appresi, non forniscono necessariamente il codice sorgente completo o i dettagli dell'addestramento. I modelli open source, invece, in genere rendono pubblicamente disponibile l'intero codebase, inclusi script e dati di addestramento. Fornire i pesi offre un livello di trasparenza del modello di AI, consentendoti di comprendere le funzionalità del modello senza doverlo creare autonomamente.

Modelli di partner con deployment autonomo

Model Garden ti aiuta ad acquistare e gestire le licenze dei modelli dei partner che offrono modelli proprietari come opzione di deployment autonomo. Puoi accedere a questi modelli tramite Cloud Marketplace. Una volta ottenuta una licenza, puoi scegliere di eseguire il deployment su hardware on demand o utilizzare le prenotazioni di Compute Engine e gli sconti per impegno di utilizzo esistenti per gestire i costi. Con i modelli partner di cui è stato eseguito il deployment autonomo, ti vengono addebitati sia l'utilizzo del modello sia l'infrastruttura Vertex AI sottostante consumata.

Per richiedere l'utilizzo di un modello di partner con deployment autonomo:

  1. Vai alla console Model Garden.
  2. Trova il modello di partner pertinente.
  3. Fai clic su Attiva e compila il modulo fornito per ottenere le licenze per uso commerciale necessarie.

Per saperne di più sul deployment e sull'utilizzo dei modelli partner, consulta Eseguire il deployment di un modello partner ed effettuare richieste di previsione.

Considerazioni

Quando utilizzi modelli di partner con deployment autonomo, tieni presente quanto segue:

  • Esportazione dei pesi:a differenza di alcuni modelli aperti, non puoi esportare i pesi dei modelli di partner con deployment autonomo.
  • Tipo di endpoint:per questi deployment è supportato solo il tipo di endpoint pubblico condiviso.

Scopri di più sui modelli con deployment automatico in Vertex AI