L'AI generativa si basa spesso su modelli di machine learning (ML) su larga scala preaddestrati su grandi quantità di dati. Questi modelli sono chiamati foundation model e fungono da base per varie attività. Esistono numerosi modi per personalizzare i foundation model utilizzando Agent Platform:
Ottimizzazione: l'ottimizzazione prevede di fornire a un modello un set di dati di addestramento di esempi specifici pertinenti all'attività downstream scelta.
- Ottimizzazione supervisionata: Questa tecnica utilizza esempi etichettati per ottimizzare un modello. Ogni esempio mostra l'output scelto per un determinato input durante l'inferenza. L'ottimizzazione supervisionata è efficace per le attività in cui l'output previsto non è eccessivamente complesso e può essere definito chiaramente, come classificazione, analisi del sentiment, estrazione delle entità, riepilogo di contenuti meno complessi e generazione di query specifiche del dominio. Puoi ottimizzare i tipi di dati di testo, immagine, audio e documento utilizzando l'apprendimento supervisionato.
- Ottimizzazione dell'apprendimento per rinforzo con feedback umano (RLHF): questo metodo è adatto quando l'output del modello selezionato è più complesso. L'ottimizzazione RLHF funziona bene per gli obiettivi che non sono facilmente differenziati tramite l'ottimizzazione supervisionata, come la risposta alle domande, il riepilogo di contenuti complessi e la generazione di contenuti creativi.
Distillazione: la distillazione spesso prevede l'addestramento di un modello "studente" più piccolo per imitare il comportamento di un modello "insegnante" più grande e più capace.
Addestramento del modello adattatore: prevede l'addestramento di modelli adattatori (o livelli) più piccoli che funzionano in combinazione con un foundation model per migliorare le prestazioni su attività specializzate. I parametri del foundation model originale vengono spesso mantenuti bloccati e durante l'addestramento vengono aggiornati solo i pesi dell'adattatore.
Grounding: sebbene non sia un metodo di addestramento, il grounding è un aspetto fondamentale per garantire l'affidabilità degli output dell'AI generativa. Il grounding prevede il collegamento dell'output del modello a fonti di informazioni verificabili, riducendo la probabilità di contenuti inventati. Spesso, ciò comporta la fornitura al modello dell'accesso a origini dati specifiche durante l'inferenza.