L'IA générative repose souvent sur des modèles de machine learning (ML) à grande échelle qui sont pré-entraînés sur de grandes quantités de données. Ces modèles sont appelés modèles de fondation et servent de base à diverses tâches. Il existe de nombreuses façons de personnaliser les modèles de fondation à l'aide de l'IA générative sur Gemini Enterprise Agent Platform :
Réglage : le réglage consiste à fournir à un modèle un ensemble de données d'entraînement contenant des exemples spécifiques pertinents pour la tâche en aval choisie.
- Réglage supervisé: Cette technique utilise des exemples étiquetés pour affiner un modèle. Chaque exemple illustre la sortie choisie pour une entrée donnée lors de l'inférence. Le réglage supervisé est efficace pour les tâches où la sortie attendue n'est pas trop complexe et peut être clairement définie, comme la classification, l'analyse des sentiments, l'extraction d'entités, la synthèse de contenu moins complexe et la génération de requêtes spécifiques à un domaine. Vous pouvez ajuster les types de données texte, image, audio et document à l'aide de l'apprentissage supervisé.
- Apprentissage automatique par renforcement qui utilise le feedback humain (RLHF) : cette méthode est adaptée lorsque la sortie du modèle sélectionné est plus complexe. Le réglage RLHF est efficace pour les objectifs qui ne sont pas facilement différenciés par le réglage supervisé, comme les systèmes de questions-réponses, la synthèse de contenu complexe et la génération de contenu créatif.
Distillation : la distillation consiste souvent à entraîner un modèle "élève" plus petit pour imiter le comportement d'un modèle "enseignant" plus grand et plus performant.
Entraînement du modèle d'adaptation : cela implique d'entraîner des modèles d'adaptation (ou des couches) plus petits qui fonctionnent conjointement avec un modèle de fondation pour améliorer les performances sur des tâches spécialisées. Les paramètres du modèle de fondation d'origine sont souvent conservés, et seules les pondérations de l'adaptateur sont mises à jour lors de l'entraînement.
Ancrage : bien qu'il ne s'agisse pas d'une méthode d'entraînement, l'ancrage est un aspect essentiel pour garantir la fiabilité des sorties de l'IA générative. L'ancrage consiste à connecter la sortie du modèle à des sources d'informations vérifiables, ce qui réduit la probabilité de contenu inventé. Cela implique souvent de fournir au modèle un accès à des sources de données spécifiques lors de l'inférence.