En savoir plus sur la recherche appliquée et l'ingénierie dans Cloud AI
Article mis en avant
Combler le déficit d'efficacité dans le service LLM grâce au co-hébergement de modèles avec Vertex AI
Dans le paysage en constante évolution des grands modèles de langage (LLM), le modèle de déploiement "un modèle par machine" devient un goulot d'étranglement important pour l'efficacité des coûts de diffusion des LLM dans les entreprises. Le co-hébergement de modèles permet de combler ce manque d'efficacité en permettant à plusieurs instances de modèle de partager les mêmes ressources de machine virtuelle et de GPU. Ce blog technique décrit en détail le processus d'ingénierie Vertex AI pour proposer le co-hébergement de modèles en tant que service cloud prêt pour la production.