Obtén información sobre la investigación y la ingeniería aplicadas en Cloud AI
Artículo destacado
Cómo cerrar la brecha de eficiencia en la entrega de LLM con el alojamiento conjunto de modelos con Vertex AI
En el panorama en evolución de los modelos de lenguaje grandes (LLM), el patrón de implementación "un modelo por máquina" se está convirtiendo en un cuello de botella importante para la eficiencia de costos de la entrega de LLM en las empresas. El co-hosting de modelos aborda esta brecha de eficiencia, ya que permite que varias instancias de modelos compartan los mismos recursos de GPU y máquina virtual. En este blog técnico, se detalla el proceso de ingeniería de Vertex AI para llevar el alojamiento conjunto de modelos a un servicio en la nube listo para producción.