Obtén información sobre la investigación y la ingeniería aplicadas en IA de Cloud

En el panorama en evolución de los modelos de lenguaje grandes (LLM), el patrón de implementación "un modelo por máquina" se está convirtiendo en un cuello de botella importante para la eficiencia en los costos de la entrega de LLM en las empresas. El alojamiento conjunto de modelos aborda esta brecha de eficiencia, ya que permite que varias instancias de modelos compartan los mismos recursos de máquina virtual y GPUs. En este blog técnico, se detalla el proceso de Vertex AI Engineering para llevar el alojamiento conjunto de modelos a un servicio en la nube listo para producción.