Usa modelos de Hugging Face

Hugging Face proporciona modelos previamente entrenados, secuencias de comandos de ajuste y APIs de desarrollo que facilitan el proceso de creación y descubrimiento de LLMs. Model Garden puede entregar modelos de incorporaciones de texto, texto a imagen, generación de texto y texto de imagen a texto en Hugging Face.

Opciones de implementación para modelos de Hugging Face

Puedes implementar modelos compatibles de Hugging Face en Vertex AI o Google Kubernetes Engine (GKE). La opción de implementación que elijas puede depender del modelo que uses y del grado de control que desees sobre tus cargas de trabajo.

Implementa en Vertex AI

Vertex AI ofrece una plataforma administrada para compilar y escalar con rapidez proyectos de aprendizaje automático sin tener experiencia interna en MLOps. Puedes usar Vertex AI como la aplicación descendente que entrega los modelos de Hugging Face. Recomendamos usar Vertex AI si deseas funciones de MLOps de extremo a extremo, funciones de AA de valor agregado y una experiencia sin servidores para un desarrollo optimizado.

  1. Para implementar un modelo de Hugging Face compatible en Vertex AI, ve a Model Garden.

    Ir a Model Garden

  2. Ve a la sección Modelos de código abierto en Hugging Face y haz clic en Mostrar más.

  3. Busca y selecciona un modelo para implementar.

  4. Opcional: En Entorno de implementación, selecciona Vertex AI.

  5. Opcional: Especifica los detalles de la implementación.

  6. Haz clic en Implementar.

Para comenzar, consulta los siguientes ejemplos:

Implementa en GKE

Google Kubernetes Engine (GKE) es la Google Cloud solución para Kubernetes administrado que proporciona escalabilidad, seguridad, resiliencia y rentabilidad. Recomendamos esta opción si tienes inversiones existentes en Kubernetes, tu organización tiene experiencia interna en MLOps o si necesitas un control detallado sobre cargas de trabajo de IA/AA complejas con requisitos únicos de seguridad, canalización de datos y administración de recursos.

  1. Para implementar un modelo de Hugging Face compatible en GKE, ve a Model Garden.

    Ir a Model Garden

  2. Ve a la sección Modelos de código abierto en Hugging Face y haz clic en Mostrar más.

  3. Busca y selecciona un modelo para implementar.

  4. En Entorno de implementación, selecciona GKE.

  5. Sigue las instrucciones de implementación.

Para comenzar, consulta los siguientes ejemplos:

¿Qué significa “Con la asistencia de Vertex AI”?

Agregamos automáticamente los modelos de Hugging Face más recientes y populares a Model Garden. Este proceso incluye la generación automática de una configuración de implementación para cada modelo.

Para abordar las inquietudes relacionadas con las vulnerabilidades y el código malicioso, usamos el Analizador de software malicioso de Hugging Face para evaluar la seguridad de los archivos dentro de cada repositorio de modelos de Hugging Face a diario. Si se marca un repositorio de modelos como que contiene software malicioso, quitamos de inmediato el modelo de la página de la galería de Hugging Face.

Si bien el hecho de que un modelo se designe como compatible con Vertex AI significa que se sometió a pruebas y se puede implementar en Vertex AI, no garantizamos la ausencia de vulnerabilidades o código malicioso. Te recomendamos que realices tus propias verificaciones de seguridad antes de implementar cualquier modelo en tu entorno de producción.

Ajusta la configuración de implementación para casos de uso específicos

La configuración de implementación predeterminada que se proporciona con la opción de implementación con un solo clic no puede satisfacer todos los requisitos, dada la amplia variedad de casos de uso y las diferentes prioridades con respecto a la latencia, el rendimiento, el costo y la precisión.

Por lo tanto, puedes experimentar inicialmente con la implementación con un solo clic para establecer un valor de referencia y, luego, ajustar la configuración de la implementación con el notebook de Colab (vLLM, TGI, TEI, inferencia de HF pytorch) o el SDK de Python. Este enfoque iterativo te permite adaptar la implementación a tus necesidades precisas para obtener el mejor rendimiento posible en tu aplicación específica.

Qué debes hacer si el modelo que quieres no aparece en Model Garden

Si buscas un modelo específico que no aparece en Model Garden, significa que Vertex AI no lo admite. En las siguientes secciones, se describe el razonamiento y lo que puedes hacer.

¿Por qué no aparece el modelo en la lista?

A continuación, se explican los motivos por los que un modelo podría no estar en Model Garden:

  • No es un modelo de tendencias principal: A menudo, priorizamos los modelos que son muy populares y que generan un gran interés en la comunidad.
  • Aún no es compatible: Es posible que el modelo no funcione con un contenedor de servicio compatible. Por ejemplo, el contenedor de vLLM para los modelos text-generation y image-text-to-text.
  • Tareas de canalización no admitidas: El modelo tiene una tarea que aún no admitimos por completo. Admitimos las siguientes tareas: text-generation, text2text-generation, text-to-image, feature-extraction, sentence-similarity y image-text-to-text.

¿Cuáles son tus opciones?

Aún puedes trabajar con los modelos disponibles en Model Garden:

  • Implementa el modelo por tu cuenta con el notebook de Colab: Tenemos los siguientes notebooks de Colab: (vLLM, TGI, TEI, HF pytorch inference), que brindan la flexibilidad para implementar modelos con configuraciones personalizadas. Esto te brinda control total sobre el proceso.
  • Envía una solicitud de función: Trabaja con tu ingeniero de asistencia y envía una solicitud de función a través de Model Garden o consulta la Asistencia de IA generativa de Vertex para obtener ayuda adicional.
  • Mantente al tanto de las actualizaciones: Agregamos modelos nuevos a Model Garden con regularidad. Es posible que el modelo que buscas esté disponible en el futuro, así que vuelve a consultar periódicamente.