Hugging Face proporciona modelos previamente entrenados, secuencias de comandos de ajuste fino y APIs de desarrollo que facilitan el proceso de creación y descubrimiento de LLM. Model Garden puede entregar modelos de embedding de texto, de texto a imagen, de generación de texto, y de texto de imagen a texto en Hugging Face.
Opciones de Deployment para modelos de Hugging Face
Puedes implementar modelos compatibles de Hugging Face en Gemini Enterprise Agent Platform o Google Kubernetes Engine (GKE). La opción de implementación que elijas puede depender del modelo que uses y del grado de control que desees sobre tus cargas de trabajo.
Implementa en Gemini Enterprise Agent Platform
Gemini Enterprise Agent Platform ofrece una plataforma administrada para compilar y escalar con rapidez proyectos de aprendizaje automático sin tener experiencia interna en MLOps. Puedes usar Gemini Enterprise Agent Platform como la aplicación descendente que entrega los modelos de Hugging Face. Recomendamos usar Gemini Enterprise Agent Platform si deseas funciones de MLOps de extremo a extremo, funciones de AA de valor agregado y una experiencia sin servidores para un desarrollo optimizado.
Para implementar un modelo de Hugging Face compatible en Gemini Enterprise Agent Platform, ve a Model Garden.
Ve a la sección Modelos abiertos en Hugging Face y haz clic en Mostrar más.
Busca y selecciona un modelo para implementar.
Opcional: En Entorno de implementación, selecciona Gemini Enterprise Agent Platform.
Opcional: Especifica los detalles de la implementación.
Haz clic en Implementar.
Para comenzar, consulta los siguientes ejemplos:
- Algunos modelos tienen tarjetas de modelo detalladas, y Google verifica la configuración de implementación, como google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, black-forest-labs/FLUX.1-dev y HuggingFaceFW/fineweb-edu-classifier.
- Google verificó la configuración de implementación de algunos modelos, pero no tiene tarjetas de modelo detalladas, como NousResearch/Genstruct-7B.
- Algunos modelos tienen parámetros de configuración de implementación generados automáticamente.
- Algunos modelos tienen parámetros de configuración de implementación generados automáticamente que se basan en metadatos del modelo, como algunos de los modelos más recientes en generación de texto, embeddings de texto, generación de texto a imagen y texto de imagen a texto.
Implementa en GKE
Google Kubernetes Engine (GKE) es la Google Cloud solución para Kubernetes administrado que proporciona escalabilidad, seguridad, resiliencia y rentabilidad. Recomendamos esta opción si tienes inversiones existentes en Kubernetes, tu organización tiene experiencia interna en MLOps o si necesitas un control detallado sobre cargas de trabajo de IA/AA complejas con requisitos únicos de seguridad, canalización de datos y administración de recursos.
Para implementar un modelo de Hugging Face compatible en GKE, ve a Model Garden.
Ve a la sección Modelos abiertos en Hugging Face y haz clic en Mostrar más.
Busca y selecciona un modelo para implementar.
En Entorno de implementación, selecciona GKE.
Sigue las instrucciones de implementación.
Para comenzar, consulta los siguientes ejemplos:
- Algunos modelos tienen tarjetas de modelo detalladas y configuración de implementación verificada, como google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct y Qwen/QwQ-32B.
- Algunos modelos tienen verificada la configuración de implementación, pero no tarjetas de modelo detalladas, como NousResearch/Genstruct-7B.
¿Qué significa "Compatible con Gemini Enterprise Agent Platform"?
Agregamos automáticamente los modelos de Hugging Face más recientes y populares a Model Garden. Este proceso incluye la generación automática de una configuración de implementación para cada modelo.
Para abordar las inquietudes relacionadas con las vulnerabilidades y el código malicioso, usamos el análisis de software malicioso de Hugging Face para evaluar la seguridad de los archivos dentro de cada repositorio de modelos de Hugging Face a diario. Si un repositorio de modelos se marca como que contiene software malicioso, quitamos de inmediato el modelo de la página de la galería de Hugging Face.
Si bien un modelo designado como compatible con Gemini Enterprise Agent Platform significa que se sometió a pruebas y se puede implementar en Gemini Enterprise Agent Platform, no garantizamos la ausencia de vulnerabilidades o código malicioso. Te recomendamos que realices tus propias verificaciones de seguridad antes de implementar cualquier modelo en tu entorno de producción.
Ajusta las configuraciones de implementación para casos de uso específicos
La configuración de implementación predeterminada que se proporciona con la opción de implementación con un solo clic no puede satisfacer todos los requisitos dada la diversidad de casos de uso y las diferentes prioridades con latencia, capacidad de procesamiento, costo y exactitud.
Por lo tanto, puedes experimentar inicialmente con la implementación con un solo clic para establecer una línea de base y, luego, ajustar las configuraciones de implementación con el notebook de Colab (vLLM, TGI, TEI, inferencia de HF pytorch) o el SDK de Python. Este enfoque iterativo te permite adaptar la implementación a tus necesidades precisas para obtener el mejor rendimiento posible para tu aplicación específica.
¿Qué debes hacer si el modelo que deseas no aparece en Model Garden?
Si buscas un modelo específico que no aparece en Model Garden, significa que Gemini Enterprise Agent Platform no lo admite. En las siguientes secciones, se describe el razonamiento y lo que puedes hacer.
¿Por qué no aparece el modelo?
Los siguientes motivos explican por qué un modelo podría no estar en Model Garden:
- No es un modelo de tendencia principal: A menudo, priorizamos los modelos que son muy populares y tienen un gran interés de la comunidad.
- Aún no es compatible: Es posible que el modelo no funcione con un contenedor de entrega compatible. Por ejemplo, el contenedor vLLM
para modelos
text-generationyimage-text-to-text. - Tareas de canalización no compatibles: El modelo tiene una tarea
que aún no
admitimos por completo en este momento. Admitimos las siguientes tareas:
text-generation,text2text-generation,text-to-image,feature-extraction,sentence-similarity, yimage-text-to-text.
¿Cuáles son tus opciones?
Aún puedes trabajar con modelos que no están disponibles en Model Garden:
- Implementa el modelo por tu cuenta con el notebook de Colab: Tenemos los siguientes Colab Notebooks: (vLLM, TGI, TEI, inferencia de HF pytorch), que proporcionan la flexibilidad para implementar modelos con configuraciones personalizadas. Esto te brinda control total sobre el proceso.
- Envía una solicitud de función: Trabaja con tu ingeniero de asistencia y envía una solicitud de función a través de Model Garden o consulta la asistencia de Vertex IA generativa para obtener ayuda adicional.
- Mantente al tanto de las actualizaciones: Agregamos modelos nuevos a Model Garden con regularidad. Es posible que el modelo que buscas esté disponible en el futuro, así que vuelve a consultar periódicamente.