Hugging Face proporciona modelos entrenados previamente, secuencias de comandos de ajuste fino y APIs de desarrollo que facilitan el proceso de creación y descubrimiento de LLM. Model Garden puede entregar modelos de embeddings de texto, texto a imagen, generación de texto y texto de imagen a texto en Hugging Face.
Opciones de implementación para modelos de Hugging Face
Puedes implementar modelos compatibles de Hugging Face en Gemini Enterprise Agent Platform o Google Kubernetes Engine (GKE). La opción de implementación que elijas puede depender del modelo que uses y del grado de control que desees sobre tus cargas de trabajo.
Implementar en Gemini Enterprise Agent Platform
Gemini Enterprise Agent Platform ofrece una plataforma administrada para compilar y escalar con rapidez proyectos de aprendizaje automático sin tener experiencia interna en MLOps. Puedes usar Gemini Enterprise Agent Platform como la aplicación descendente que entrega los modelos de Hugging Face. Recomendamos usar Gemini Enterprise Agent Platform si deseas funciones de MLOps de extremo a extremo, funciones de AA de valor agregado y una experiencia sin servidores para un desarrollo optimizado.
Para implementar un modelo de Hugging Face compatible en Gemini Enterprise Agent Platform, ve a Model Garden.
Ve a la sección Modelos de código abierto en Hugging Face y haz clic en Mostrar más.
Busca y selecciona un modelo para implementar.
Opcional: En Entorno de implementación, selecciona Gemini Enterprise Agent Platform.
Opcional: Especifica los detalles de la implementación.
Haz clic en Implementar.
Para comenzar, consulta los siguientes ejemplos:
- Algunos modelos tienen tarjetas de modelo detalladas y Google verificó la configuración de implementación, como google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, black-forest-labs/FLUX.1-dev y HuggingFaceFW/fineweb-edu-classifier.
- Google verificó la configuración de implementación de algunos modelos, pero no tiene tarjetas de modelo detalladas, como NousResearch/Genstruct-7B.
- Algunos modelos tienen parámetros de configuración de implementación generados automáticamente.
- Algunos modelos tienen parámetros de configuración de implementación generados automáticamente que se basan en metadatos del modelo, como algunos de los modelos más recientes en generación de texto, embeddings de texto, generación de texto a imagen y texto de imagen a texto.
Implementa en GKE
Google Kubernetes Engine (GKE) es la solución de Google Cloud para Kubernetes administrado que proporciona escalabilidad, seguridad, resiliencia y rentabilidad. Recomendamos esta opción si tienes inversiones existentes en Kubernetes, tu organización tiene experiencia interna en MLOps o si necesitas un control detallado sobre cargas de trabajo de IA/AA complejas con requisitos únicos de seguridad, canalización de datos y administración de recursos.
Para implementar un modelo de Hugging Face compatible en GKE, ve a Model Garden.
Ve a la sección Modelos de código abierto en Hugging Face y haz clic en Mostrar más.
Busca y selecciona un modelo para implementar.
En Entorno de implementación, selecciona GKE.
Sigue las instrucciones de implementación.
Para comenzar, consulta los siguientes ejemplos:
- Algunos modelos tienen tarjetas de modelo detalladas y configuración de implementación verificada, como google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct y Qwen/QwQ-32B.
- Algunos modelos tienen verificada la configuración de implementación, pero no tarjetas de modelo detalladas, como NousResearch/Genstruct-7B.
¿Qué significa "Compatible con Gemini Enterprise Agent Platform"?
Agregamos automáticamente los modelos de Hugging Face más recientes y populares a Model Garden. Este proceso incluye la generación automática de una configuración de implementación para cada modelo.
Para abordar las inquietudes relacionadas con las vulnerabilidades y el código malicioso, usamos el analizador de software malicioso de Hugging Face para evaluar la seguridad de los archivos dentro de cada repositorio de modelos de Hugging Face a diario. Si se marca que un repositorio de modelos contiene software malicioso, quitamos el modelo de inmediato de la página de la galería de Hugging Face.
Si bien un modelo que se designa como compatible con Gemini Enterprise Agent Platform significa que se sometió a pruebas y se puede implementar en Gemini Enterprise Agent Platform, no garantizamos la ausencia de vulnerabilidades o código malicioso. Te recomendamos que realices tus propias verificaciones de seguridad antes de implementar cualquier modelo en tu entorno de producción.
Ajusta los parámetros de configuración de la implementación para casos de uso específicos
La configuración de implementación predeterminada que se proporciona con la opción de implementación con un clic no puede satisfacer todos los requisitos, dada la amplia variedad de casos de uso y las diferentes prioridades con latencia, capacidad de procesamiento, costo y exactitud.
Por lo tanto, puedes experimentar inicialmente con la implementación con un clic para establecer un modelo de referencia y, luego, ajustar las configuraciones de implementación con el notebook de Colab (vLLM, TGI, TEI, HF pytorch inference) o el SDK de Python. Este enfoque iterativo te permite adaptar la implementación a tus necesidades precisas para obtener el mejor rendimiento posible para tu aplicación específica.
¿Qué debes hacer si el modelo que quieres no aparece en Model Garden?
Si buscas un modelo específico que no aparece en Model Garden, significa que no es compatible con Gemini Enterprise Agent Platform. En las siguientes secciones, se describe el razonamiento y lo que puedes hacer.
¿Por qué no aparece el modelo?
Los siguientes motivos explican por qué un modelo podría no estar en Model Garden:
- No es un modelo de tendencia principal: Solemos priorizar los modelos que son muy populares y que tienen un gran interés de la comunidad.
- Aún no es compatible: Es posible que el modelo no funcione con un contenedor de entrega compatible. Por ejemplo, el contenedor de vLLM
para los modelos
text-generationyimage-text-to-text. - Tareas de canalización no admitidas: El modelo tiene una tarea
que aún no
admitimos por completo en este momento. Admitimos las siguientes tareas:
text-generation,text2text-generation,text-to-image,feature-extraction,sentence-similarityyimage-text-to-text.
¿Cuáles son tus opciones?
Aún puedes trabajar con modelos que no están disponibles en Model Garden:
- Implementarlo tú mismo con el notebook de Colab: Tenemos los siguientes notebooks de Colab: (vLLM, TGI, TEI, HF pytorch inference), que proporcionan la flexibilidad para implementar modelos con parámetros de configuración personalizados. Esto te brinda un control total sobre el proceso.
- Envía una solicitud de función: Trabaja con tu ingeniero de asistencia y envía una solicitud de función a través de Model Garden o consulta Asistencia de IA generativa de Agent Platform para obtener ayuda adicional.
- Presta atención a las actualizaciones: Agregamos modelos nuevos a Model Garden con frecuencia. Es posible que el modelo que buscas esté disponible en el futuro, así que vuelve a consultar periódicamente.