A Hugging Face fornece modelos pré-treinados, scripts de ajuste e APIs de desenvolvimento que facilitam o processo de criação e descoberta de LLMs. O Model Garden pode oferecer modelos de embedding de texto, texto para imagem, geração de texto e texto de imagem para texto no HuggingFace.
Opções de implantação para modelos do Hugging Face
É possível implantar modelos do Hugging Face com suporte na Gemini Enterprise Agent Platform ou no Google Kubernetes Engine (GKE). A opção de implantação escolhida pode depender do modelo que você está usando e do controle que você quer ter sobre as cargas de trabalho.
Implantar na Gemini Enterprise Agent Platform
A Gemini Enterprise Agent Platform oferece uma plataforma gerenciada para criar e escalonar projetos de machine learning sem experiência interna em MLOps. É possível usar a Gemini Enterprise Agent Platform como o aplicativo downstream que veicula os modelos do Hugging Face. Recomendamos o uso da Gemini Enterprise Agent Platform se você quiser recursos de MLOps completos, recursos de ML com valor agregado e uma experiência sem servidor para um desenvolvimento simplificado.
Para implantar um modelo Hugging Face com suporte na Gemini Enterprise Agent Platform, acesse o Model Garden.
Acesse a seção Modelos abertos no Hugging Face e clique em Mostrar mais.
Encontre e selecione um modelo para implantar.
Opcional: selecione Gemini Enterprise Agent Platform como Ambiente de implantação.
Opcional: especifique os detalhes da implantação.
Clique em Implantar.
Para começar, consulte os exemplos a seguir:
- Alguns modelos têm cards de modelo detalhados e as configurações de implantação são verificadas pelo Google, como google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct, Qwen/QwQ-32B, BAAI/bge-m3, intfloat/multilingual-e5-large-instruct, black-forest-labs/FLUX.1-dev e HuggingFaceFW/fineweb-edu-classifier.
- Alguns modelos têm as configurações de implantação verificadas pelo Google, mas não têm cards de modelo detalhados, como NousResearch/Genstruct-7B.
- Alguns modelos têm configurações de implantação geradas automaticamente.
- Alguns modelos têm configurações de implantação geradas automaticamente com base nos metadados, como alguns modelos de tendências mais recentes em geração de texto, embeddings de texto, geração de texto para imagem e texto de imagem para texto.
Implantar no GKE
O Google Kubernetes Engine (GKE) é a solução do Google Cloud para o Kubernetes gerenciado que oferece escalonabilidade, segurança, resiliência e economia. Recomendamos essa opção se você tiver investimentos atuais no Kubernetes, se sua organização tiver experiência interna em MLOps ou se precisar de controle granular sobre cargas de trabalho complexas de IA/ML com segurança, pipeline de dados e recursos exclusivos de gerenciamento de projetos.
Para implantar um modelo Hugging Face com suporte no GKE, acesse o Model Garden.
Acesse a seção Modelos abertos no Hugging Face e clique em Mostrar mais.
Encontre e selecione um modelo para implantar.
Em Ambiente de implantação, selecione GKE.
Siga as instruções de implantação.
Para começar, consulte os exemplos a seguir:
- Alguns modelos têm cards de modelo detalhados e configurações de implantação verificadas, como google/gemma-3-27b-it, meta-llama/Llama-4-Scout-17B-16E-Instruct e Qwen/QwQ-32B.
- Alguns modelos têm configurações de implantação verificadas, mas nenhum cartão de modelo detalhado, como NousResearch/Genstruct-7B.
O que significa "Compatível com a Gemini Enterprise Agent Platform"?
Adicionamos automaticamente os modelos mais recentes e mais usados do Hugging Face ao Model Garden. Esse processo inclui a geração automática de uma configuração de implantação para cada modelo.
Para lidar com preocupações relacionadas a vulnerabilidades e códigos maliciosos, usamos o Hugging Face Malware Scanner para avaliar diariamente a segurança dos arquivos em cada repositório de modelos do Hugging Face. Se um repositório de modelos for sinalizado como contendo malware, removeremos imediatamente o modelo da página da galeria do Hugging Face.
Embora um modelo designado como compatível com a Gemini Enterprise Agent Platform signifique que ele passou por testes e pode ser implantado na Gemini Enterprise Agent Platform, não garantimos a ausência de vulnerabilidades ou código malicioso. Recomendamos que você faça suas próprias verificações de segurança antes de implantar qualquer modelo no ambiente de produção.
Ajustar as configurações de implantação para casos de uso específicos
A configuração de implantação padrão fornecida com a opção de implantação com um clique não pode atender a todos os requisitos, considerando a ampla variedade de casos de uso e as prioridades variadas de latência, capacidade de processamento, custo e precisão.
Portanto, é possível testar inicialmente a implantação com um clique para estabelecer uma referência e, em seguida, ajustar as configurações de implantação usando o notebook do Colab (vLLM, TGI, TEI, inferência do HF pytorch) ou o SDK do Python. Essa abordagem iterativa permite que você adapte a implantação às suas necessidades exatas para conseguir o melhor desempenho possível para seu aplicativo específico.
O que fazer se o modelo que você quer não estiver listado no Model Garden
Se você estiver procurando um modelo específico que não esteja listado no Model Garden, ele não é compatível com a Gemini Enterprise Agent Platform. As seções a seguir descrevem o motivo e o que você pode fazer.
Por que o modelo não está listado?
Os motivos a seguir explicam por que um modelo pode não estar no Model Garden:
- Não é um modelo em alta: costumamos priorizar modelos que são muito conhecidos e têm um forte interesse da comunidade.
- Ainda não é compatível: o modelo pode não funcionar com um contêiner de exibição
compatível. Por exemplo, o contêiner vLLM
para modelos
text-generationeimage-text-to-text. - Tarefas de pipeline não compatíveis: o modelo tem uma tarefa
que ainda não é
totalmente compatível no momento. Oferecemos suporte às seguintes tarefas:
text-generation,text2text-generation,text-to-image,feature-extraction,sentence-similarityeimage-text-to-text.
Quais são suas opções?
Ainda é possível trabalhar com modelos que não estão disponíveis no Model Garden:
- Implante você mesmo usando o notebook do Colab: temos os seguintes notebooks do Colab: (vLLM, TGI, TEI, inferência do HF pytorch), que oferecem a flexibilidade de implantar modelos com configurações personalizadas. Isso dá a você controle total sobre o processo.
- Envie uma solicitação de recurso: trabalhe com seu engenheiro de suporte e envie uma solicitação de recurso pelo Model Garden ou consulte o suporte de IA generativa da Agent Platform para receber mais ajuda.
- Fique de olho nas atualizações: adicionamos novos modelos ao Model Garden regularmente. O modelo que você procura pode ficar disponível no futuro, então volte periodicamente.