Com o Model Garden, é possível implantar e disponibilizar modelos abertos, de parceiros e personalizados na Vertex AI. Ao contrário das ofertas de modelo como serviço (MaaS), que são sem servidor e não exigem implantação manual, os modelos autodeploy são executados com segurança no seu projeto Google Cloud e na rede VPC, oferecendo controle total sobre o ambiente de implantação.
Autoimplantação de modelos abertos
Os modelos abertos oferecem recursos pré-treinados para várias tarefas de IA, incluindo modelos do Gemini que se destacam no processamento multimodal. Esses modelos estão disponíveis gratuitamente para uso, e você pode publicar as saídas deles desde que respeite os termos de licenciamento. A Vertex AI oferece modelos de código aberto e com pesos abertos.
Ao usar um modelo aberto com a Vertex AI, você usa a Vertex AI na infraestrutura. Você também pode usar modelos abertos com outros produtos de infraestrutura, como PyTorch ou Jax.
Modelos de peso aberto
Muitos modelos abertos são considerados modelos de linguagem grande (LLMs) com peso aberto. Os modelos de peso aberto oferecem mais transparência do que os modelos que não têm peso aberto. Os pesos de um modelo são os valores numéricos armazenados na arquitetura de rede neural do modelo que representam os padrões aprendidos e as relações dos dados com os quais um modelo é treinado. Os parâmetros pré-treinados, ou pesos, de modelos de peso abertos são lançados. É possível usar um modelo de peso aberto para inferência e ajuste. Detalhes como o conjunto de dados original, a arquitetura do modelo e o código de treinamento nem sempre são fornecidos.
Modelos de código aberto
Os modelos abertos são diferentes dos modelos de IA de código aberto. Embora os modelos abertos geralmente exponham os pesos e a representação numérica principal dos padrões aprendidos, eles não fornecem necessariamente o código-fonte completo ou detalhes de treinamento. Já os modelos de código aberto geralmente disponibilizam publicamente toda a base de código, incluindo scripts e dados de treinamento. Fornecer ponderações oferece um nível de transparência do modelo de IA, permitindo que você entenda os recursos do modelo sem precisar criá-lo.
Modelos de parceiros autoimplantados
O Model Garden ajuda você a comprar e gerenciar licenças de modelos de parceiros que oferecem modelos proprietários como uma opção de autoimplantação. É possível acessar esses modelos pelo Cloud Marketplace. Depois de ter uma licença, você pode implantar em hardware sob demanda ou usar as reservas e os descontos por uso contínuo do Compute Engine para gerenciar custos. Com modelos de parceiros autoimplantados, você recebe cobranças pelo uso do modelo e pela infraestrutura da Vertex AI consumida.
Para solicitar o uso de um modelo de parceiro autoimplantado:
- Navegue até o console do Model Garden.
- Encontre o modelo de parceria relevante.
- Clique em Ativar e preencha o formulário fornecido para receber as licenças de uso comercial necessárias.
Para mais informações sobre como implantar e usar modelos de parceiros, consulte Implantar um modelo de parceiro e fazer solicitações de previsão.
Considerações
Ao usar modelos de parceiros autoimplantados, lembre-se do seguinte:
- Exportação de pesos:ao contrário de alguns modelos abertos, não é possível exportar os pesos de modelos de parceiros autoimplantados.
- Tipo de endpoint:apenas o tipo endpoint público compartilhado é compatível com essas implantações.
Saiba mais sobre os modelos autoimplantados na Vertex AI
- Para saber mais sobre ponderações personalizadas, consulte Implantar modelos com ponderações personalizadas.
- Para mais informações sobre o Model Garden, consulte Visão geral do Model Garden.
- Para mais informações sobre a implantação de modelos, consulte Usar modelos no Model Garden.
- Usar modelos abertos do Gemma
- Usar modelos abertos de Llama
- Usar modelos abertos do Hugging Face