Documentação da orquestração de IA/ML no Cloud Run

Leia a documentação do produto

O Cloud Run é uma plataforma totalmente gerenciada que permite executar aplicativos conteinerizados, incluindo cargas de trabalho de IA/ML, diretamente na infraestrutura escalonável do Google. Ele lida com a infraestrutura para você, assim você pode se concentrar em escrever o código em vez de gastar tempo operando, configurando e escalonando seus recursos do Cloud Run. Os recursos do Cloud Run oferecem o seguinte:

  • Aceleradores de hardware: acesse e gerencie GPUs para inferência em grande escala.
  • Suporte a frameworks: integre-se aos frameworks de veiculação de modelos que você já conhece e confia, como Hugging Face, TGI e vLLM.
  • Plataforma gerenciada: aproveite todos os benefícios de uma plataforma gerenciada para automatizar, escalonar e melhorar a segurança de todo o ciclo de vida de IA/ML, mantendo a flexibilidade.

Confira nossos tutoriais e práticas recomendadas para saber como o Cloud Run pode otimizar suas cargas de trabalho de IA/ML.

Comece a usar sem custos financeiros
  • Desenvolva com nossos modelos e ferramentas de IA generativa mais recentes.
  • Use sem custo financeiro mais de 20 produtos conhecidos, incluindo o Compute Engine e as APIs de IA.
  • Sem cobranças automáticas, sem compromisso.
Confira ofertas de produtos sem custo financeiro

Aproveite mais de 20 produtos sem custo financeiro.

Acesse mais de 20 produtos sem custo financeiro voltados a casos de uso comuns, incluindo APIs de IA, VMs, data warehouses e muito mais.

Recursos de documentação

Encontre guias de início rápido, consulte referências de chaves e receba ajuda para problemas comuns.
Entenda o treinamento autoguiado, os casos de uso, as arquiteturas de referência e os exemplos de código sobre como usar e conectar serviços do Google Cloud .
Caso de uso
Casos de uso

Execute código não confiável gerado por IA com segurança implantando sandboxes do Cloud Run que executam ambientes de execução em contêineres isolados baseados em gVisor.

Segurança Sandboxes Execução de código de IA

Caso de uso
Casos de uso

Otimize a latência de inicialização a frio para inferência de LLM em contêineres no usando configurações de configuração sem servidor e ajuste do padrão de design de arquitetura.

Inicializações a frio Latência Otimização LLMs

Caso de uso
Casos de uso

Configure e aplique regras de autorização do Protocolo de Contexto de Modelo (MCP) para proteger a conectividade de ferramentas remotas para agentes de IA implantados no .

Segurança MCP Agentes

Caso de uso
Casos de uso

Implante aplicativos de pilha completa no diretamente do modo de criação do Google AI Studio com suporte integrado do Firebase e de backup do .

AI Studio Firebase vibe coding

Caso de uso
Casos de uso

Use GPUs NVIDIA L4 no para inferência de IA em tempo real, incluindo benefícios de inicialização a frio rápida e redução da escala a zero para modelos de linguagem grandes (LLMs).

GPUs LLMs

Caso de uso
Casos de uso

Aprenda a usar o para aplicativos de IA prontos para produção. Este guia descreve casos de uso como divisão de tráfego para solicitações de teste A/B, padrões de RAG (geração aumentada por recuperação) e conectividade com repositórios de vetores.

Aplicativos de IA divisão de tráfego para testes A/B padrões de RAG armazenamentos de vetores conectividade com armazenamentos de vetores

Caso de uso
Casos de uso

Implantação com um clique do Google AI Studio para e o servidor MCP (Protocolo de Contexto de Modelo) para ativar agentes de IA em IDEs ou SDKs de agentes e implantar apps.

Servidores MCP implantações

Caso de uso
Casos de uso

Integre GPUs NVIDIA L4 com para veiculação de LLM econômica. Este guia enfatiza a redução da escala a zero e fornece etapas de implantação para modelos como o 2 com o Ollama.

LLMs GPU Ollama Otimização de custos

Caso de uso
Casos de uso

Desvincule arquivos de modelos grandes da imagem do contêiner usando . O desacoplamento melhora os tempos de build, simplifica as atualizações e cria uma arquitetura de veiculação mais escalonável.

Pacotes de modelos Práticas recomendadas Modelos grandes

Caso de uso
Casos de uso

Use o framework Cog, otimizado para veiculação de ML, para simplificar o empacotamento e a implantação de contêineres no .

Cog Pacotes de modelos Implantação Tutorial

Caso de uso
Casos de uso

Use para inferência de ML leve e crie uma pilha de monitoramento econômica usando serviços nativos, como e .

Monitoramento MLOps Eficiência de custos Inferência

Vídeos relacionados