Documentação da orquestração de IA/ML no Cloud Run

Leia a documentação do produto

O Cloud Run é uma plataforma totalmente gerenciada que permite executar aplicativos conteinerizados, incluindo cargas de trabalho de IA/ML, diretamente na infraestrutura escalonável do Google. Ele lida com a infraestrutura para você, assim você pode se concentrar em escrever o código em vez de gastar tempo operando, configurando e escalonando seus recursos do Cloud Run. Os recursos do Cloud Run oferecem o seguinte:

  • Aceleradores de hardware: acesse e gerencie GPUs para inferência em grande escala.
  • Suporte a frameworks: integre-se aos frameworks de veiculação de modelos que você já conhece e confia, como Hugging Face, TGI e vLLM.
  • Plataforma gerenciada: aproveite todos os benefícios de uma plataforma gerenciada para automatizar, escalonar e aumentar a segurança de todo o ciclo de vida de IA/ML, mantendo a flexibilidade.

Confira nossos tutoriais e práticas recomendadas para saber como o Cloud Run pode otimizar suas cargas de trabalho de IA/ML.

Comece a usar sem custos financeiros
  • Desenvolva com nossos modelos e ferramentas de IA generativa mais recentes.
  • Use sem custo financeiro mais de 20 produtos conhecidos, incluindo o Compute Engine e as APIs de IA.
  • Sem cobranças automáticas, sem compromisso.
Confira ofertas de produtos sem custo financeiro

Aproveite mais de 20 produtos sem custo financeiro.

Acesse mais de 20 produtos sem custo financeiro voltados a casos de uso comuns, incluindo APIs de IA, VMs, data warehouses e muito mais.

Recursos de documentação

Encontre guias de início rápido, consulte referências de chaves e receba ajuda para problemas comuns.
Entenda o treinamento autoguiado, os casos de uso, as arquiteturas de referência e os exemplos de código sobre como usar e conectar serviços do Google Cloud .
Caso de uso
Casos de uso

Execute código não confiável gerado por IA com segurança implantando sandboxes do Cloud Run que executam ambientes de execução em contêineres isolados baseados em gVisor.

Segurança Sandboxes Execução de código de IA

Caso de uso
Casos de uso

Otimize a latência de inicialização a frio para inferência de LLM em contêineres no Cloud Run usando configurações sem servidor e ajuste do padrão de arquitetura.

Inicializações a frio Latência Otimização LLMs

Caso de uso
Casos de uso

Configure e aplique regras de autorização do Protocolo de Contexto de Modelo (MCP) para proteger a conectividade de ferramentas remotas para agentes de IA implantados no Cloud Run.

Segurança MCP Agentes

Caso de uso
Casos de uso

Implante aplicativos de pilha completa no Cloud Run diretamente do modo de criação do Google AI Studio com suporte integrado para backup do Firebase e do Cloud SQL.

AI Studio Firebase Cloud SQL vibe coding

Caso de uso
Casos de uso

Use GPUs NVIDIA L4 no Cloud Run para inferência de IA em tempo real, incluindo benefícios de inicialização a frio rápida e redução da escala a zero para modelos de linguagem grandes (LLMs).

GPUs LLMs

Caso de uso
Casos de uso

Saiba como usar o Cloud Run para aplicativos de IA prontos para produção. Este guia descreve casos de uso como divisão de tráfego para solicitações de teste A/B, padrões de RAG (geração aumentada por recuperação) e conectividade com repositórios de vetores.

Aplicativos de IA divisão de tráfego para testes A/B padrões de RAG armazenamentos de vetores conectividade com armazenamentos de vetores

Caso de uso
Casos de uso

Implantação com um clique do Google AI Studio no Cloud Run e no servidor MCP (Protocolo de Contexto de Modelo) do Cloud Run para ativar agentes de IA em IDEs ou SDKs de agente e implantar apps.

Servidores MCP implantações Cloud Run

Caso de uso
Casos de uso

Integre GPUs NVIDIA L4 ao Cloud Run para veiculação de LLMs econômica. Este guia enfatiza a redução da escala a zero e fornece etapas de implantação para modelos como o Gemma 2 com o Ollama.

LLMs GPU Ollama Otimização de custos

Caso de uso
Casos de uso

Desvincule arquivos de modelos grandes da imagem do contêiner usando o Cloud Storage FUSE. O desacoplamento melhora os tempos de build, simplifica as atualizações e cria uma arquitetura de serviço mais escalonável.

Pacotes de modelos Cloud Storage FUSE Práticas recomendadas Modelos grandes

Caso de uso
Casos de uso

Use o framework Cog, otimizado para disponibilização de ML, para simplificar o empacotamento e a implantação de contêineres no Cloud Run.

Cog Pacotes de modelos Implantação Tutorial

Caso de uso
Casos de uso

Use o Cloud Run para inferência de ML leve e crie uma pilha de monitoramento econômica usando serviços nativos do Google Cloud , como o Logging e o BigQuery.

Monitoramento MLOps Eficiência de custos Inferência

Vídeos relacionados