Documentación de la organización de IA/AA en Cloud Run

Leer la documentación del producto

Cloud Run es una plataforma completamente administrada que te permite ejecutar tus aplicaciones alojadas en contenedores, incluidas las cargas de trabajo de AA/ML, directamente en la infraestructura escalable de Google. Maneja la infraestructura por ti, para que puedas enfocarte en escribir tu código en lugar de dedicar tiempo a operar, configurar y escalar tus recursos de Cloud Run. Las capacidades de Cloud Run proporcionan lo siguiente:

  • Aceleradores de hardware: Accede a las GPUs y adminístralas para la inferencia a gran escala.
  • Compatibilidad con frameworks: Se integra con los frameworks de entrega de modelos que ya conoces y en los que confías, como Hugging Face, TGI y vLLM.
  • Plataforma administrada: Obtén todos los beneficios de una plataforma administrada para automatizar, escalar y mejorar la seguridad de todo tu ciclo de vida de IA/AA, sin dejar de ser flexible.

Explora nuestros instructivos y prácticas recomendadas para ver cómo Cloud Run puede optimizar tus cargas de trabajo de IA/AA.

Comenzar gratis
  • Desarrolla con nuestros modelos y herramientas de IA generativa más recientes.
  • Usa de manera gratuita más de 20 productos populares, incluidos Compute Engine y las APIs de IA.
  • No tendrás cargos automáticos ni compromisos.
Consultar las ofertas de productos gratuitos

Sigue explorando con más de 20 productos siempre gratuitos.

Accede a más de 20 productos gratuitos para casos de uso comunes, incluidas las APIs de IA, las VMs, los almacenes de datos y mucho más.

Recursos de documentación

Encuentra guías de inicio rápido y otras guías, revisa las referencias clave y obtén ayuda con problemas habituales.
Explora la capacitación de autoaprendizaje, los casos de uso, las arquitecturas de referencia y las muestras de código con ejemplos de cómo usar y conectar los servicios de Google Cloud .
Caso de uso
Casos de uso

Ejecuta código no confiable generado por IA de forma segura implementando zonas de pruebas de Cloud Run que ejecuten entornos de ejecución dentro de contenedores aislados basados en gVisor.

Seguridad Zonas de pruebas Ejecución de código de IA

Caso de uso
Casos de uso

Optimiza la latencia de inicio en frío para la inferencia de LLM en contenedores en Cloud Run con parámetros de configuración sin servidores y el ajuste del patrón de diseño de la arquitectura.

Inicios en frío Latencia Optimización LLMs

Caso de uso
Casos de uso

Configura y aplica reglas de autorización del Protocolo de contexto del modelo (MCP) para proteger la conectividad de herramientas remotas para los agentes de IA implementados en Cloud Run.

Seguridad MCP Agentes

Caso de uso
Casos de uso

Implementa aplicaciones de pila completa en Cloud Run directamente desde el modo de compilación de Google AI Studio con compatibilidad integrada para copias de seguridad de Firebase y Cloud SQL.

AI Studio Firebase Cloud SQL vibe coding

Caso de uso
Casos de uso

Usa las GPU NVIDIA L4 en Cloud Run para la inferencia de IA en tiempo real, incluidos los beneficios de inicio en frío rápido y reducción de escala a cero para los modelos de lenguaje grandes (LLM).

GPUs LLMs

Caso de uso
Casos de uso

Aprende a usar Cloud Run para aplicaciones de IA listas para producción. En esta guía, se describen casos de uso, como la división del tráfico para las instrucciones de pruebas A/B, los patrones de RAG (generación mejorada por recuperación) y la conectividad con los almacenes de vectores.

Aplicaciones de IA División del tráfico para pruebas A/B Patrones de RAG Almacenes de vectores Conectividad a almacenes de vectores

Caso de uso
Casos de uso

Implementación con un solo clic desde Google AI Studio en Cloud Run y el servidor de MCP (Protocolo de contexto del modelo) de Cloud Run para habilitar agentes de IA en IDEs o SDKs de agentes, y para implementar apps

Servidores de MCP Implementaciones Cloud Run

Caso de uso
Casos de uso

Integra las GPU NVIDIA L4 con Cloud Run para ofrecer LLM de manera rentable. En esta guía, se hace hincapié en la reducción de escala a cero y se proporcionan los pasos de implementación para modelos como Gemma 2 con Ollama.

LLMs GPU Ollama Optimización de costos

Caso de uso
Casos de uso

Desacopla los archivos de modelos grandes de la imagen del contenedor con Cloud Storage FUSE. El desacoplamiento mejora los tiempos de compilación, simplifica las actualizaciones y crea una arquitectura de publicación más escalable.

Empaquetado de modelos Cloud Storage FUSE Prácticas recomendadas Modelos grandes

Caso de uso
Casos de uso

Usa el framework de Cog, que está optimizado para la entrega de AA, para simplificar el empaquetado y la implementación de contenedores en Cloud Run.

Cog Model Packaging Deployment Tutorial

Caso de uso
Casos de uso

Usa Cloud Run para la inferencia de AA liviana y compila una pila de supervisión rentable con servicios Google Cloud nativos, como Logging y BigQuery.

Supervisión MLOps Eficiencia de costos Inferencia

Videos relacionados