Exécuter des solutions d'IA sur Cloud Run

Cloud Run vous permet d'héberger des applications et des agents d'IA, de diffuser l'inférence de modèles et de créer des workflows d'IA. L'infrastructure gérée et le scaling à la demande vous permettent d'exécuter des charges de travail d'IA conteneurisées sans gérer de serveurs ni de clusters.

Cloud Run pour héberger des applications d'IA, des agents et des points de terminaison d'API évolutifs

Cloud Run fournit une plate-forme entièrement gérée qui fait évoluer vos applications et charges de travail d'IA.

Lorsque vous hébergez des applications d'IA sur Cloud Run, vous disposez généralement des composants d'architecture suivants :

  • Diffusion et orchestration : vous déployez le code ou le conteneur de votre application sur Cloud Run.
  • Modèles d'IA : vous utilisez les modèles d'IA de Google, des modèles Open Source ou des modèles personnalisés avec votre application.
  • Intégrations : vous pouvez vous connecter à des services Google Cloud ou à des services tiers pour la mémoire, les bases de données, le stockage, la sécurité, etc.
  • Outils : vous pouvez vous connecter à des outils pour d'autres tâches et opérations.

Le schéma suivant présente une vue d'ensemble de l'utilisation de Cloud Run comme plate-forme d'hébergement pour les applications d'IA :

Les quatre composants d'une application d'IA hébergée sur Cloud Run : 1. Diffusion et orchestration, 2. Modèles d'IA, 3. Intégrations, 4. grâce aux outils d'analyse ;
Figure 1. Composants d'une application d'IA hébergée sur Cloud Run.

Comme illustré dans le schéma :

  1. Dans la couche de diffusion et d'orchestration, un service Cloud Run sert de point de terminaison d'API évolutif pour la logique de base de votre application. Il gère efficacement plusieurs utilisateurs simultanés grâce au scaling automatique, à la demande et rapide des instances.

    Vous fournissez votre conteneur à déployer sur Cloud Run. Vous pouvez empaqueter votre application et sa dépendance dans un conteneur, ou fournir votre code source et laisser Cloud Run créer automatiquement votre code dans un conteneur pour le déploiement. Pour les déploiements de code source, vous pouvez utiliser n'importe quel langage, framework ouvert ou SDK pour créer vos applications d'IA.

  2. Votre application IA agit comme un point de terminaison d'API évolutif qui gère les requêtes entrantes et envoie des données à un modèle d'IA pré-entraîné pour traitement, puis renvoie les résultats.

    Cloud Run est intégré aux modèles d'IA de Google, tels que les modèles Gemini et Vertex AI, et peut s'intégrer à des modèles d'IA Open Source, comme Llama et Gemma. Si vous disposez d'un modèle personnalisé que vous avez entraîné vous-même, vous pouvez également l'utiliser avec votre ressource Cloud Run.

  3. Google Cloud propose une grande variété de solutions pour prendre en charge l'infrastructure de votre application d'IA. Voici quelques intégrationsGoogle Cloud qui fonctionnent bien avec votre application d'IA :

    • Mémoire et bases de données
      • Court terme
        • Memorystore est un service de mise en cache et de gestion temporaire des données à accès élevé qui fournit un cache externe rapide pour le stockage de données à court terme.
      • Long terme
        • AlloyDB pour PostgreSQL est une base de données compatible avec PostgreSQL conçue pour les charges de travail transactionnelles et analytiques exigeantes. Il offre une génération d'embeddings vectoriels intégrée et un index vectoriel à grande vitesse, ce qui accélère la recherche sémantique par rapport à l'implémentation pgvector standard.
        • Cloud SQL est un service de base de données relationnelle pour MySQL, PostgreSQL et SQL Server qui peut également servir de magasin de vecteurs avec l'extension pgvector pour PostgreSQL.
        • Firestore est un service de base de données de documents NoSQL évolutif qui inclut des fonctionnalités de recherche vectorielle intégrées.
    • Stockage
      • Cloud Storage est une solution de stockage d'objets permettant de stocker de grands ensembles de données pour l'entraînement de modèles, des fichiers d'entrée/sortie pour votre application ou des artefacts de modèle.
    • Sécurité
      • Secret Manager est un service de gestion des secrets et des identifiants qui permet de stocker de manière sécurisée et centralisée des données sensibles telles que des clés API, des mots de passe et des identifiants, qui sont souvent nécessaires pour que les applications d'IA interagissent avec des services externes.

    Pour en savoir plus, consultez Se connecter aux services Google Cloud .

  4. Les outils permettent à vos applications IA et modèles d'interagir avec des services, des API ou des sites Web qui s'exécutent en externe ou sur Cloud Run.

    Par exemple, si votre application IA est un agent IA, votre agent peut envoyer une requête à un serveur MCP pour exécuter un outil externe, ou utiliser des outils exécutés dans votre conteneur, comme l'exécution de code, l'utilisation de l'ordinateur, la récupération d'informations, etc.

Héberger des modèles sur Cloud Run pour l'inférence de l'IA

En plus de créer des applications et des agents qui utilisent un grand modèle de langage (LLM), vous pouvez également activer les GPU avec Cloud Run pour exécuter des modèles pré-entraînés ou personnalisés autodéployés pour l'inférence d'IA.

Les GPU Cloud Run permettent de gérer le grand nombre d'opérations nécessaires pour exécuter des tâches de calcul intensives pour les charges de travail d'inférence d'IA. Déployez des modèles d'IA en tant qu'images de conteneur ou à partir du code source, et utilisez différentes méthodes pour déployer vos ressources Cloud Run.

Étapes suivantes