Point de vue de l'IA et du ML: excellence opérationnelle

Last reviewed 2026-10-29 UTC

Ce document du Well-Architected FrameworkGoogle Cloud  : perspective de l'IA et du ML présente les principes et les recommandations pour créer et exploiter des systèmes d'IA et de ML robustes sur Google Cloud. Ces recommandations vous aident à configurer des éléments de base tels que l'observabilité, l'automatisation et l'évolutivité. Les recommandations de ce document sont conformes au pilier de l'excellence opérationnelle du Well-Architected Framework.

L'excellence opérationnelle dans le domaine de l'IA et du ML est la capacité à déployer, gérer et gouverner de manière fluide les systèmes et pipelines d'IA et de ML qui contribuent à atteindre les objectifs stratégiques de votre organisation. L'excellence opérationnelle vous permet de répondre efficacement aux changements, de réduire la complexité opérationnelle et de vous assurer que vos opérations restent alignées sur vos objectifs commerciaux.

Les recommandations de ce document sont mises en correspondance avec les principes fondamentaux suivants :

Créer une base solide pour le développement de modèles

Pour développer et déployer des systèmes d'IA évolutifs et fiables qui vous aident à atteindre vos objectifs commerciaux, il est essentiel de disposer d'une base solide pour le développement de modèles. Une telle base permet d'assurer la cohérence des workflows, d'automatiser les étapes critiques afin de réduire les erreurs et de garantir que les modèles peuvent évoluer en fonction de la demande. Une base solide de développement de modèles garantit que vos systèmes de ML peuvent être mis à jour, améliorés et réentraînés de manière fluide. La fondation vous aide également à aligner les performances de vos modèles sur les besoins de votre entreprise, à déployer rapidement des solutions d'IA efficaces et à vous adapter à l'évolution des exigences.

Pour créer une base solide pour développer vos modèles d'IA, tenez compte des recommandations suivantes.

Définir les problèmes et les résultats requis

Avant de lancer un projet d'IA ou de ML, vous devez bien comprendre les problèmes métier à résoudre et les résultats attendus. Commencez par définir les objectifs d'entreprise, puis décomposez-les en indicateurs clés de performance (KPI) mesurables. Pour organiser et documenter vos définitions de problèmes et vos hypothèses dans un environnement de notebook Jupyter, utilisez des outils tels que Gemini Enterprise Agent Platform Workbench. Pour implémenter la gestion des versions du code et des documents, et pour documenter vos projets, objectifs et hypothèses, utilisez des outils comme Git. Pour développer et gérer des prompts pour les applications d'IA générative, vous pouvez utiliser Agent Studio sur Gemini Enterprise Agent Platform.

Collecter et prétraiter les données nécessaires

Pour mettre en œuvre le prétraitement et la transformation des données, vous pouvez utiliser Dataflow (pour Apache Beam), Managed Service pour Apache Spark (pour Apache Spark) ou BigQuery si un processus basé sur SQL est approprié. Pour valider les schémas et détecter les anomalies, utilisez TensorFlow Data Validation (TFDV) et profitez des analyses automatisées de la qualité des données dans BigQuery, le cas échéant.

Pour l'IA générative, la qualité des données inclut la précision, la pertinence, la diversité et l'alignement avec les caractéristiques de sortie requises. Lorsque les données réelles sont insuffisantes ou déséquilibrées, vous pouvez générer des données synthétiques pour améliorer la robustesse et la généralisation du modèle. Pour créer des ensembles de données synthétiques basés sur des modèles existants ou pour augmenter les données d'entraînement afin d'améliorer les performances du modèle, utilisez BigQuery DataFrames. Les données synthétiques sont particulièrement utiles pour l'IA générative, car elles peuvent contribuer à améliorer la diversité des prompts et la robustesse globale du modèle. Lorsque vous créez des ensembles de données pour affiner des modèles d'IA générative, envisagez d'utiliser les fonctionnalités de génération de données synthétiques de Gemini Enterprise Agent Platform.

Pour les tâches d'IA générative telles que l'affinage ou l'apprentissage par renforcement à partir de commentaires humains (RLHF), assurez-vous que les étiquettes reflètent précisément la qualité, la pertinence et la sécurité des résultats générés.

Sélectionner une approche de ML appropriée

Lorsque vous concevez votre modèle et ses paramètres, tenez compte de sa complexité et de ses besoins en calcul. Selon la tâche (classification, régression ou génération, par exemple), envisagez d'utiliser l'entraînement personnalisé Agent Platform pour créer un modèle personnalisé ou AutoML pour les tâches de ML plus simples. Pour les applications courantes, vous pouvez également accéder à des modèles pré-entraînés via Model Garden. Vous pouvez tester différents modèles de fondation de pointe pour divers cas d'utilisation, tels que la génération de texte, d'images et de code.

Vous pouvez affiner un modèle de fondation pré-entraîné pour obtenir des performances optimales pour votre cas d'utilisation spécifique. Pour les exigences de hautes performances dans l'entraînement personnalisé, configurez des Cloud TPU ou des ressources GPU afin d'accélérer l'entraînement et l'inférence des modèles de deep learning, tels que les grands modèles de langage (LLM) et les modèles de diffusion.

Configurer le contrôle des versions pour le code, les modèles et les données

Pour gérer et déployer efficacement les versions de code, utilisez des outils tels que GitHub ou GitLab. Ces outils fournissent des fonctionnalités de collaboration robustes, des stratégies de branchement et une intégration aux pipelines CI/CD pour garantir un processus de développement simplifié.

Utilisez des solutions appropriées pour gérer chaque artefact de votre système de ML, comme dans les exemples suivants :

  • Pour les artefacts de code tels que les images de conteneurs et les composants de pipeline, Artifact Registry fournit une solution de stockage évolutive qui peut vous aider à améliorer la sécurité. Artifact Registry inclut également la gestion des versions et peut s'intégrer à Cloud Build et Cloud Deploy.
  • Pour gérer les artefacts de données, tels que les ensembles de données utilisés pour l'entraînement et l'évaluation, utilisez des solutions telles que BigQuery ou Cloud Storage pour le stockage et la gestion des versions.
  • Pour stocker les métadonnées et les pointeurs vers les emplacements de données, utilisez votre système de contrôle des versions ou un catalogue de données distinct.

Pour maintenir la cohérence et la gestion des versions de vos données de caractéristiques, utilisez Agent Platform Feature Store. Pour suivre et gérer les artefacts de modèle, y compris les binaires et les métadonnées, utilisez Model Registry sur Gemini Enterprise Agent Platform, qui vous permet de stocker, d'organiser et de déployer des versions de modèle de manière fluide.

Pour garantir la fiabilité du modèle, implémentez Model Monitoring sur Gemini Enterprise Agent Platform. Détectez les dérives de données, suivez les performances et identifiez les anomalies en production. Pour les systèmes d'IA générative, surveillez les changements de qualité des résultats et de conformité de sécurité.

Automatiser le cycle de vie du développement de modèles

L'automatisation vous aide à simplifier chaque étape du cycle de vie de l'IA et du ML. L'automatisation réduit les efforts manuels et standardise les processus, ce qui améliore l'efficacité opérationnelle et réduit le risque d'erreurs. Les workflows automatisés permettent une itération plus rapide, un déploiement cohérent dans tous les environnements et des résultats plus fiables, afin que vos systèmes puissent évoluer et s'adapter de manière fluide.

Pour automatiser le cycle de vie de développement de vos systèmes d'IA et de ML, tenez compte des recommandations suivantes.

Utiliser un système d'orchestration de pipeline géré

Utilisez Gemini Enterprise Agent Platform Pipelines pour automatiser chaque étape du cycle de vie du ML, de la préparation des données à l'entraînement, l'évaluation et le déploiement des modèles. Pour accélérer le déploiement et favoriser la cohérence entre les projets, automatisez les tâches récurrentes avec des exécutions de pipeline planifiées, surveillez les workflows avec des métriques d'exécution et développez des modèles de pipeline réutilisables pour les workflows standardisés. Ces fonctionnalités s'étendent aux modèles d'IA générative, qui nécessitent souvent des étapes spécialisées telles que le prompt engineering, le filtrage des réponses et l'évaluation human-in-the-loop. Pour l'IA générative, Agent Platform Pipelines peut automatiser ces étapes, y compris l'évaluation des résultats générés par rapport aux métriques de qualité et aux consignes de sécurité. Pour améliorer la diversité des requêtes et la robustesse du modèle, les workflows automatisés peuvent également inclure des techniques d'augmentation des données.

Implémentez des pipelines CI/CD

Pour automatiser la création, les tests et le déploiement de modèles de ML, utilisez Cloud Build. Ce service est particulièrement efficace lorsque vous exécutez des suites de tests pour le code d'application, ce qui garantit que l'infrastructure, les dépendances et l'empaquetage du modèle répondent à vos exigences de déploiement.

Les systèmes de ML nécessitent souvent des étapes supplémentaires au-delà des tests de code. Par exemple, vous devez tester les modèles sous différentes charges, effectuer des évaluations groupées pour évaluer les performances des modèles sur différents ensembles de données et valider l'intégrité des données avant de les réentraîner. Pour simuler des charges de travail réalistes pour les tests de résistance, vous pouvez utiliser des outils tels que Locust, Grafana k6 ou Apache JMeter. Pour identifier les goulots d'étranglement, surveillez les métriques clés telles que la latence, le taux d'erreur et l'utilisation des ressources via Cloud Monitoring. Pour l'IA générative, les tests doivent également inclure des évaluations spécifiques au type de contenu généré, telles que la qualité du texte, la fidélité de l'image ou la fonctionnalité du code. Ces évaluations peuvent impliquer des métriques automatisées telles que la perplexité pour les modèles de langage ou une évaluation avec intervention humaine pour des aspects plus nuancés tels que la créativité et la sécurité.

Pour implémenter des tâches de test et d'évaluation, vous pouvez intégrer Cloud Build à d'autres services Google Cloud . Par exemple, vous pouvez utiliser les pipelines Agent Platform pour l'évaluation automatisée des modèles, BigQuery pour l'analyse des données à grande échelle et la validation des pipelines Dataflow pour la validation des caractéristiques.

Vous pouvez encore améliorer votre pipeline CI/CD en utilisant Agent Platform pour l'entraînement continu afin d'activer le réentraînement automatisé des modèles sur de nouvelles données. Plus précisément, pour l'IA générative, afin de maintenir la pertinence et la diversité des résultats générés, le réentraînement peut impliquer la mise à jour automatique des modèles avec de nouvelles données d'entraînement ou de nouveaux prompts. Vous pouvez utiliser Agent Platform Model Garden pour sélectionner les derniers modèles de base disponibles pour le réglage. Cette pratique garantit que les modèles restent à jour et optimisés pour l'évolution de vos besoins métier.

Implémenter des lancements de modèles sûrs et contrôlés

Pour minimiser les risques et garantir des déploiements fiables, mettez en œuvre une approche de publication de modèle qui vous permet de détecter les problèmes de manière précoce, de valider les performances et d'effectuer un rollback rapidement si nécessaire.

Pour empaqueter vos modèles et applications de ML dans des images de conteneurs et les déployer, utilisez Cloud Deploy. Vous pouvez déployer vos modèles sur des points de terminaison Agent Platform.

Mettez en œuvre des versions contrôlées pour vos applications et systèmes d'IA en utilisant des stratégies telles que les versions Canary. Pour les applications qui utilisent des modèles gérés comme Gemini, nous vous recommandons de publier progressivement les nouvelles versions de l'application auprès d'un sous-ensemble d'utilisateurs avant le déploiement complet. Cette approche vous permet de détecter les problèmes potentiels à un stade précoce, en particulier lorsque vous utilisez des modèles d'IA générative dont les résultats peuvent varier.

Pour publier des modèles réglés, vous pouvez utiliser Cloud Deploy pour gérer le déploiement des versions de modèle et utiliser la stratégie de version Canary pour minimiser les risques. Avec les modèles gérés et les modèles affinés, l'objectif des versions contrôlées est de tester les modifications auprès d'une audience limitée avant de publier les applications et les modèles pour tous les utilisateurs.

Pour une validation robuste, utilisez les tests sur Gemini Enterprise Agent Platform afin de comparer les nouveaux modèles aux modèles existants, et utilisez l'évaluation de modèle Agent Platform pour évaluer les performances des modèles. Pour l'IA générative en particulier, définissez des métriques d'évaluation qui correspondent au cas d'utilisation prévu et aux risques potentiels. Vous pouvez utiliser Gen AI Evaluation Service d'Agent Platform pour évaluer des métriques telles que la toxicité, la cohérence, la justesse factuelle et le respect des consignes de sécurité.

Pour garantir la fiabilité du déploiement, vous avez besoin d'un plan de rollback robuste. Pour les systèmes de ML traditionnels, utilisez Model Monitoring sur Agent Platform pour détecter la dérive des données et la dégradation des performances. Pour les modèles d'IA générative, vous pouvez suivre les métriques pertinentes et configurer des alertes en cas de changement de la qualité des résultats ou d'apparition de contenus nuisibles en utilisant l'évaluation des modèles d'Agent Platform, ainsi que Cloud Logging et Monitoring. Configurez des alertes basées sur des métriques spécifiques à l'IA générative pour déclencher des procédures de rollback si nécessaire. Pour suivre la traçabilité du modèle et revenir à la version stable la plus récente, utilisez les insights de Model Registry.

Implémenter l'observabilité

Le comportement des systèmes d'IA et de ML peut changer au fil du temps en raison de modifications des données ou de l'environnement, et de mises à jour des modèles. Cette nature dynamique rend l'observabilité cruciale pour détecter les problèmes de performances, les biais ou les comportements inattendus. C'est particulièrement vrai pour les modèles d'IA générative, car les résultats peuvent être très variables et subjectifs. L'observabilité vous permet de gérer de manière proactive les comportements inattendus et de vous assurer que vos systèmes d'IA et de ML restent fiables, précis et équitables.

Pour mettre en œuvre l'observabilité de vos systèmes d'IA et de ML, tenez compte des recommandations suivantes.

Surveiller les performances en continu

Utilisez des métriques et des critères de réussite pour évaluer en continu les modèles après leur déploiement.

Vous pouvez utiliser Model Monitoring sur Agent Platform pour suivre de manière proactive les performances du modèle, identifier les écarts entre l'entraînement et la mise en service et la dérive des prédictions, et recevoir des alertes pour déclencher le réentraînement du modèle ou d'autres interventions nécessaires. Pour surveiller efficacement le décalage entraînement/diffusion, créez un ensemble de données de référence qui représente la distribution idéale des données, puis utilisez TFDV pour analyser vos données d'entraînement et établir un schéma de référence.

Configurez Model Monitoring sur Agent Platform pour comparer la distribution des données d'entrée à l'ensemble de données de référence afin de détecter automatiquement les décalages. Pour les modèles de ML traditionnels, concentrez-vous sur des métriques telles que la justesse, la précision, le rappel, le score F1, l'AUC-ROC et la perte logistique. Définissez des seuils personnalisés pour les alertes dans Model Monitoring sur Agent Platform. Pour l'IA générative, utilisez le service d'évaluation de l'IA générative pour surveiller en continu les sorties du modèle en production. Vous pouvez également activer des métriques d'évaluation automatique pour la qualité des réponses, la sécurité, le respect des instructions, l'ancrage, le style d'écriture et la verbosité. Pour évaluer la qualité, la pertinence, la sécurité et le respect des consignes des résultats générés, vous pouvez intégrer une évaluation human-in-the-loop.

Créez des boucles de rétroaction pour réentraîner automatiquement les modèles avec Agent Platform Pipelines lorsqu'Agent Platform Model Monitoring déclenche une alerte. Utilisez ces insights pour améliorer vos modèles en continu.

Évaluer les modèles pendant le développement

Avant de déployer vos LLM et d'autres modèles d'IA générative, évaluez-les minutieusement pendant la phase de développement. Utilisez l'évaluation de modèle Agent Platform pour obtenir des performances optimales et limiter les risques. Utilisez l'évaluation rapide d'Agent Platform pour permettre à Google Cloud d'exécuter automatiquement des évaluations en fonction de l'ensemble de données et des requêtes que vous fournissez.

Vous pouvez également définir et intégrer des métriques personnalisées spécifiques à votre cas d'utilisation. Pour obtenir des commentaires sur le contenu généré, intégrez des workflows human-in-the-loop (avec intervention humaine) à l'aide de l'évaluation de modèle Agent Platform.

Utilisez des tests antagonistes pour identifier les failles et les modes de défaillance potentiels. Pour identifier et atténuer les biais potentiels, utilisez des techniques telles que l'analyse de sous-groupes et la génération contrefactuelle. Utilisez les insights recueillis lors des évaluations effectuées pendant la phase de développement pour définir votre stratégie de surveillance du modèle en production. Préparez votre solution pour une surveillance continue, comme décrit dans la section Surveiller les performances en continu de ce document.

Surveiller la disponibilité

Pour obtenir une visibilité sur l'état et les performances de vos points de terminaison et de votre infrastructure déployés, utilisez Monitoring. Pour vos points de terminaison Agent Platform, suivez les métriques clés telles que le taux de requêtes, le taux d'erreur, la latence et l'utilisation des ressources, et configurez des alertes en cas d'anomalies. Pour en savoir plus, consultez Métriques de surveillance pour Agent Platform.

Surveillez l'état de l'infrastructure sous-jacente, qui peut inclure des instances Compute Engine, des clusters Google Kubernetes Engine (GKE), ainsi que des Cloud TPU et des GPU. Obtenez des recommandations d'optimisation automatisées d'Active Assist. Si vous utilisez l'autoscaling, surveillez le comportement de scaling pour vous assurer que l'autoscaling répond de manière appropriée aux changements de modèles de trafic.

Suivez l'état des déploiements de modèles, y compris les versions Canary et les rollbacks, en intégrant Cloud Deploy à Monitoring. De plus, surveillez les menaces et les failles de sécurité potentielles à l'aide de Security Command Center.

Configurez des alertes personnalisées pour les seuils spécifiques à votre entreprise

Pour identifier et corriger rapidement les anomalies et les problèmes, configurez des alertes personnalisées basées sur des seuils spécifiques à vos objectifs d'entreprise. Voici quelques exemples de produits Google Cloud que vous pouvez utiliser pour mettre en œuvre un système d'alerte personnalisé :

  • Logging : collectez, stockez et analysez les journaux de tous les composants de votre système d'IA et de ML.
  • Surveillance : créez des tableaux de bord personnalisés pour visualiser les métriques et les tendances clés, et définissez des métriques personnalisées en fonction de vos besoins. Configurez des alertes pour recevoir des notifications sur les problèmes critiques, et intégrez-les à vos outils de gestion des incidents tels que PagerDuty ou Slack.
  • Error Reporting : capturez et analysez automatiquement les erreurs et les exceptions.
  • Cloud Trace : analysez les performances des systèmes distribués et identifiez les goulots d'étranglement. Le traçage est particulièrement utile pour comprendre la latence entre les différents composants de votre pipeline d'IA et de ML.
  • Cloud Profiler : analysez en continu les performances de votre code en production et identifiez les goulots d'étranglement au niveau de l'utilisation du processeur ou de la mémoire.

Développer une culture d'excellence opérationnelle

Ne vous contentez pas de créer des modèles, mais concentrez-vous sur la création de solutions d'IA durables, fiables et efficaces. Permettez aux équipes d'apprendre, d'innover et de s'améliorer en continu, ce qui se traduit par des cycles de développement plus rapides, une réduction des erreurs et une efficacité accrue. En donnant la priorité à l'automatisation, à la standardisation et aux considérations éthiques, vous pouvez vous assurer que vos initiatives d'IA et de ML apportent constamment de la valeur, atténuent les risques et favorisent le développement d'une IA responsable.

Pour créer une culture d'excellence opérationnelle pour vos systèmes d'IA et de ML, tenez compte des recommandations suivantes.

Promouvoir l'automatisation et la standardisation

Pour mettre l'accent sur l'efficacité et la cohérence, intégrez l'automatisation et les pratiques standardisées à chaque étape du cycle de vie de l'IA et du ML. L'automatisation réduit les erreurs manuelles et permet aux équipes de se concentrer sur l'innovation. La standardisation garantit que les processus sont reproductibles et évolutifs entre les équipes et les projets.

Priorisez l'apprentissage et l'amélioration continus

Favorisez un environnement où la formation continue et l'expérimentation sont des principes fondamentaux. Encouragez les équipes à se tenir au courant des avancées de l'IA et du ML, et offrez-leur des opportunités d'apprendre des projets passés. Une culture de la curiosité et de l'adaptation stimule l'innovation et permet aux équipes de relever de nouveaux défis.

Cultiver la responsabilité et l'appropriation

Renforcez la confiance et l'alignement grâce à des rôles, des responsabilités et des métriques de réussite clairement définis. Donnez aux équipes les moyens de prendre des décisions éclairées dans ces limites et établissez des méthodes transparentes pour mesurer les progrès. Le sentiment d'appropriation motive les équipes et garantit la responsabilité collective des résultats.

Intégrer des considérations d'éthique et de sécurité de l'IA

Donnez la priorité aux considérations éthiques à chaque étape du développement. Encouragez les équipes à réfléchir de manière critique à l'impact de leurs solutions d'IA, et favorisez les discussions sur l'équité, les biais et l'impact sociétal. Des principes clairs et des mécanismes de responsabilité garantissent que vos systèmes d'IA sont conformes aux valeurs de l'organisation et favorisent la confiance.

Concevoir pour l'évolutivité

Pour s'adapter à l'augmentation des volumes de données et des demandes des utilisateurs, et pour maximiser la valeur des investissements dans l'IA, vos systèmes d'IA et de ML doivent être évolutifs. Les systèmes doivent s'adapter et fonctionner de manière optimale pour éviter les goulots d'étranglement qui nuisent à l'efficacité. En concevant une infrastructure d'IA évolutive, vous vous assurez qu'elle peut gérer la croissance et maintenir sa réactivité. Utilisez une infrastructure évolutive, planifiez la capacité et employez des stratégies telles que le scaling horizontal et les services gérés.

Pour concevoir vos systèmes d'IA et de ML de manière à ce qu'ils soient évolutifs, tenez compte des recommandations suivantes.

Planifier la capacité et les quotas

Évaluez la croissance future, puis planifiez la capacité de votre infrastructure et vos quotas de ressources en conséquence. Collaborez avec les parties prenantes de l'entreprise pour comprendre la croissance prévue, puis définissez les exigences d'infrastructure en conséquence.

Utilisez Monitoring pour analyser l'utilisation historique des ressources, identifier les tendances et projeter les besoins futurs. Effectuez régulièrement des tests de charge pour simuler les charges de travail et identifier les goulots d'étranglement.

Familiarisez-vous avec les quotasGoogle Cloud des services que vous utilisez, tels que Compute Engine, Agent Platform et Cloud Storage. Demandez de manière proactive des augmentations de quota via la console Google Cloud , et justifiez-les à l'aide des données issues des prévisions et des tests de charge. Surveillez l'utilisation des quotas et configurez des alertes pour recevoir des notifications lorsque l'utilisation approche des limites de quota.

Pour optimiser l'utilisation des ressources en fonction de la demande, redimensionnez vos ressources, utilisez des VM Spot pour les charges de travail par lot tolérantes aux pannes et implémentez l'autoscaling.

Se préparer aux pics d'activité

Assurez-vous que votre système peut gérer les pics soudains de trafic ou de charge de travail lors des événements de pointe. Documentez votre stratégie pour les événements de pointe et effectuez des exercices réguliers pour tester la capacité de votre système à gérer une charge accrue.

Pour effectuer un scaling agressif des ressources à la hausse lorsque la demande augmente, configurez des règles d'autoscaling dans Compute Engine et GKE. Pour les pics prévisibles, envisagez d'utiliser l'autoscaling prédictif. Pour déclencher l'autoscaling en fonction de signaux spécifiques à l'application, utilisez des métriques personnalisées dans Monitoring.

Répartissez le trafic entre plusieurs instances d'application à l'aide de Cloud Load Balancing. Choisissez un type d'équilibreur de charge approprié en fonction des besoins de votre application. Pour les utilisateurs répartis géographiquement, vous pouvez utiliser l'équilibrage de charge global pour acheminer le trafic vers l'instance disponible la plus proche. Pour les architectures complexes basées sur des microservices, envisagez d'utiliser Cloud Service Mesh.

Mettez en cache le contenu statique à la périphérie du réseau de Google à l'aide de Cloud CDN.

Pour mettre en cache les données fréquemment consultées, utilisez l'un des services de datastore en mémoire entièrement gérés suivants :

Dissociez les composants de votre système en utilisant Pub/Sub pour la messagerie en temps réel et Cloud Tasks pour l'exécution de tâches asynchrones.

Mettre à l'échelle des applications pour la production

Pour garantir une mise en service évolutive en production, vous pouvez utiliser des services gérés tels que l'entraînement distribué Agent Platform et l'inférence Gemini Enterprise Agent Platform. Agent Platform Inference vous permet de configurer les types de machines pour vos nœuds de prédiction lorsque vous déployez un modèle sur un point de terminaison ou demandez des prédictions par lot. Pour certaines configurations, vous pouvez ajouter des GPU. Choisissez le type de machine et les accélérateurs appropriés pour optimiser la latence, le débit et les coûts.

Pour faire évoluer des applications d'IA et Python complexes et des charges de travail personnalisées sur des ressources de calcul distribuées, vous pouvez utiliser Ray sur Gemini Enterprise Agent Platform. Cette fonctionnalité peut vous aider à optimiser les performances et permet une intégration fluide avec les servicesGoogle Cloud . Ray sur Gemini Enterprise Agent Platform simplifie l'informatique distribuée en gérant la gestion des clusters, la planification des tâches et le transfert de données. Il s'intègre à d'autres services Agent Platform tels que l'entraînement, la prédiction et les pipelines. Ray offre une tolérance aux pannes et un autoscaling, et vous aide à adapter l'infrastructure aux charges de travail changeantes. Il offre un framework unifié pour l'entraînement distribué, le réglage des hyperparamètres, l'apprentissage par renforcement et la mise en service des modèles. Utilisez Ray pour le prétraitement des données distribuées avec Dataflow ou Managed Service pour Apache Spark, l'entraînement accéléré des modèles, le réglage évolutif des hyperparamètres, l'apprentissage par renforcement et la prédiction par lot parallélisée.

Contributeurs

Auteurs :

Autres contributeurs :

Précédent
Aperçu
Suivant
Sécurité