Concevoir une infrastructure d'IA avec Compute Advisor

Ce document explique comment planifier et concevoir vos instances ou votre cluster de GPU en interrogeant Compute Advisor, une interface optimisée par l'IA et basée sur Gemini. Pour en savoir plus sur les composants que vous devez configurer avant ou pendant la création d'un cluster, consultez Planifier et créer votre infrastructure d'IA.

Compute Advisor vous aide à évaluer les options matérielles, à estimer les coûts de déploiement et à afficher les configurations recommandées pour vos clusters. Pour personnaliser ses recommandations, Compute Advisor évalue votre projetGoogle Cloud en vérifiant vos limites de quota, vos réservations existantes, vos remises sur engagement d'utilisation, votre région et votre zone par défaut, ainsi que toutes les contraintes d'emplacement des ressources. En utilisant Compute Advisor pour vous aider à planifier, vous pouvez obtenir une configuration optimale pour votre charge de travail avant de créer ou de modifier un cluster.

Limites

Lorsque vous interrogez Compute Advisor dans la console Google Cloud , vous ne pouvez pas créer, modifier ni supprimer directement des ressources.

Avant de commencer

Lorsque vous utilisez la console Google Cloud pour accéder aux services et aux API Google Cloud , vous n'avez pas besoin de configurer l'authentification.

Rôles requis

Pour obtenir les autorisations nécessaires pour accéder à Gemini et lui envoyer des requêtes, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de Cluster Director (roles/hypercomputecluster.viewer) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour accéder à Gemini et lui envoyer des requêtes. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour accéder à Gemini et lui envoyer des requêtes :

  • Pour afficher la liste des clusters : hypercomputecluster.clusters.list

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Accéder à Compute Advisor dans la console Google Cloud

Pour accéder à Compute Advisor dans la console Google Cloud , procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Compute Advisor.

    Accéder à Compute Advisor

  2. Lorsque la page est prête, vous pouvez afficher les éléments suivants :

    Éléments d'interface de la page Compute Advisor.

    Les éléments d'interface utilisateur affichés dans la capture d'écran précédente sont les suivants :

    • Panneau latéral de l'historique des conversations : affiche vos discussions récentes. Vous pouvez interagir avec ce panneau de la manière suivante :

      • Pour démarrer une nouvelle conversation, cliquez sur Nouvelle discussion.

      • Pour reprendre une conversation récente, cliquez dessus dans la section Discussions récentes.

      • Pour afficher la liste de toutes vos conversations, cliquez sur Tout afficher. Sur la page Mon historique, vous pouvez afficher les détails d'une conversation passée et la reprendre, ou supprimer des conversations si vous n'en avez plus besoin.

    • Fiches de requêtes d'action rapide : ensemble de fiches contenant chacune un exemple de requête. Si vous cliquez sur une fiche, la console Google Cloud remplit automatiquement le champ du prompt avec l'exemple de prompt.

    • Champ du prompt : ce champ vous permet de saisir et d'envoyer des prompts. Pour envoyer un prompt, cliquez sur Envoyer le prompt.

Prompt Compute Advisor

Une fois que vous avez envoyé une requête, Compute Advisor commence à générer une réponse. Un volet s'affiche et la console Google Cloud affiche la réponse à votre requête dans le volet, comme illustré dans la capture d'écran suivante :

Réponse de recommandation générée dans le volet Compute Advisor.

En fonction de votre requête, le volet de réponse inclut les éléments suivants :

  • Ancrage contextuel : Compute Advisor évalue automatiquement le contexte de votre projet pour fournir des recommandations hautement personnalisées, y compris les limites de quota, les réservations existantes, les remises sur engagement d'utilisation, votre région et votre zone par défaut, ainsi que les contraintes d'emplacement des ressources.

  • Extraits de code interactifs : Compute Advisor génère des commandes gcloud, des méthodes d'API REST ou des ressources Terraform. Vous pouvez copier et coller ces extraits de code ou les exécuter dans Cloud Shell.

  • Canevas visuel : Compute Advisor organise les recommandations dans des tableaux structurés et des comparatifs. Cette vue vous aide à évaluer les fonctionnalités du produit et les approches architecturales. Il fournit également un plan de mise en œuvre pour votre cas d'utilisation.

Les sections suivantes décrivent les bonnes pratiques à suivre pour rédiger des prompts, ainsi que des exemples de prompts que vous pouvez utiliser avant de créer ou de modifier un cluster.

Bonnes pratiques concernant les prompts

Pour obtenir les recommandations les plus précises et les plus exploitables de Compute Advisor, nous vous recommandons de structurer vos prompts de la même manière que vous le feriez pour un bloc de code. Cette approche guide l'IA générative à l'aide de déclarations de paramètres claires, de définitions de rôles, d'instructions spécifiques et de formats de sortie explicites.

Lorsque vous envoyez des requêtes à Compute Advisor, tenez compte des bonnes pratiques suivantes :

  • Concentrez-vous sur la conception et la planification : nous vous recommandons de ne pas demander à Compute Advisor de résoudre les erreurs de cluster. Pour résoudre ces erreurs, consultez plutôt Résoudre les problèmes de création, de mise à jour et de suppression d'instances de calcul.

  • Spécifier un persona ou un rôle : déclarez un rôle ou un persona cible, tel qu'un administrateur informatique, un chercheur en IA ou un ingénieur de plate-forme, que Compute Advisor doit adopter. Cette approche guide le ton, la profondeur et le niveau d'expertise des recommandations obtenues.

  • Fournissez des instructions explicites et numérotées : décomposez votre objectif en questions ou tâches concrètes, étape par étape. Cette approche structure le processus de raisonnement de Compute Advisor et permet de s'assurer qu'il répond à toutes vos exigences.

  • Définissez un format de sortie spécifique : indiquez explicitement comment vous souhaitez que la recommandation soit formatée, par exemple une explication détaillée, un tableau de comparaison Markdown ou un bloc de code gcloud prêt à l'emploi.

  • Exploitez l'ancrage automatique du contexte : vous n'avez pas besoin d'inclure votre région ou zone par défaut, les quotas disponibles, les remises sur engagement d'utilisation ou les contraintes d'emplacement des ressources dans votre requête. Compute Advisor peut accéder à ces informations dans votre projet Google Cloud .

  • Affiner vos conceptions de manière itérative : vous pouvez modifier ou développer la réponse générée par Compute Advisor en envoyant de nouveaux prompts. Par exemple, vous pouvez demander à l'assistant d'ajouter des recommandations de mise en réseau à votre plan de déploiement ou de modifier les exigences de stockage sans démarrer une nouvelle conversation.

Exemples de prompts

Voici des exemples de prompts que vous pouvez utiliser pour concevoir et optimiser votre cluster :

  • Topologie du cluster et stratégie d'emplacement : pour déterminer le modèle de déploiement et la stratégie d'emplacement optimaux pour une charge de travail d'IA hautes performances, utilisez un prompt semblable à celui-ci :

    Act as an AI researcher. I need to design a GPU cluster topology in
Cluster Director to train a foundation large language model that
maximizes ML goodput and secures accelerator capacity. Please provide the
following:

1. A comparison of clustered GPU machine series across available regions.
2. An explanation of how compact placement policies and workload policies
   reduce network latency and boost goodput.
3. The optimal configuration for future reservations in
   AI Hypercomputer to secure capacity for this workload.

Format the comparison as a Markdown table, and provide the deployment steps
as a ready-to-use gcloud code block.

  • Modèle de provisionnement et optimisation des coûts : pour évaluer les modèles de provisionnement et réduire les coûts de traitement par lot, utilisez un prompt semblable à celui-ci :

    Act as an IT administrator. I need to select the most cost-effective
consumption option to run large fault-tolerant AI batch jobs on clusters in
Cluster Director without data loss. Please provide the following:

1. A cost and availability comparison of Flex-start VMs against
   Spot VMs for AI workloads.

2. An explanation of how atomic allocation in Flex-start VMs
   provisions all accelerator nodes at the exact same time.

3. A cluster configuration with checkpoint storage to save model state
   before Compute Engine reclaims a Spot VM.

Format the comparison as a Markdown table, and provide the configuration
steps to complete in the Google Cloud console.

Étapes suivantes