Concevoir une infrastructure d'IA avec Compute Advisor

Ce document explique comment planifier et concevoir vos instances ou clusters GPU en interrogeant Compute Advisor, une interface basée sur l'IA et optimisée par Gemini. Pour en savoir plus sur les composants que vous devez configurer avant ou lorsque vous créez un cluster, consultez Planifier et créer votre infrastructure d'IA.

Compute Advisor vous aide à évaluer les options matérielles, à estimer les coûts de déploiement et à afficher les configurations recommandées pour vos clusters. Pour personnaliser ses recommandations, Compute Advisor évalue votre Google Cloud projet en vérifiant vos limites de quotas, vos réservations existantes, vos remises sur engagement d'utilisation, votre région et zone par défaut, ainsi que toutes les contraintes de localisation des ressources. En utilisant Compute Advisor pour vous aider à planifier, vous pouvez atteindre une configuration optimale pour votre charge de travail avant de créer ou de modifier un cluster.

Limites

Lorsque vous interrogez Compute Advisor dans la Google Cloud console, vous ne pouvez pas créer, modifier ni supprimer directement des ressources.

Avant de commencer

Lorsque vous utilisez la Google Cloud console pour accéder aux Google Cloud services et aux API, vous n'avez pas besoin de configurer l'authentification.

Rôles requis

Pour obtenir les autorisations nécessaires pour accéder à Gemini et l'interroger, demandez à votre administrateur de vous accorder le rôle IAM Lecteur de Cluster Director (roles/hypercomputecluster.viewer) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour accéder à Gemini et l'interroger. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour accéder à Gemini et l'interroger :

  • Pour afficher la liste des clusters : hypercomputecluster.clusters.list

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Accéder à Compute Advisor dans la Google Cloud console

Pour accéder à Compute Advisor dans la Google Cloud console, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Compute Advisor.

    Accéder à Compute Advisor

  2. Une fois la page chargée, vous pouvez afficher les éléments suivants :

    Éléments d'interface de la page Compute Advisor.

    Les éléments d'interface utilisateur affichés dans la capture d'écran précédente sont les suivants :

    • Panneau latéral "Historique des conversations" : affiche vos discussions récentes. Vous pouvez interagir avec ce panneau comme suit :

      • Pour démarrer une nouvelle conversation, cliquez sur Nouvelle discussion.

      • Pour reprendre une conversation récente, cliquez sur la conversation dans la section Discussions récentes.

      • Pour afficher la liste de toutes vos conversations, cliquez sur Tout afficher. Sur la page Mon historique, vous pouvez afficher les détails d'une conversation passée et la reprendre, ou supprimer des conversations si vous n'en avez plus besoin.

    • Fiches de requêtes à action rapide : ensemble de fiches contenant chacune un exemple de requête. Si vous cliquez sur une fiche, la Google Cloud console remplit automatiquement le champ du prompt avec l'exemple de prompt.

    • Champ du prompt : ce champ vous permet de saisir et d'envoyer des prompts. Pour envoyer une requête, cliquez sur Envoyer la requête.

Interroger Compute Advisor

Une fois que vous avez envoyé une requête, Compute Advisor commence à générer une réponse. Un volet s'affiche et Google Cloud la console affiche la réponse à votre requête dans ce volet, comme illustré dans la capture d'écran suivante :

Réponse de recommandation générée dans le volet Compute Advisor.

En fonction de votre requête, le volet de réponse comprend les éléments suivants :

  • Ancrage contextuel : Compute Advisor évalue automatiquement le contexte de votre projet pour fournir des recommandations hautement personnalisées, y compris les limites de quotas, les réservations existantes, les remises sur engagement d'utilisation, votre région et zone par défaut, ainsi que toutes les contraintes de localisation des ressources.

  • Extraits de code interactifs : Compute Advisor génère des commandes gcloud, des méthodes d'API REST ou des ressources Terraform. Vous pouvez copier et coller ces extraits de code ou les exécuter dans Cloud Shell.

  • Canevas visuel : Compute Advisor organise les recommandations dans des tableaux structurés et des comparaisons côte à côte. Cette vue vous aide à évaluer les fonctionnalités des produits et les approches architecturales. Elle fournit également un plan d'implémentation pour votre cas d'utilisation.

Les sections suivantes décrivent les bonnes pratiques pour rédiger des requêtes et des exemples de requêtes que vous pouvez utiliser avant de créer ou de modifier un cluster.

Bonnes pratiques concernant les requêtes

Pour obtenir les recommandations les plus précises et les plus exploitables de Compute Advisor, nous vous recommandons de structurer vos requêtes de la même manière que vous le feriez pour un bloc de code. Cette approche guide l'IA générative en utilisant des déclarations de paramètres claires, des définitions de rôles, des instructions spécifiques et des formats de sortie explicites.

Lorsque vous interrogez Compute Advisor, tenez compte des bonnes pratiques suivantes :

  • Concentrez-vous sur la conception et la planification : nous vous recommandons de ne pas interroger Compute Advisor pour résoudre les erreurs de cluster. Pour résoudre ces erreurs, consultez plutôt Résoudre les problèmes de création, de mise à jour et de suppression d'instances de calcul.

  • Spécifiez un persona ou un rôle : déclarez un rôle ou un persona cible, tel qu'un administrateur informatique, un chercheur en IA ou un ingénieur de plate-forme, que Compute Advisor doit adopter. Cette approche guide le ton, la profondeur et le niveau d'expertise des recommandations résultantes.

  • Fournissez des instructions numérotées et explicites : décomposez votre objectif en questions ou tâches concrètes et détaillées. Cette approche structure le processus de raisonnement de Compute Advisor et permet de s'assurer qu'il répond à toutes vos exigences.

  • Définissez un format de sortie spécifique : indiquez explicitement le format souhaité pour la recommandation, par exemple une explication détaillée, un tableau de comparaison Markdown ou un bloc de code gcloud prêt à l'emploi.

  • Tirez parti de l'ancrage contextuel automatique : vous n'avez pas besoin d'inclure votre région ou zone par défaut, les quotas disponibles, les remises sur engagement d'utilisation ni les contraintes de localisation des ressources dans votre requête. Compute Advisor peut accéder à ces informations dans votre Google Cloud projet.

  • Affinez vos conceptions de manière itérative : vous pouvez modifier ou développer la réponse générée par Compute Advisor en envoyant de nouvelles requêtes. Par exemple, vous pouvez demander à l'assistant d'ajouter des recommandations de mise en réseau à votre plan de déploiement ou de modifier les exigences de stockage sans démarrer une nouvelle conversation.

Exemples de requêtes

Voici des exemples de requêtes que vous pouvez utiliser pour vous aider à concevoir et à optimiser votre cluster :

  • Topologie de cluster et stratégie de placement : pour déterminer le modèle de déploiement et la stratégie de placement optimaux pour une charge de travail d'IA hautes performances, utilisez une requête comme la suivante :

    Act as an AI researcher. I need to design a GPU cluster topology in
Cluster Director to train a foundation large language model that
maximizes ML goodput and secures accelerator capacity. Please provide the
following:

1. A comparison of clustered GPU machine series across available regions.
2. An explanation of how compact placement policies and workload policies
   reduce network latency and boost goodput.
3. The optimal configuration for future reservations in
   AI Hypercomputer to secure capacity for this workload.

Format the comparison as a Markdown table, and provide the deployment steps
as a ready-to-use gcloud code block.

  • Modèle de provisionnement et optimisation des coûts : pour évaluer les modèles de provisionnement et réduire les coûts de traitement par lot, utilisez une requête comme la suivante :

    Act as an IT administrator. I need to select the most cost-effective
consumption option to run large fault-tolerant AI batch jobs on clusters in
Cluster Director without data loss. Please provide the following:

1. A cost and availability comparison of Flex-start VMs against
   Spot VMs for AI workloads.

2. An explanation of how atomic allocation in Flex-start VMs
   provisions all accelerator nodes at the exact same time.

3. A cluster configuration with checkpoint storage to save model state
   before Compute Engine reclaims a Spot VM.

Format the comparison as a Markdown table, and provide the configuration
steps to complete in the Google Cloud console.

Étape suivante