Questo documento spiega come pianificare e progettare il tuo cluster chiedendo a Gemini.
Puoi utilizzare Gemini nella console Google Cloud come interfaccia basata sull'AI per valutare le opzioni hardware, stimare i costi di deployment e visualizzare le configurazioni consigliate per i tuoi cluster. Per personalizzare i suoi consigli, Gemini valuta il tuo progetto Google Cloud controllando i limiti di quota, le prenotazioni esistenti, gli sconti per impegno di utilizzo (CUD), la regione e la zona predefinite e qualsiasi vincolo di località delle risorse. Utilizzando Gemini per pianificare, puoi raggiungere una configurazione ottimale per il tuo workload prima di creare o modificare un cluster.
Per saperne di più sui componenti che devi configurare prima o durante la creazione di un cluster, consulta la panoramica delle opzioni di deployment.
Limitazioni
Quando utilizzi Gemini nella console Google Cloud , non puoi creare, modificare o eliminare risorse.
Prima di iniziare
Quando utilizzi la console Google Cloud per accedere ai servizi Google Cloud e alle API, non devi configurare l'autenticazione.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per accedere a Gemini e utilizzarlo, chiedi all'amministratore di concederti il ruolo IAM Visualizzatore di Cluster Director (roles/hypercomputecluster.viewer) nel progetto.
Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per accedere a Gemini e utilizzarlo. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per accedere a Gemini e utilizzarlo sono necessarie le seguenti autorizzazioni:
-
Per visualizzare un elenco di cluster:
hypercomputecluster.clusters.list
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Accedere a Gemini nella Google Cloud console
Per accedere a Gemini nella console Google Cloud , completa i seguenti passaggi:
Nella console Google Cloud , vai alla pagina Panoramica.
Nella sezione Progetta la tua infrastruttura con Compute Advisor, fai clic su Avvia una nuova chat.
Nella pagina Compute Advisor, puoi visualizzare quanto segue:
Gli elementi UI visualizzati nello screenshot precedente sono i seguenti:
Riquadro laterale della cronologia delle conversazioni: mostra le tue chat recenti. Puoi interagire con questo riquadro nel seguente modo:
Per avviare una nuova conversazione, fai clic su Nuova chat.
Per riprendere una conversazione recente, fai clic sulla conversazione nella sezione Chat recenti.
Per visualizzare un elenco di tutte le tue conversazioni, fai clic su Visualizza tutto. Nella pagina La mia attività, puoi visualizzare i dettagli di una conversazione passata e riprenderla o eliminare le conversazioni se non ti servono più.
Schede dei prompt di azioni rapide: un insieme di schede contenenti ciascuna un prompt di esempio. Se fai clic su una scheda, la console Google Cloud compila automaticamente il campo del prompt con il prompt di esempio.
Casella del prompt: questo campo ti consente di inserire e inviare prompt. Per inviare un prompt, fai clic su Invia prompt.
Prompt di Gemini
Dopo aver inviato un prompt, Gemini inizia a generare una risposta. Viene visualizzato un riquadro e la console Google Cloud mostra la risposta al prompt nel riquadro, come mostrato nello screenshot seguente:
In base al prompt, il riquadro della risposta include i seguenti elementi:
Grounding contestuale: Gemini valuta automaticamente il contesto del tuo progetto per fornire consigli altamente personalizzati, inclusi limiti di quota, prenotazioni esistenti, CUD, regione e zona predefinite ed eventuali vincoli di località delle risorse.
Snippet di codice interattivi: Gemini genera comandi gcloud, metodi API REST o risorse Terraform. Puoi copiare e incollare questi snippet di codice o eseguirli in Cloud Shell.
Canvas visivo: Gemini organizza i consigli in tabelle strutturate e confronti affiancati. Questa visualizzazione ti aiuta a valutare le funzionalità del prodotto e gli approcci architetturali. Fornisce anche un piano di implementazione per il tuo caso d'uso.
Le sezioni seguenti descrivono le best practice per la scrittura dei prompt ed esempi di prompt che puoi utilizzare prima di creare o modificare un cluster.
Best practice per la creazione di prompt
Per ricevere i suggerimenti più accurati e utili da Gemini, ti consigliamo di strutturare i prompt nello stesso modo in cui struttureresti un blocco di codice. Questo approccio guida l'AI generativa utilizzando dichiarazioni di parametri chiare, definizioni di ruoli, istruzioni specifiche e formati di output espliciti.
Quando utilizzi Gemini, tieni presente le seguenti best practice:
Concentrati sulla progettazione e sulla pianificazione: ti consigliamo di non chiedere a Gemini di risolvere i problemi relativi agli errori del cluster. Per risolvere questi errori, consulta Risolvi i problemi di creazione, aggiornamento ed eliminazione delle istanze di Compute.
Specifica un ruolo o una persona: dichiara un ruolo o una persona target, ad esempio un amministratore IT, un ricercatore di AI o un ingegnere di piattaforma, che Gemini deve adottare. Questo approccio guida il tono, la profondità e il livello di competenza dei suggerimenti risultanti.
Fornisci istruzioni esplicite e numerate: suddividi il tuo obiettivo in domande o attività concrete e passo passo. Questo approccio struttura il processo di ragionamento di Gemini e contribuisce a garantire che Gemini soddisfi tutti i tuoi requisiti.
Definisci un formato di output specifico: indica esplicitamente come vuoi che venga formattato il suggerimento, ad esempio una spiegazione dettagliata, una tabella di confronto in Markdown o un blocco di codice gcloud pronto all'uso.
Sfrutta la base contestuale automatica: non devi includere la regione o la zona predefinita, le quote disponibili, gli sconti per impegno di utilizzo o i vincoli di località delle risorse nel prompt. Gemini può accedere a queste informazioni nel tuo progetto Google Cloud .
Perfeziona i tuoi progetti in modo iterativo: puoi modificare o espandere la risposta che Gemini ha generato inviando nuovi prompt. Ad esempio, puoi chiedere all'assistente di aggiungere consigli di networking al tuo piano di implementazione o modificare i requisiti di archiviazione senza avviare una nuova conversazione.
Prompt di esempio
Di seguito sono riportati alcuni esempi di prompt che puoi utilizzare per progettare e ottimizzare il cluster:
Topologia del cluster e strategia di posizionamento: per determinare il modello di deployment e la norma di posizionamento ottimali per un workload di AI ad alte prestazioni, utilizza un prompt come il seguente:
Act as an AI researcher. I need to design a cluster topology in Cluster Director for training a large language model that balances high accelerator performance with guaranteed capacity. Please provide the following: 1. A side-by-side comparison of deploying A3 Mega VMs across different regions. 2. An explanation of how topology-aware scheduling minimizes network latency. 3. The optimal reservation configuration for this training workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.Modello di provisioning e ottimizzazione dei costi: per valutare i modelli di provisioning e ridurre i costi di elaborazione batch, utilizza un prompt come il seguente:
Act as an IT administrator. I need to find the cheapest way to run large, interruptible batch jobs on our clusters in Cluster Director without risking data loss. Please provide the following: 1. A cost and reliability comparison of standard discounted VMs against Spot VMs. 2. An explanation of how to provision all our compute power at the exact same time. 3. A deployment script that gives our jobs a two-minute warning before a Spot VM gets reclaimed. Format the comparison as a Markdown table, and provide the steps to take in the Google Cloud console.