In diesem Dokument wird erläutert, wie Sie Ihren Cluster planen und entwerfen können, indem Sie Prompts an Gemini senden.
Sie können Gemini in der Google Cloud Console als KI-gestützte Schnittstelle verwenden, um Hardwareoptionen zu bewerten, Bereitstellungskosten zu schätzen und empfohlene Konfigurationen für Ihre Cluster anzusehen. Um die Empfehlungen anzupassen, wertet Gemini Ihr Google Cloud Projekt aus. Dabei werden Ihre Kontingentlimits, vorhandenen Reservierungen, Zusicherungen für die Nutzung mit Rabatt (Committed Use Discounts, CUDs), die Standardregion und ‑zone, sowie alle Einschränkungen für den Ressourcenstandortberücksichtigt. Wenn Sie Gemini bei der Planung verwenden, können Sie eine optimale Konfiguration für Ihre Arbeitslast erreichen, bevor Sie einen Cluster erstellen oder ändern.
Weitere Informationen zu den Komponenten, die Sie vor oder beim Erstellen eines Clusters konfigurieren müssen, finden Sie unter Übersicht über Bereitstellungsoptionen.
Beschränkungen
Wenn Sie Prompts an Gemini in der Google Cloud Console senden, können Sie mit Gemini keine Ressourcen erstellen, ändern oder löschen.
Hinweis
Wenn Sie über die Google Cloud Console auf Google Cloud Dienste und APIs zugreifen, müssen Sie die Authentifizierung nicht einrichten.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle „Cluster Director Viewer (roles/hypercomputecluster.viewer)“ für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die
Sie für den Zugriff auf und die Verwendung von Gemini
benötigen.
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.
Diese vordefinierte Rolle enthält die Berechtigungen, die für den Zugriff auf und die Verwendung von Gemini erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen , um die notwendigen Berechtigungen anzuzeigen, die erforderlich sind:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind für den Zugriff auf und die Verwendung von Gemini erforderlich:
-
Liste der Cluster aufrufen:
hypercomputecluster.clusters.list
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Auf Gemini in der Google Cloud Console zugreifen
So greifen Sie in der Google Cloud Console auf Gemini zu:
Rufen Sie in der Google Cloud Console die Seite Übersicht auf.
Klicken Sie im Abschnitt Infrastruktur mit Compute Advisor entwerfen auf Neuen Chat starten.
Auf der Seite Compute Advisor können Sie Folgendes sehen:
Die UI-Elemente, die im vorherigen Screenshot angezeigt werden, sind folgende:
Seitenleiste „Unterhaltungsverlauf“: Hier werden Ihre letzten Chats angezeigt. Sie können auf folgende Weise mit dieser Seitenleiste interagieren:
Wenn Sie eine neue Unterhaltung beginnen möchten, klicken Sie auf Neuer Chat.
Wenn Sie eine aktuelle Unterhaltung fortsetzen möchten, klicken Sie im Abschnitt Letzte Unterhaltungen auf die Unterhaltung.
Wenn Sie eine Liste aller Ihrer Unterhaltungen aufrufen möchten, klicken Sie auf Alle ansehen. Auf der Seite Mein Verlauf können Sie die Details einer früheren Unterhaltung aufrufen und sie fortsetzen oder Unterhaltungen löschen, wenn Sie sie nicht mehr benötigen.
Prompt-Karten für Schnellaktionen: Eine Reihe von Karten, die jeweils einen Beispiel prompt enthalten. Wenn Sie auf eine Karte klicken, wird die Google Cloud Console automatisch mit dem Beispielprompt gefüllt.
Prompt-Feld: In diesem Feld können Sie Prompts eingeben und senden. Klicken Sie zum Senden eines Prompts auf Prompt senden.
Prompts an Gemini senden
Nachdem Sie einen Prompt gesendet haben, beginnt Gemini mit der Generierung einer Antwort. Ein Bereich wird angezeigt und Google Cloud in der Console wird die Antwort auf Ihren Prompt in diesem Bereich angezeigt, wie im folgenden Screenshot zu sehen:
Je nach Prompt enthält der Antwortbereich die folgenden Elemente:
Kontextbezogene Informationen: Gemini wertet automatisch den Kontext Ihres Projekts aus, um hochgradig angepasste Empfehlungen zu geben, einschließlich Kontingent limits, vorhandener Reservierungen, CUDs, Ihrer Standardregion und ‑zone sowie aller Einschränkungen für den Ressourcenstandort.
Interaktive Code-Snippets: Gemini generiert gcloud-Befehle, REST API-Methoden oder Terraform-Ressourcen. Sie können diese Code-Snippets kopieren und einfügen oder in Cloud Shell ausführen.
Visuelle Canvas: Gemini organisiert Empfehlungen in strukturierten Tabellen und nebeneinanderliegenden Vergleichen. Diese Ansicht hilft Ihnen, Produktfunktionen und Architekturansätze zu bewerten. Außerdem wird ein Implementierungsplan für Ihren Anwendungsfall bereitgestellt.
In den folgenden Abschnitten werden die Best Practices für das Schreiben von Prompts und Beispielprompts beschrieben, die Sie verwenden können, bevor Sie einen Cluster erstellen oder ändern.
Best Practices für Prompts
Damit Sie von Gemini möglichst genaue und umsetzbare Empfehlungen erhalten, empfehlen wir, Ihre Prompts so zu strukturieren wie einen Codeblock. Bei diesem Ansatz wird die generative KI durch klare Parameterdeklarationen, Rollendefinitionen, spezifische Anweisungen und explizite Ausgabeformate unterstützt.
Beachten Sie beim Senden von Prompts an Gemini die folgenden Best Practices:
Fokus auf Design und Planung: Wir empfehlen, Gemini nicht nach Lösungen für Clusterfehlern zu fragen. Informationen zum Beheben dieser Fehler finden Sie stattdessen unter Fehlerbehebung bei der Erstellung, Aktualisierung und Löschung von Compute-Instanzen.
Rolle oder Persona angeben: Definieren Sie eine Zielrolle oder Persona, z. B. einen IT-Administrator, KI-Forscher oder Plattformtechniker, die Gemini annehmen soll. Dieser Ansatz beeinflusst den Ton, die Tiefe und das Fachwissen der resultierenden Empfehlungen.
Explizite, nummerierte Anweisungen geben: Teilen Sie Ihr Ziel in konkrete, schrittweise Fragen oder Aufgaben auf. Dieser Ansatz strukturiert den Denkprozess von Gemini und trägt dazu bei, dass alle Ihre Anforderungen erfüllt werden.
Bestimmtes Ausgabeformat definieren: Geben Sie explizit an, wie die Empfehlung formatiert werden soll, z. B. als Schritt-für-Schritt-Anleitung, als Markdown-Vergleichstabelle oder als sofort einsatzbereiter gcloud-Code block.
Automatische Kontextinformationen nutzen: Sie müssen Ihre Standardregion oder ‑zone, verfügbare Kontingente, CUDs oder Einschränkungen für den Ressourcenstandort nicht in Ihren Prompt aufnehmen. Gemini kann auf diese Informationen in Ihrem Google Cloud Projekt zugreifen.
Designs iterativ verfeinern: Sie können die Antwort ändern oder erweitern, die von Gemini generiert wurde, indem Sie neue Prompts senden. Sie können den Assistenten beispielsweise bitten, Ihrem Bereitstellungsplan Empfehlungen für die Netzwerkkonfiguration hinzuzufügen oder die Speicheranforderungen zu ändern, ohne eine neue Unterhaltung zu starten.
Prompt-Beispiele
Im Folgenden finden Sie Beispiele für Prompts, mit denen Sie Ihren Cluster entwerfen und optimieren können:
Clustertopologie und Platzierungsstrategie: Wenn Sie das optimale Bereitstellungsmodell und die optimale Platzierungsrichtlinie für eine leistungsstarke KI-Arbeitslast ermitteln möchten, verwenden Sie einen Prompt wie den folgenden:
Act as an AI researcher. I need to design a cluster topology in Cluster Director for training a large language model that balances high accelerator performance with guaranteed capacity. Please provide the following: 1. A side-by-side comparison of deploying A3 Mega VMs across different regions. 2. An explanation of how topology-aware scheduling minimizes network latency. 3. The optimal reservation configuration for this training workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.Bereitstellungsmodell und Kostenoptimierung: Wenn Sie Bereitstellungsmodelle bewerten und die Kosten für die Batchverarbeitung senken möchten, verwenden Sie einen Prompt wie den folgenden:
Act as an IT administrator. I need to find the cheapest way to run large, interruptible batch jobs on our clusters in Cluster Director without risking data loss. Please provide the following: 1. A cost and reliability comparison of standard discounted VMs against Spot VMs. 2. An explanation of how to provision all our compute power at the exact same time. 3. A deployment script that gives our jobs a two-minute warning before a Spot VM gets reclaimed. Format the comparison as a Markdown table, and provide the steps to take in the Google Cloud console.