Cluster-GPUs wie A4X Max, A4X, A4, A3 Ultra, A3 Mega, und A3 High (8 GPUs) sind für die Ausführung von KI-Clustern (künstliche Intelligenz) und ML-Clustern (maschinelles Lernen) im großen Maßstab konzipiert und bieten die folgenden Clusterverwaltungsfunktionen:
- Colocation von Cluster-GPU-Infrastruktur
- Platzierung unter Berücksichtigung der Clustertopologie
- Clusterbetriebsmodus
- Clusterwartungsplanung und ‑steuerung
- Cluster-Monitoring- und Diagnosetools
Unterstützte Maschinenserien
Die auf dieser Seite beschriebenen Clusterverwaltungsfunktionen sind für die Cluster-GPU-Maschinenserien verfügbar, die für große Arbeitslasten mit mehreren Knoten optimiert sind.
Diese Funktionen gelten nicht für die allgemeinen GPU-Maschinenserien, die aus unabhängigen Compute-Ressourcen bestehen, die das Standard-VPC-Netzwerk verwenden und keine Betriebsmodi für die Wartung oder dichte Colocation unterstützen.
In der folgenden Tabelle sind die in AI Hypercomputer unterstützten Maschinenserien zusammengefasst:
| Kategorie | Maschinenserie | Unterstützt Clusterverwaltung |
|---|---|---|
| Cluster-GPUs | A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High | Ja |
| Allgemeine GPUs | A3 Edge, A2, G2, G4, N1 | Nein |
Weitere Informationen zu den einzelnen Maschinenserien finden Sie unter GPU-Beschleuniger.
Die meisten Clusterverwaltungsfunktionen werden nur für reservierungsgebundene Kapazität unterstützt. Das ist eine Infrastruktur, die das reservierungsgebundene Bereitstellungsmodell verwendet, das nur Cluster-GPU-Maschinentypen unterstützt. Für Kapazität, die ein anderes Bereitstellungsmodell verwendet, sind nur die folgenden Clusterverwaltungsfunktionen verfügbar:
- Colocation von KI-Infrastrukturressourcen
- Platzierung unter Berücksichtigung der Clustertopologie
- Hostereignisse für mehrere Instanzen verwalten
Colocation von Cluster-GPU-Infrastruktur
Wenn Sie Cluster-GPUs wie A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) verwenden, können Sie Hostmaschinen anfordern, die von Compute Engine so nah wie möglich beieinander bereitgestellt werden. Diese Maschinen bieten die folgenden Funktionen:
Compute Engine stellt die Maschinen als Ressourcenblöcke bereit.
Ein dynamisches ML-Netzwerk (Machine Learning) verbindet die Maschinen.
Diese Ressourcenanordnung minimiert Netzwerk-Hops und optimiert die niedrigste Netzwerklatenz. Wenn Sie Blöcke von beschleunigungsoptimierten Maschinen bereitstellen möchten, die von Compute Engine dicht zugewiesen werden, haben Sie folgende Möglichkeiten:
Ressourcen müssen dicht zugewiesen werden, wenn Sie eine oder mehrere der folgenden Aktionen ausführen:
Erstellen Sie Ressourcen, die dieselbe vorausschauende Reservierung in AI Hypercomputer oder vorausschauende Reservierung im Kalendermodusverwenden.
Stellen Sie eine verwaltete Instanzgruppe (Managed Instance Group, MIG) bereit, die Anfragen zur Größenänderung verwendet, und erstellen Sie die Ressourcen in derselben Anfrage.
Geben Sie an, dass Ressourcen dieselbe Richtlinie für kompakte Platzierung oder Arbeitslastrichtlinie verwenden, die einen Wert für die maximale Entfernung angibt. Ressourcen müssen nur so nah beieinander sein, wie der Wert für die maximale Entfernung der Richtlinie angibt.
Ressourcen werden optional dicht zugewiesen, basierend auf der bestmöglichen Verfügbarkeit, wenn Sie eine oder mehrere der folgenden Aktionen ausführen:
Erstellen Sie Ressourcen in derselben Anfrage für Flex-Start-VMs.
Geben Sie an, dass Ressourcen dieselbe Richtlinie für kompakte Platzierung oder Arbeitslastrichtlinie verwenden, die keine maximale Entfernung angibt.
Platzierung unter Berücksichtigung der Clustertopologie
Nachdem Sie Cluster-GPUs erstellt haben, können Sie Topologieinformationen auf Knoten- und Clusterebene abrufen. Diese Informationen helfen Ihnen bei Folgendem:
Anpassen des Designs Ihrer Anwendung oder Arbeitslast, um die Netzwerklatenz weiter zu minimieren.
Probleme mit Netzwerklatenz und ‑leistung für Instanzen, die häufig miteinander kommunizieren, verstehen und beheben. Diese Probleme können auftreten, wenn die Instanzen unerwartet weit voneinander entfernt sind.
Die Unterstützung für Topologiefunktionen ist wie folgt:
Topologieinformationen funktionieren am besten mit reservierungsgebundener Kapazität. Diese ist erforderlich, um die Topologie einer Reservierung aufzurufen.
Topologiefunktionen unterstützen nur Maschinentypen, die Richtlinien für kompakte Platzierung unterstützen.
Bei Spot-VMs werden Topologieinformationen nur angezeigt, wenn eine Maschine eine Richtlinie für kompakte Platzierung verwendet.
Weitere Informationen finden Sie unter Topologie von Compute-Instanzen ansehen.
Clusterbetriebsmodus
Wenn Sie Kapazität reservieren, um Compute-Instanzen oder Cluster mit Cluster-GPUs zu erstellen, bestimmt der reservierte Maschinentyp den Betriebsmodus des Clusters für die Instanzen. In diesem Modus wird festgelegt, wie sich Ihre Instanzen nach Hostfehlern oder fehlerhaften Hostberichten verhalten. Die verfügbaren Betriebsmodi für eine Instanz sind der verwaltete Modus, in dem Compute Engine alle fehlerhaften Maschinen automatisch ersetzt, aber einen Teil der reservierten Kapazität zurückhält, damit Ihre Instanzen die erforderlichen Ressourcen für den Neustart haben. Oder der Modus mit voller Kapazität, in dem Sie Zugriff auf die gesamte reservierte Kapazität haben, aber für die Verwaltung von Fehlern und geplanter Wartung verantwortlich sind.
Weitere Informationen finden Sie unter Betriebsmodus der Reservierung.
Clusterwartungsplanung und ‑steuerung
Sie steuern die Wartung von Cluster-GPUs mithilfe der topologieabhängigen Planung in einem Ressourcenblock. Mit dieser Funktion können Sie Upgrades synchronisieren, damit Ihre Arbeitslasten widerstandsfähiger gegen Hostereignisse sind und Unterbrechungen minimiert werden. Dieser Ansatz trägt dazu bei, den Goodput Ihrer Arbeitslast zu verbessern.
Um die vollständige Kontrolle über Wartungsereignisse zu haben, können Sie die folgenden Funktionen verwenden:
Wartungsplanungstyp
Wenn Sie Kapazität reservieren, um Compute-Instanzen oder Cluster von Cluster-GPUs zu erstellen, können Sie festlegen, wie Compute Engine die Infrastruktur wartet, auf der Ihre Instanzen ausgeführt werden. Je nach Maschinentyp, den Sie für Ihre Instanzen verwenden möchten, können Sie zwischen synchronisierter Wartung für alle Instanzen (gruppiert) oder verschiedenen Wartungsplänen (unabhängig) wählen.
Weitere Informationen finden Sie unter Wartungsplanungstypen.
Hostereignisse verwalten
Nachdem Sie Cluster-GPUs erstellt und Ihre Arbeitslast gestartet haben, können Sie Benachrichtigungen einrichten und erhalten, wenn die Wartung für Ihre Instanzen oder reservierten Blöcke geplant ist, beginnt oder abgeschlossen ist. Sie können die Wartung für eine Instanz oder einen reservierten Block auch vor dem geplanten Zeitpunkt ansehen und bei Bedarf manuell starten. Mit diesen Optionen können Sie Ausfallzeiten für Ihre Arbeitslasten proaktiv steuern und minimieren.
Weitere Informationen finden Sie unter:
Cluster-Monitoring- und Diagnosetools
Für Monitoring und Fehlerbehebung umfassen Cluster-GPUs die folgenden Dienste:
Vorhersage der VM-Integritätsverschlechterung, mit der Sie VMs identifizieren können, deren Integrität sich in den nächsten fünf Stunden wahrscheinlich verschlechtert.
Fehlerhafte Hostberichte, mit denen Sie Probleme mit einzelnen Hostmaschinen melden können.
Unterstützung für Cloud Monitoring-Messwerte, mit denen Sie die Leistung von Netzwerken und GPUs überwachen können.