In diesem Dokument werden die verschiedenen Möglichkeiten zum Abrufen und Verwenden von Rechenressourcen in AI Hypercomputer beschrieben, die als Nutzungsoptionen bezeichnet werden. Wählen Sie die Option aus, die am besten zu Ihrer Arbeitslast, ihrer Dauer und Ihren Kostenanforderungen passt.
Für jede Verbrauchsoption wird Folgendes angegeben:
So greifen Sie auf Kapazität zu, um VMs oder Cluster zu erstellen.
Das zugrunde liegende Bereitstellungsmodell, das die Verfügbarkeit, Lebensdauer und Preise Ihrer VMs bestimmt.
Vergleich der Nutzungsoptionen
In der folgenden Tabelle sind die wichtigsten Unterschiede zwischen den Verbrauchsoptionen zusammengefasst:
| Nutzungsoption | Vorausschauende Reservierungen in AI Hypercomputer | Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus) | Flex-Start | Spot |
|---|---|---|---|---|
| Unterstützte Geräte | A4X Max, A4X, A4, A3 Ultra, A3 Mega oder A3 High | A4, A3 Ultra, A3 Mega oder A3 High mit 8 GPUs | Beliebige GPU-Maschine außer A4X Max und A4X | Beliebige GPU-Maschine außer A4X Max und A4X |
| Lebensdauer | Beliebige Zeit | Bis zu 90 Tage | bis zu 7 Tage | Jederzeit (aber vorbehaltlich vorzeitiger Beendigung) |
| Auf Abruf | ||||
| Kapazitätsgarantie | Sehr hoch Wenn Google Cloud Ihre Reservierungsanfrage genehmigt, haben Sie ein sehr hohes Maß an Sicherheit, dass Compute Engine die angeforderte Kapazität bereitstellt. | Sehr hoch Wenn Google Cloud Ihre Reservierungsanfrage genehmigt, haben Sie ein sehr hohes Maß an Sicherheit, dass Compute Engine die angeforderte Kapazität bereitstellt. | Best-Effort Compute Engine versucht nach Best-Effort-Prinzip, die Bereitstellung der angeforderten Kapazität zu planen. | Best-Effort Compute Engine versucht nach Best-Effort-Prinzip, die angeforderte Kapazität bereitzustellen. |
| Kontingent | Das Kontingent wird automatisch erhöht, bevor die Kapazität bereitgestellt wird. | Es wird kein Kontingent berechnet. | Es wird Kontingent auf Abruf berechnet. | Es wird Kontingent auf Abruf berechnet. |
| Preise |
|
|
|
|
| Ressourcenzuweisung | Dicht | Dicht |
|
Standard (Kompakte Richtlinie optional) |
| Bereitstellungsmodell | Reservierungsgebunden | Reservierungsgebunden | Flex-Start | Spot |
| Erstellungsmethode | Zum Erstellen von VMs müssen Sie Folgendes tun:
|
Zum Erstellen von VMs müssen Sie Folgendes tun:
|
Verwenden Sie eine der folgenden Methoden, um VMs zu erstellen:
Wenn die angeforderte Kapazität verfügbar wird, stellt Compute Engine sie bereit. |
Sie können VMs sofort mit einer der unter Deployment-Optionen beschriebenen Methoden erstellen. |
Eine Option für die Aufnahme auswählen
Verwenden Sie das folgende Flussdiagramm, um die Verbrauchsoption auszuwählen, die am besten zu Ihrer Arbeitslast passt:
Die Fragen im obigen Diagramm lauten:
Benötigen Sie Kapazität für mehr als 90 Tage?
Ja: Weitere Informationen finden Sie unter Vorausschauende Reservierungen in AI Hypercomputer verwenden.
Nein: Fahren Sie mit Frage 2 fort.
Möchten Sie reservierte Kapazität?
Ja: Weitere Informationen finden Sie unter Vorausschauende Reservierungen im Kalendermodus verwenden.
Nein: Fahren Sie mit Frage 3 fort.
Ist Ihre Arbeitslast fehlertolerant?
Nein: Weitere Informationen finden Sie unter Flex-Start verwenden.
Ja: Weitere Informationen finden Sie unter Spot verwenden.
Vorausschauende Reservierungen in AI Hypercomputer verwenden
Wenn Sie lang laufende, große und verteilte Arbeitslasten ausführen möchten, die eng zugewiesene Ressourcen benötigen, können Sie Rechenressourcen für einen bestimmten Zeitpunkt in der Zukunft reservieren. Sie haben während dieses Zeitraums exklusiven Zugriff auf die reservierten Ressourcen und können die Ressourcen zum Erstellen von VMs oder Clustern verwenden. Am Ende des Reservierungszeitraums führt Compute Engine folgende Schritte aus:
- Compute Engine löscht die Reservierung.
- Je nach der Beendigungsaktion, die Sie für die VMs angeben, werden alle VMs, die die Reservierung verwenden, von Compute Engine beendet oder gelöscht.
Geeignete Arbeitslasten für vorausschauende Reservierungen in AI Hypercomputer
Vorausschauende Reservierungen sind ideal für die folgenden Arbeitslasten:
Foundation Models vortrainieren
Inferenz für Foundation Models mit mehreren Hosts
Wichtige Merkmale von vorausschauenden Reservierungen in AI Hypercomputer
Zukünftige Reservierungen haben die folgenden Merkmale:
-
Sie können die Maschinentypen A4X Max, A4X, A4, A3 Ultra, A3 Mega oder A3 High (8 GPUs) reservieren. Die Maschinen sind dicht zugewiesen, um die Netzwerklatenz zu minimieren.
-
Sie können beliebig viele VMs für einen beliebigen Zeitraum für ein zukünftiges Datum reservieren. Anschließend können Sie die reservierten Ressourcen bis zum Ende des Reservierungszeitraums zum Erstellen und Ausführen von VMs verwenden. Wenn Sie Ressourcen für ein Jahr oder länger reservieren, müssen Sie eine ressourcenbasierte Zusicherung kaufen und anhängen.
-
Nach Beginn des Reservierungszeitraums können Sie die automatisch erstellten Reservierungen so ändern:
-
Sie verwenden das reservierungsgebundene Bereitstellungsmodell, das folgende Vorteile bietet:
Sie haben eine höhere Chance, GPUs zu erhalten.
Zusätzlich zur Zusicherung, die an Ihre VMs angehängt ist, erhalten Sie einen Rabatt von bis zu 53% für vCPUs und GPUs.
Zukünftige Reservierungen in AI Hypercomputer verwenden
Wenn Sie vorausschauende Reservierungen zum Erstellen von VMs oder Clustern verwenden möchten, müssen Sie die folgenden Schritte ausführen:
-
Kapazität reservieren Wenden Sie sich an Ihr Account-Management-Team und geben Sie die zu reservierenden Ressourcen an. Google erstellt basierend auf der Verfügbarkeit einen Reservierungsanfrageentwurf für Sie. Wenn alles richtig aussieht, können Sie die Reservierungsanfrage einreichen. Google Cloud genehmigt die Reservierungsanfrage sofort.
Eine Anleitung finden Sie unter Kapazität reservieren.
-
Reservierte Ressourcen nutzen: Zu Beginn des ausgewählten Reservierungszeitraums können Sie die Reservierung verwenden, um VMs oder Cluster zu erstellen.
Informationen zu den verschiedenen Methoden zum Erstellen von VMs oder Clustern finden Sie unter VM- und Clustererstellung – Übersicht.
Vorausschauende Reservierungen im Kalendermodus verwenden
Wenn Sie kurz laufende verteilte Arbeitslasten ausführen möchten, die eng zugewiesene Ressourcen erfordern, können Sie Rechenressourcen für bis zu 90 Tage anfordern. Sie haben während dieser Zeit exklusiven Zugriff auf die reservierten Ressourcen und können sie zum Erstellen von VMs oder Clustern verwenden. Am Ende des Reservierungszeitraums führt Compute Engine folgende Schritte aus:
- Compute Engine löscht die Reservierung.
- Je nach der Beendigungsaktion, die Sie für die VMs angeben, werden alle VMs, die die Reservierung verwenden, von Compute Engine beendet oder gelöscht.
Ideale Arbeitslasten für vorausschauende Reservierungen im Kalendermodus
Vorausschauende Reservierungen im Kalendermodus eignen sich ideal für die folgenden Arbeitslasten:
Vortraining des Modells
Modellabstimmung
Simulationen
Inferenz
Wichtige Merkmale von vorausschauenden Reservierungen im Kalendermodus
Vorausschauende Reservierungen im Kalendermodus haben die folgenden Merkmale:
-
Sie können die Maschinentypen A4, A3 Ultra, A3 Mega oder A3 High (8 GPUs) reservieren. Diese Maschinen sind dicht zugewiesen, um die Netzwerklatenz zu minimieren.
-
Sie können die zukünftige Verfügbarkeit von Ressourcen einsehen und dann bis zu 80 VMs für bis zu 90 Tage in der Zukunft reservieren. Anschließend können Sie die reservierten Ressourcen bis zum Ende des Reservierungszeitraums zum Erstellen von VMs verwenden.
-
Nach Beginn des Reservierungszeitraums können Sie die automatisch erstellten Reservierungen so ändern:
-
Sie verwenden das reservierungsgebundene Bereitstellungsmodell, das folgende Vorteile bietet:
Sie haben eine höhere Chance, GPUs zu erhalten.
Sie erhalten einen Rabatt von bis zu 53% für vCPUs und GPUs.
Vorausschauende Reservierungen im Kalendermodus verwenden
Wenn Sie vorausschauende Reservierungen im Kalendermodus verwenden möchten, um VMs oder Cluster zu erstellen, müssen Sie die folgenden Schritte ausführen:
-
Verfügbarkeit von Ressourcen ansehen Sie können die zukünftige Verfügbarkeit der Ressourcen sehen, die Sie reservieren möchten. Wenn Sie eine Reservierungsanfrage erstellen, können Sie die Anzahl, den Typ und die Reservierungsdauer für die Ressourcen angeben, die Sie als verfügbar bestätigt haben. Dadurch steigt die Wahrscheinlichkeit, dass Google Cloud Ihren Antrag genehmigt.
Eine Anleitung finden Sie unter Zukünftige Verfügbarkeit von Ressourcen ansehen.
-
Kapazität reservieren: Sie erstellen eine Reservierungsanfrage für ein zukünftiges Datum und eine zukünftige Uhrzeit. Google Cloud genehmigt die Reservierungsanfrage innerhalb von zwei Minuten. Wenn die Anfrage genehmigt wird, reserviert Compute Engine die Kapazität für Sie. Am gewählten Lieferdatum können Sie mit den reservierten Ressourcen VMs oder Cluster erstellen.
Eine Anleitung finden Sie unter Reservierungsanfrage für GPU-VMs oder TPUs erstellen.
-
Reservierte Ressourcen nutzen: Zu Beginn des ausgewählten Reservierungszeitraums können Sie die Reservierung verwenden, um VMs oder Cluster zu erstellen.
Informationen zu den verschiedenen Methoden zum Erstellen von VMs oder Clustern finden Sie unter:
- Informationen zum Erstellen von A4-, A3 Ultra-, A3 Mega- oder A3 High-VMs (8 GPUs) finden Sie unter VM- und Clustererstellung – Übersicht.
- Informationen zum Erstellen von A3 Mega- oder A3 High-VMs (8 GPUs) mit aktiviertem GPUDirect-TCPX finden Sie unter A3-VM mit aktiviertem GPUDirect-TCPX erstellen.
Flex-Start verwenden
Wenn Sie Arbeitslasten mit kurzer Ausführungsdauer ausführen möchten, für die dicht zugewiesene Ressourcen erforderlich sind, können Sie mit Flex-Start Computing-Ressourcen für bis zu sieben Tage anfordern. Wenn Ressourcen verfügbar sind, erstellt Compute Engine die von Ihnen angeforderte Anzahl von VMs. Sie können eigenständige Flex-Start-VMs beenden, aber keine Flex-Start-VMs, die von einer verwalteten Instanzgruppe (MIG) über Anfragen zur Größenänderung erstellt werden. Die Flex-Start-VMs sind so lange vorhanden, bis Sie sie löschen oder bis Compute Engine die VMs am Ende ihrer Ausführungsdauer löscht.
Geeignete Arbeitslasten für Flex-Start
Flex-Start ist ideal für Arbeitslasten, die jederzeit gestartet werden können, z. B.:
Vortraining kleiner Modelle
Modellabstimmung
Simulationen
Batchinferenz
Wichtige Merkmale von Flex-Start
Flex-Start hat die folgenden Eigenschaften:
-
Sie können jeden GPU-Maschinentyp anfordern, mit Ausnahme von A4X Max und A4X. Die Ressourcenzuweisung variiert je nach Erstellungsmethode:
- Bei eigenständigen Flex-Start-VMs wird die Standardplatzierung verwendet. Bei dieser Platzierung werden Maschinen basierend auf der Verfügbarkeit zugewiesen. Das kann dazu führen, dass VMs innerhalb derselben Zone weit voneinander entfernt sind.
- Bei allen anderen Erstellungsmethoden werden Maschinen dicht zugewiesen, um die Netzwerklatenz zu minimieren.
Sie verwenden das Bereitstellungsmodell „Flex-Start“, das folgende Vorteile bietet:
Sie haben eine höhere Chance, GPUs zu erhalten.
Sie erhalten einen Rabatt von bis zu 53% für vCPUs, Arbeitsspeicher und GPUs.
Flex-Start verwenden
Wenn Sie Flex-Start zum Erstellen von VMs oder Clustern verwenden möchten, wählen Sie eine der folgenden Optionen aus:
- Eigenständige VM erstellen
- MIGs mit Anfragen zur Größenanpassung erstellen
- Slurm-Cluster erstellen
- GKE-Cluster erstellen:
Spot verwenden
Um fehlertolerante Arbeitslasten auszuführen, können Sie sofort Rechenressourcen basierend auf der Verfügbarkeit erhalten. Sie erhalten Ressourcen zum niedrigstmöglichen Preis. Compute Engine kann VMs jedoch jederzeit vorzeitig beenden, um Kapazitäten freizugeben.
Geeignete Arbeitslasten für Spot
Spot eignet sich ideal für Arbeitslasten, bei denen Unterbrechungen akzeptabel sind, z. B. für:
Batchverarbeitung
Hochleistungs-Computing (HPC)
Continuous Integration und Continuous Deployment (CI/CD)
Datenanalyse
Medien-Codierung
Onlineinferenz
Wichtige Merkmale von Spot
Spot hat die folgenden Eigenschaften:
-
Sie können jeden GPU-Maschinentyp erstellen, mit Ausnahme von A4X Max und A4X. Die dichte Zuweisung hängt von der Ressourcenverfügbarkeit ab. Um eine engere Zuweisung zu gewährleisten, können Sie eine Richtlinie für kompakte Platzierung auf die VMs anwenden.
-
Sie können sofort beliebig viele VMs erstellen. Die VMs werden ausgeführt, bis Sie sie beenden oder löschen oder bis Compute Engine sie vorzeitig beendet, um Kapazität zurückzugewinnen.
-
Sie verwenden das Spot-Bereitstellungsmodell, das folgende Vorteile bietet:
Sie haben eine höhere Chance, GPUs zu erhalten.
Sie erhalten einen Rabatt von bis zu 91% für viele Maschinentypen, GPUs, TPUs und lokale SSDs.
Spot verwenden
Wenn Sie Spot zum Erstellen von VMs oder Clustern verwenden möchten, müssen Sie die folgenden Schritte ausführen:
-
Optional: Richtlinie für kompakte Platzierung erstellen Sie erstellen eine Richtlinie für kompakte Platzierung, um anzugeben, wie nahe beieinander Ihre VMs platziert werden sollen. Die von Ihnen ausgewählte Mindestentfernung wirkt sich auf die Anzahl und den Typ der VMs aus, auf die Sie die Richtlinie anwenden können.
-
Spot-VMs erstellen Sie können beliebig viele VMs erstellen, sofern sie verfügbar sind. Die VMs werden ausgeführt, bis Sie sie beenden oder löschen oder bis Compute Engine sie vorzeitig beendet, um Kapazität zurückzugewinnen.
Eine Anleitung finden Sie unter VM- und Clustererstellung – Übersicht.