Nutzungsoptionen für AI Hypercomputer

AI Hypercomputer bietet mehrere Nutzungsoptionen für den Erwerb von Rechenressourcen. Diese Optionen berücksichtigen Anforderungen wie Arbeitslastdauer, Fehlertoleranz und Infrastrukturmodell. Hier finden Sie weitere Informationen zu diesen Optionen und können die beste für Ihren Anwendungsfall auswählen.

Als Alternative zur manuellen Bewertung können Sie Gemini in derGoogle Cloud Console auffordern, die Nutzungsoptionen für Ihre Arbeitslast und Ihr Budget zu vergleichen. Weitere Informationen finden Sie unter KI-Infrastruktur mit Compute Advisor entwerfen.

Übersicht über die Nutzungsoptionen

In der folgenden Tabelle finden Sie einen Vergleich der Nutzungsoptionen anhand wichtiger Merkmale:

Nutzungsoption Bereitstellungsmodell Optimal für Kapazitätsgarantie Lebensdauer Auf Abruf Kontingent Rabatte Zuweisungsmodell
Flex-Start Flex-Start Arbeitslasten mit kurzer Ausführungsdauer von bis zu sieben Tagen, die auf Kapazität warten können. Best-Effort-Ansatz Bis zu sieben Tage Nein Kontingent auf Abruf Bis zu 53 % Rabatt auf unterstützte Serien Dicht für Anfragen zur Größenanpassung von MIGs; Best-Effort für eigenständige VMs.
Spot-VMs Spot Fehlertolerante, kurzzeitige allgemeine GPU-Arbeitslasten. Best-Effort-Ansatz Auf Abruf Ja Kontingent auf Abruf Stark reduziert (bis zu 91%) Standard
Standardreservierungen Standard Kritische allgemeine GPU-Arbeitslasten, die ein sehr hohes Maß an Kapazitätsgarantie erfordern. Sehr hoch Sehr hoch Benutzerdefiniert Nein Kein Kontingent verbraucht Rabattierte Preise mit Rabatten für zugesicherte Nutzung (CUDs)
Vorausschauende Reservierungen für Kapazitätsblöcke Reservierungsgebunden Umfangreiches, lang andauerndes Training auf geclusterten GPUs. Sehr hoch Unbegrenzt innerhalb des Reservierungszeitraums. Nein Kontingent wird vor der Bereitstellung erhöht Mit CUDs erhalten Sie einen Rabatt von bis zu 53 %. Vollbesetzt
Vorausschauende Reservierungen im Kalendermodus Reservierungsgebunden geclusterte GPU-Arbeitslasten für bis zu 90 Tage, für die reservierte Kapazität erforderlich ist. Sehr hoch Bis zu 90 Tage Nein Kein Kontingent verbraucht Ermäßigt (bis zu 53%) Vollbesetzt
On-Demand-VMs Standard allgemeine GPU-Arbeitslasten ohne bestimmte Dauer. Best-Effort-Ansatz Unbegrenzt Nein On-Demand-Kontingent Keine (Pay as you go) Standard

Die Verbrauchsoption, die Sie zum Bereitstellen Ihrer Infrastruktur verwenden, hängt davon ab, ob Sie eine allgemeine GPU oder eine Cluster-GPU verwenden.

  • Allgemeine GPU: für Inferenz, Entwicklung und kleinere Trainingsarbeitslasten. Diese Art von GPU bietet betriebliche Flexibilität durch asynchrone Wartung. Informationen zu den verfügbaren Optionen finden Sie unter Verbrauchsoptionen für allgemeine GPUs.

  • Clustered GPU: Entwickelt für umfangreiche, eng gekoppelte Trainingsarbeitslasten und umfangreiche Inferenz-, RL- und Reasoning-Modellarbeitslasten, die eine hohe Kapazitätsgarantie und eine dichte Ressourcenzuweisung erfordern, um die Netzwerklatenz zu minimieren. Informationen zu den verfügbaren Optionen finden Sie unter Nutzungsoptionen für geclusterte GPUs.

Nutzungsoptionen für allgemeine GPUs

Verwenden Sie die folgenden Nutzungsoptionen, um Kapazität für allgemeine GPUs zu erwerben.

Flex-Start verwenden

Wenn Sie Arbeitslasten mit kurzer Ausführungsdauer ausführen möchten, die dicht zugewiesene Ressourcen erfordern, können Sie mit Flex-Start Computing-Ressourcen für bis zu sieben Tage anfordern. Wenn Ressourcen verfügbar sind, erstellt Compute Engine die angeforderte Anzahl von VMs. Sie können eigenständige Flex-Start-VMs beenden, aber keine Flex-Start-VMs, die von einer verwalteten Instanzgruppe (MIG) über Anfragen zur Größenänderung erstellt werden. Flex-Start-VMs sind so lange vorhanden, bis Sie sie löschen oder bis Compute Engine die VMs am Ende ihrer Laufzeit löscht.

Geeignete Arbeitslasten

  • Vortraining kleiner Modelle
  • Modellabstimmung
  • Simulation per Hochleistungs-Computing (HPC)
  • Batchinferenz

Wichtige Merkmale

  • Bereitstellungsmodell: Flex-Start.
  • Breite Hardwareunterstützung: Sie können jeden Maschinentyp mit gruppierten GPUs anfordern, außer A4X Max und A4X.
  • Latenzoptimierung: Wenden Sie eine Richtlinie für kompakte Platzierung auf eigenständige VMs an, um die Netzwerklatenz zu minimieren.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 53% auf vCPUs, Arbeitsspeicher, GPUs und lokale SSD-Laufwerke für die Maschinenserien A4, A3, A2 und G4. Für andere unterstützte Serien gelten die Standardgebühren für On-Demand-Inhalte. Weitere Informationen finden Sie unter Flex-Start-Preise.

Spot verwenden

Um fehlertolerante Arbeitslasten auszuführen, können Sie sofort Rechenressourcen basierend auf der Verfügbarkeit abrufen. Sie erhalten Ressourcen zum niedrigstmöglichen Preis. Compute Engine kann VMs jedoch jederzeit vorzeitig beenden, um Kapazitäten freizugeben.

Geeignete Arbeitslasten

  • Batchverarbeitung und Datenanalyse
  • Hochleistungs-Computing (HPC) und Media-Encoding

Wichtige Merkmale

  • Bereitstellungsmodell: Spot.
  • Breite Hardwareunterstützung: Sie können jeden Maschinentyp mit gruppierten GPUs anfordern, außer A4X Max und A4X.
  • Latenzoptimierung: Wenden Sie eine Richtlinie für kompakte Platzierung auf eigenständige VMs an, um die Netzwerklatenz zu minimieren.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 91% auf vCPUs, Arbeitsspeicher, GPUs und lokale SSD-Laufwerke.

On demand verwenden

Tipp: Wenn Sie die Wahrscheinlichkeit erhöhen möchten, dass Sie allgemeine GPU-Kapazitäten erhalten, verwenden Sie Flex-Start oder Spot. Diese Verbrauchsoptionen bieten GPUs zu einem günstigeren Preis als On-Demand-Preise und sollen Ihnen helfen, die Chancen zu erhöhen, stark nachgefragte Ressourcen wie GPUs zu erhalten.

Wenn Sie Arbeitslasten ohne bestimmte Dauer ausführen möchten, können Sie sofort Compute-Ressourcen basierend auf der Verfügbarkeit abrufen. VMs werden ausgeführt, bis Sie sie anhalten oder löschen.

Geeignete Arbeitslasten

  • Inferenz und Modellbereitstellung
  • Prototyping und Experimente

Wichtige Merkmale

  • Bereitstellungsmodell: Standard.
  • Sofortige Verfügbarkeit: Sie können VM-Instanzen sofort erstellen, ohne auf die Kapazitätsplanung oder Genehmigung zu warten.
  • Standardpreise: Sie zahlen für Ressourcen zu Standard-On-Demand-Preisen ohne langfristige Bindung.
  • Breite Hardwareunterstützung: Kann mit allen unterstützten GPU-Maschinenserien im allgemeinen GPU-Pfad verwendet werden.

Standardreservierungen verwenden

Für kritische allgemeine GPU-Arbeitslasten, die ein sehr hohes Maß an Kapazitätsgarantie erfordern, können Sie Standardreservierungen verwenden.

Geeignete Arbeitslasten

  • Kritische Produktionsarbeitslasten
  • Arbeitslasten, die eine garantierte Kapazität erfordern

Wichtige Merkmale

  • Bereitstellungsmodell: Standard.
  • Kapazitätszusicherung: Bietet ein sehr hohes Maß an Sicherheit, dass Ressourcen verfügbar sind.
  • Preise: Es gelten die Standardpreise, aber Sie können CUDs anhängen, um Kosten zu sparen.

Verbrauchsoptionen für geclusterte GPUs

Verwenden Sie die folgenden Optionen, um Kapazität für GPU-Cluster zu erwerben.

Vorausschauende Reservierungen für Kapazitätsblöcke verwenden

Wenn Sie lang laufende, große und verteilte Arbeitslasten ausführen möchten, die eng zugewiesene Ressourcen benötigen, können Sie eng zugewiesene Rechenressourcen für ein zukünftiges Datum und eine zukünftige Uhrzeit anfordern. Sie haben für diesen Zeitraum exklusiven Zugriff auf die reservierten Ressourcen und können die Ressourcen zum Erstellen von VMs oder Clustern verwenden. Am Ende des Reservierungszeitraums führt Compute Engine die folgenden Aktionen aus:

  • Compute Engine löscht die Reservierung und alle zugehörigen leeren Speicherpools.
  • Je nach der Beendigungsaktion, die Sie für die VMs angeben, beendet oder löscht Compute Engine alle VMs, die die Reservierung verwenden.

Geeignete Arbeitslasten

  • Foundation Models vortrainieren
  • Inferenz für Basismodelle auf mehreren Hosts

Wichtige Merkmale

  • Bereitstellungsmodell: Reservierungsgebunden.
  • Unterstützung für Premium-Maschinen: Reservieren Sie die Maschinentypen A4X Max, A4X, A4, A3 Ultra, A3 Mega oder A3 High (8 GPUs).
  • Hyperdisk-Reservierungen: Sie können einen Hyperdisk-Speicherpool oder Hyperdisk Exapool zusammen mit Rechenkapazität reservieren, um sicherzustellen, dass Ihre Arbeitslasten über genügend Speicherressourcen verfügen. Google platziert Hyperdisk-Pools am selben Ort wie Ihre Rechenknoten, um die Speicherleistung zu optimieren.
  • Anforderungen an Zusicherungen: Hängen Sie eine ressourcenbasierte Zusicherung an Reservierungen von einem Jahr oder länger an, um Rabatte auf Rechenressourcen und Hyperdisk-Pools zu erhalten.
  • Dynamische Änderungen: Aktivieren Sie Benachrichtigungen zur Hardware-Notfallwartung für die Nutzung von Vertex AI-Jobs nach Beginn des Zeitraums.

Vorausschauende Reservierungen im Kalendermodus verwenden

Wenn Sie kurz laufende verteilte Arbeitslasten ausführen möchten, die eng zugewiesene Ressourcen erfordern, können Sie Rechenressourcen für bis zu 90 Tage anfordern. Sie haben während dieser Zeit exklusiven Zugriff auf die reservierten Ressourcen und können die Ressourcen zum Erstellen von VMs oder Clustern verwenden. Am Ende des Reservierungszeitraums führt Compute Engine die folgenden Schritte aus:

  • Compute Engine löscht die Reservierung.
  • Je nach der Beendigungsaktion, die Sie für die VMs angeben, beendet oder löscht Compute Engine alle VMs, die die Reservierung verwenden.

Geeignete Arbeitslasten

  • Vortraining und Feinabstimmung
  • Umfangreiche Simulationen und Inferenz

Wichtige Merkmale

  • Bereitstellungsmodell: Reservierungsgebunden.
  • Unterstützung von Maschinenserien: Reservieren Sie die Maschinentypen A4, A3 Ultra, A3 Mega oder A3 High (8 GPUs).
  • Skalierbarkeitslimits: Sie können bis zu 80 VMs für maximal 90 Tage reservieren.
  • Optimierte Bereitstellung: Verwenden Sie ein reservierungsgebundenes Modell, um die Wahrscheinlichkeit zu erhöhen, dass Sie GPUs erhalten.

Flex-Start verwenden

Verwenden Sie Flex-Start für Anfragen zur Größenänderung von gruppierten verwalteten Instanzgruppen (MIGs), wenn Sie bis zu sieben Tage lang dicht zugewiesene Ressourcen benötigen.

Geeignete Arbeitslasten

Flex-Start-VMs eignen sich ideal für die Ausführung von Arbeitslasten, die jederzeit gestartet werden können, z. B.:

  • Vortraining kleiner Modelle
  • Modellabstimmung
  • Simulation per Hochleistungs-Computing (HPC)
  • Batchinferenz

Wichtige Merkmale

  • Bereitstellungsmodell: Flex-Start.
  • Ressourcenzuweisung: dicht zugewiesen für Anfragen zur Größenanpassung von MIGs.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 53% auf vCPUs, Arbeitsspeicher, GPUs und alle angehängten lokalen SSD-Laufwerke für die Maschinenreihen A4, A3, A2 und G4. Für andere unterstützte Maschinenserien gelten die Standardgebühren für On-Demand-Instanzen.

Spot verwenden

Sie können Spot-VMs für dicht zugewiesene, fehlertolerante Arbeitslasten verwenden, um erhebliche Rabatte zu erzielen. Dabei müssen Sie jedoch berücksichtigen, dass Compute Engine VMs vorzeitig beenden kann, um Kapazität zurückzugewinnen.

Geeignete Arbeitslasten

  • Fehlertolerantes verteiltes Training
  • Batchverarbeitung

Wichtige Merkmale

  • Bereitstellungsmodell: Spot.
  • Vorzeitiges Beenden: Compute Engine kann Instanzen jederzeit vorzeitig beenden.
  • Kosteneffizienz: Sie erhalten einen Rabatt von bis zu 91% auf vCPUs, Arbeitsspeicher, GPUs und alle angehängten lokalen SSD-Laufwerke.

Nächste Schritte