Cloud TPU-Ressourcen planen

Auf dieser Seite wird beschrieben, wie Sie die Nutzung von Tensor Processing Unit (TPUs) planen.

Nutzungsoption auswählen

Nutzungsoptionen sind die Möglichkeiten, Rechenressourcen zu beziehen und zu nutzen. Sie können Cloud TPU-VM-Kapazität basierend auf Ihren Anforderungen an Geschwindigkeit, Dauer, Kosten und Toleranz gegenüber vorzeitigen Beendigungen anfordern. Es gibt folgende Optionen:

  • On-Demand:Standardmäßige Pay-as-you-go-Instanzen.
  • Spot-VMs:Kostengünstigere, vorzeitig beendbare Instanzen. Verwenden Kontingente auf Abruf.
  • Flex-Start-VMs:Reservieren Sie Kapazität nach Bedarf für bis zu 7 Tage, ohne langfristige Reservierungen oder eine komplexe Kontingentverwaltung.
  • Reservierungen:Reservieren Sie Kapazität für einen bestimmten Zeitraum (bis zu 90 Tage oder 1 Jahr oder länger), um die Verfügbarkeit zu garantieren. Verwenden On-Demand-Kontingente.

In der folgenden Tabelle werden die TPU-Nutzungsoptionen verglichen. Dabei wird auf die Funktionsweise, die idealen Anwendungsfälle und die unterstützten TPU-Versionen eingegangen.

Nutzungsoption Funktionsweise Geeignete Anwendungsfälle Unterstützte TPU-Versionen
Vorausschauende Reservierungen für ein Jahr oder länger

Sie fordern TPU-Ressourcen für ein Jahr oder länger im Voraus an. Diese Ressourcen sind während dieser Zeit ausschließlich für Ihre Nutzung reserviert.

Reservierungen bieten die höchste Sicherheit in Bezug auf die Kapazität und sind günstiger als On-Demand-Ressourcen.

Für vorausschauende TPU-Reservierungen gilt ein Rabatt für zugesicherte Nutzung (CUD) Rabatte für zugesicherte Nutzung sind Preisnachlässe für Nutzer, die einen Vertrag für zugesicherte Nutzung abschließen. Weitere Informationen finden Sie unter Vorausschauende Reservierungen für ein Jahr oder länger

 Vorausschauende Reservierungen für ein Jahr oder länger sind ideal für Trainingsjobs mit langer Laufzeit und für Inferenzarbeitslasten. Alle TPU-Versionen
Vorausschauende Reservierungen für bis zu 90 Tage (Kalendermodus)

Sie fordern TPU-Ressourcen für eine bestimmte Startzeit und Dauer, zwischen einem und 90 Tagen an. Diese Ressourcen sind während dieser Zeit ausschließlich für Ihre Nutzung reserviert. Weitere Informationen finden Sie unter Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus)

Reservierungen bieten die höchste Sicherheit in Bezug auf die Kapazität und sind günstiger als On-Demand-Ressourcen.

 Vorausschauende Reservierungen im Kalendermodus eignen sich gut für Trainings- und Experimentierarbeitslasten, die genaue Startzeiten erfordern und eine konkrete Dauer haben. TPU7x, TPU v6e und TPU v5p
On demand

Sie fordern TPU-Ressourcen zur sofortigen Nutzung an, so lange Sie sie benötigen.

On-Demand-Instanzen bieten erhebliche Flexibilität. On-Demand-Ressourcen werden nicht vorzeitig beendet. Es gibt jedoch keine Garantie, dass genügend TPU-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen. On-Demand-Instanzen sind die Standardoption, wenn Sie TPU-Ressourcen erstellen. Weitere Informationen zum Erstellen und Verwenden von On-Demand-TPUs finden Sie unter TPU-VMs erstellen.

 On-Demand-Instanzen eignen sich gut für dringende Jobs und Arbeitslasten, bei denen das Ende flexibel sein soll. Alle TPU-Versionen
Flex-Start (Vorschau)

Sie fordern TPU-Ressourcen für einen bestimmten Zeitraum von bis zu sieben Tagen an, ohne Kapazität im Voraus zu reservieren.

TPU-Flex-Start-VMs werden aus einem dedizierten Kapazitätspool bereitgestellt. Die Verfügbarkeit dieser Ressourcen ist daher höher als bei On-Demand-VMs. Weitere Informationen finden Sie unter TPU-Flex-Start-VMs anfordern.

Weitere Informationen zur Verwendung von TPU-Flex-Start-VMs mit Google Kubernetes Engine (GKE) finden Sie unter GPU-, TPU- und H4D-Nutzung mit dem Bereitstellungsmodus „Flex-Start“.

 Flex-Start ist ideal für Experimente, kleinere Tests, die dynamische Bereitstellung von TPUs für Inferenzarbeitslasten, die Feinabstimmung von Modellen und Arbeitslastausführungen, die weniger als sieben Tage dauern. TPU7x, TPU v6e und TPU v5p
Spot

Sie fordern TPU-Ressourcen an, die vorzeitig beendet werden können.

Spot-VMs sind deutlich günstiger als On-Demand-Ressourcen. Spot-VMs sind oft einfacher zu erhalten als On-Demand-Ressourcen, können aber jederzeit vorzeitig beendet (heruntergefahren) werden. Die Laufzeit ist nicht begrenzt. Weitere Informationen zu TPU Spot-VMs finden Sie unter TPU-Spot-VMs verwalten.

 Spot eignet sich gut für die Planung von Arbeitslasten mit niedrigerer Priorität wie Modell Vortraining, Modellfeinabstimmung und Simulationsjobs, die Verfügbarkeitsunterbrechungen tolerieren können. Alle TPU-Versionen

TPU-Version auswählen

Wählen Sie die TPU-Version aus, z. B. v5p, v6e oder TPU7x (Ironwood), je nach den Trainings- oder Inferenzanforderungen Ihres Modells. Weitere Informationen finden Sie unter TPU-Versionen.

TPU-Kontingent anfordern

Wenn Sie TPU-VMs verwenden möchten, benötigen Sie unabhängig von der Nutzungsoption entweder On-Demand-Kontingent oder Kontingent auf Abruf für Cloud TPU-Ressourcen. Prüfen Sie, ob Sie genügend Kontingent für die ausgewählte Option, TPU-Version, Größe und Zone haben. Kontingente sind spezifisch für jede TPU-Version und unterscheiden sich für die On-Demand-Nutzung und die Nutzung auf Abruf. Für einige TPU-Versionen gibt es Standardkontingente, für andere müssen Sie Kontingent anfordern. Weitere Informationen finden Sie unter Compute Engine-Kontingente.

Nächste Schritte