Cloud TPU-Ressourcen planen

Auf dieser Seite wird beschrieben, wie Sie die Nutzung von Tensor Processing Unit (TPUs) planen.

Nutzungsoption auswählen

Nutzungsoptionen sind die Möglichkeiten, Rechenressourcen zu beziehen und zu nutzen. Sie können Cloud TPU-VM-Kapazität basierend auf Ihren Anforderungen an Geschwindigkeit, Dauer, Kosten und Toleranz gegenüber vorzeitiger Beendigung anfordern. Es gibt folgende Optionen:

  • On-Demand:Standardmäßige Instanzen mit nutzungsabhängiger Bezahlung.
  • Spot-VMs:Kostengünstigere Instanzen, deren Bereitstellung vorzeitig beendet werden kann. Verwenden Kontingente auf Abruf.
  • Flex-Start-VMs:Kapazität nach Bedarf für bis zu 7 Tage reservieren, ohne langfristige Reservierungen oder eine komplexe Kontingentverwaltung.
  • Reservierungen:Kapazität für eine bestimmte Dauer (bis zu 90 Tage oder 1 Jahr oder länger) reservieren, wodurch die Verfügbarkeit garantiert wird. Verwenden On-Demand-Kontingente.

In der folgenden Tabelle werden die TPU-Nutzungsoptionen verglichen. Dabei wird auf die Funktionsweise, die idealen Anwendungsfälle sowie die unterstützten TPU-Versionen und ‑Zonen eingegangen.

Nutzungsoption Funktionsweise Geeignete Anwendungsfälle Unterstützte TPU-Versionen und ‑Zonen
Vorausschauende Reservierungen für ein Jahr oder länger

Sie fordern TPU-Ressourcen für ein Jahr oder länger im Voraus an. Diese Ressourcen sind während dieser Zeit ausschließlich für Ihre Nutzung reserviert.

Reservierungen bieten das höchste Maß an Sicherheit für Kapazität und sind kostengünstiger als On-Demand-Ressourcen.

Für vorausschauende TPU-Reservierungen gilt ein Rabatt für zugesicherte Nutzung (CUD) Rabatte für zugesicherte Nutzung sind Preisnachlässe für Nutzer, die einen Vertrag für zugesicherte Nutzung abschließen. Weitere Informationen finden Sie unter Vorausschauende Reservierungen für ein Jahr oder länger

 Vorausschauende Reservierungen für ein Jahr oder länger sind ideal für Trainingsjobs mit langer Laufzeit und für Inferenzarbeitslasten. Alle TPU-Versionen: Siehe TPU Regionen und Zonen
Vorausschauende Reservierungen für bis zu 90 Tage (Kalendermodus)

Sie fordern TPU-Ressourcen für eine bestimmte Startzeit und Dauer, zwischen einem und 90 Tagen an. Diese Ressourcen sind während dieser Zeit ausschließlich für Ihre Nutzung reserviert. Weitere Informationen finden Sie unter Vorausschauende Reservierungen für bis zu 90 Tage (Kalendermodus)

Reservierungen bieten das höchste Maß an Sicherheit für Kapazität und sind kostengünstiger als On-Demand-Ressourcen.

 Vorausschauende Reservierungen im Kalendermodus eignen sich gut für Trainings- und Experimentierarbeitslasten, die genaue Startzeiten erfordern und eine konkrete Dauer haben.

TPU7x (Ironwood) für Training und Bereitstellung: us-central1-c

v6e (Trillium) für Training und Bereitstellung: asia-northeast1‑b, us-east5‑a

v5p für Training und Bereitstellung: us-east5‑a
On demand

Sie fordern TPU-Ressourcen zur sofortigen Nutzung an, so lange Sie sie benötigen.

On-Demand-Instanzen bieten erhebliche Flexibilität. Die Bereitstellung von On-Demand-Ressourcen wird nicht vorzeitig beendet, aber es gibt keine Garantie dafür, dass genügend verfügbare TPU-Ressourcen vorhanden sind, um Ihre Anfrage zu erfüllen. On-Demand ist die Standardoption, wenn Sie TPU-Ressourcen erstellen. Weitere Informationen zum Erstellen und Verwenden von On-Demand-TPUs finden Sie unter TPU-VMs erstellen.

 On-Demand-Instanzen eignen sich gut für dringende Jobs und Arbeitslasten, bei denen das Ende flexibel sein soll. Alle TPU-Versionen: Siehe TPU Regionen und Zonen
Flex-Start (Vorschau)

Sie fordern TPU-Ressourcen für einen bestimmten Zeitraum von bis zu sieben Tagen an, ohne Kapazität im Voraus zu reservieren.

TPU-Flex-Start-VMs werden aus einem dedizierten Kapazitätspool bereitgestellt. Die Verfügbarkeit dieser Ressourcen ist daher höher als bei On-Demand-VMs. Weitere Informationen finden Sie unter TPU-Flex-Start-VMs anfordern.

Weitere Informationen zur Verwendung von TPU-Flex-Start-VMs mit Google Kubernetes Engine (GKE) finden Sie unter GPU-, TPU- und H4D-Nutzung mit dem Bereitstellungsmodus „Flex-Start“.

 Flex-Start ist ideal für Experimente, kleinere Tests, die dynamische Bereitstellung von TPUs für Inferenzarbeitslasten, die Feinabstimmung von Modellen und Arbeitslastausführungen, die weniger als sieben Tage dauern.

TPU7x (Ironwood): us-central1-c (nur mit GKE)

v6e (Trillium): asia-northeast1‑b, us-east5‑a

v5p: us-east5‑a
Spot

Sie fordern TPU-Ressourcen an, deren Bereitstellung vorzeitig beendet werden kann.

Spot-VMs sind viel kostengünstiger als On-Demand-Ressourcen. Spot-VMs sind oft einfacher zu erhalten als On-Demand-Ressourcen, können aber jederzeit vorzeitig beendet (heruntergefahren) werden. Es gibt keine Beschränkung der Laufzeit. Weitere Informationen zu TPU Spot-VMs finden Sie unter TPU-Spot-VMs verwalten.

 Spot eignet sich gut für die Planung von Arbeitslasten mit niedrigerer Priorität wie Modell Vortraining, Modellfeinabstimmung und Simulationsjobs, die Verfügbarkeitsunterbrechungen tolerieren können. Alle TPU-Versionen: Siehe TPU Regionen und Zonen

TPU-Version auswählen

Wählen Sie die TPU-Version aus, z. B. v5p, v6e oder TPU7x (Ironwood), je nach den Anforderungen Ihres Modells für Training oder Inferenz. Weitere Informationen finden Sie unter TPU-Versionen.

TPU-Kontingent anfordern

Wenn Sie TPU-VMs verwenden möchten, benötigen Sie unabhängig von der Nutzungsoption entweder On-Demand-Kontingent oder Kontingent auf Abruf für Cloud TPU-Ressourcen. Prüfen Sie, ob Sie genügend Kontingent für die von Ihnen ausgewählte Option, TPU-Version, Größe und Zone haben. Kontingente sind spezifisch für jede TPU-Version und unterscheiden sich für die On-Demand-Nutzung und die Nutzung auf Abruf. Für einige TPU-Versionen gibt es Standardkontingente, für andere müssen Sie ein Kontingent anfordern. Weitere Informationen finden Sie unter Compute Engine-Kontingente.

Nächste Schritte