Cloud TPU-Nutzungsoptionen
In diesem Dokument werden die Nutzungsoptionen beschrieben, die für Cloud TPU unterstützt werden. Nutzungsoptionen sind die Methoden, mit denen Kapazität angefordert wird. Berücksichtigen Sie bei der Auswahl einer Nutzungsoption die folgenden Faktoren:
- Wie schnell benötigen Sie die Kapazität?
- Wie lange benötigen Sie die Kapazität?
- Benötigen Sie die Kapazität für einen festen oder flexiblen Zeitraum?
- Kann die Bereitstellung Ihrer Kapazität vorzeitig beendet werden?
- Preise
Wenn Sie Cloud TPU-APIs verwenden, benötigen Sie für jede Nutzungsmethode entweder On-Demand-Kontingent oder Kontingent auf Abruf für die Anzahl der Cloud TPU-Kerne, die Sie verwenden möchten. Für jede TPU-Version gibt es unterschiedliche standardmäßige On-Demand-Kontingente und Kontingente auf Abruf. Weitere Informationen finden Sie unter Cloud TPU-Kontingente.
Wenn Sie TPUs mit Google Kubernetes Engine (GKE) verwenden, nutzen Sie das Compute Engine API-Kontingent, das ein anderes Kontingent ist. Weitere Informationen zu Kontingenten, die Sie für TPUs in GKE verwenden, finden Sie unter Ausreichendes TPU-Kontingent sicherstellen.
| Nutzungsoption | Funktionsweise | Geeignete Anwendungsfälle | Unterstützte TPU-Versionen und ‑Zonen | Kontingenttyp für Cloud TPU API |
|---|---|---|---|---|
| Vorausschauende Reservierungen für ein Jahr oder länger | Sie fordern TPU-Ressourcen im Voraus für ein Jahr oder länger an. Diese Ressourcen sind während dieses Zeitraums ausschließlich für Sie reserviert. Reservierungen bieten das höchste Maß an Sicherheit für Kapazität und sind kostengünstig, da sie einen niedrigeren Preis als On-Demand-Ressourcen haben. Für vorausschauende Reservierungen von TPUs gilt ein Rabatt für zugesicherte Nutzung. Rabatte für zugesicherte Nutzung sind Preisnachlässe für Nutzer, die einen Vertrag für zugesicherte Nutzung abschließen. Weitere Informationen finden Sie unter Vorausschauende Reservierung für ein Jahr oder länger anfordern. |
Vorausschauende Reservierungen für ein Jahr sind ideal für Trainingsjobs mit langer Laufzeit und für Inferenzarbeitslasten. | Alle TPU-Versionen: Siehe TPU-Regionen und ‑Zonen. | On-Demand-Kontingent |
| Vorausschauende Reservierungen für bis zu 90 Tage (im Kalendermodus) (Vorschau) | Sie fordern TPU-Ressourcen für einen bestimmten Beginn und eine Dauer zwischen 1 und 90 Tagen an. Diese Ressourcen sind während dieses Zeitraums ausschließlich für Sie reserviert. Reservierungen bieten das höchste Maß an Sicherheit für Kapazität und sind kostengünstig, da sie einen niedrigeren Preis als On-Demand-Ressourcen haben. Weitere Informationen finden Sie unter Vorausschauende Reservierung für bis zu 90 Tage im Kalendermodus anfordern. |
Vorausschauende Reservierungen im Kalendermodus eignen sich gut für Trainings- und Testarbeitslasten, die genaue Startzeiten erfordern und eine konkrete Dauer haben. | v6e (Trillium) für Training und Bereitstellung: asia-northeast1‑b, us-east5‑a v5p für Training und Bereitstellung: us-east5‑a v5e für Training: us-west4‑a v5e für Bereitstellung: us-central1‑a |
Kein Kontingent erforderlich |
| On Demand | Sie fordern TPU-Ressourcen an, die so schnell wie möglich und so lange wie gewünscht verfügbar sein sollen. On-Demand bietet die höchste Flexibilität. Die Bereitstellung von On-Demand-Ressourcen wird nicht vorzeitig beendet, aber es gibt keine Garantie dafür, dass genügend TPU-Ressourcen verfügbar sind, um Ihre Anfrage zu erfüllen. On-Demand ist die Standardeinstellung, wenn Sie TPU-Ressourcen erstellen. Weitere Informationen zum Erstellen und Verwenden von On-Demand-TPUs finden Sie unter TPU-Ressourcen verwalten. |
On-Demand-Instanzen eignen sich gut für dringende Jobs und Arbeitslasten, bei denen das Ende flexibel sein soll. | Alle TPU-Versionen: Siehe TPU-Regionen und ‑Zonen. | On-Demand-Kontingent |
| Flex-Start (Vorschau) | Sie können TPU-Ressourcen für einen bestimmten Zeitraum von bis zu 7 Tagen anfordern, ohne Kapazität im Voraus reservieren zu müssen. TPU-Flex-Start-VMs werden aus einem dedizierten Kapazitätspool bereitgestellt. Die Verfügbarkeit dieser Ressourcen ist daher höher als bei On-Demand-VMs. Weitere Informationen zur Verwendung von TPU-Flex-Start-VMs finden Sie unter TPU-Flex-Start-VMs anfordern. Weitere Informationen zur Verwendung von TPU-Flex-Start-VMs mit Google Kubernetes Engine (GKE) finden Sie unter GPU-, TPU- und H4D-Nutzung mit dem Bereitstellungsmodus „Flex-Start“. |
Flex-Start ist ideal für Experimente, kleinere Tests, die dynamische Bereitstellung von TPUs für Inferenzarbeitslasten, die Feinabstimmung von Modellen und Arbeitslastausführungen, die weniger als 7 Tage dauern. |
v6e (Trillium): asia-northeast1‑b, us-east5‑a v5p: us-east5‑a v5e us-west4‑a |
Kontingent auf Abruf |
| Spot | Sie fordern TPU-Ressourcen an, deren Bereitstellung vorzeitig beendet werden kann. Spot-VMs sind viel kostengünstiger als On-Demand-Ressourcen. Spot-VMs sind möglicherweise einfacher zu erhalten als On-Demand-Ressourcen, ihre Bereitstellung kann aber jederzeit vorzeitig beendet werden. Die Laufzeit ist nicht begrenzt. Weitere Informationen zu TPU-Spot-VMs finden Sie unter TPU-Spot-VMs verwalten. |
Spot eignet sich gut für die Planung von Arbeitslasten mit niedrigerer Priorität wie Modellvortraining, Modellfeinabstimmung und Simulationsjobs, die Verfügbarkeitsunterbrechungen tolerieren können. | Alle TPU-Versionen: Siehe TPU-Regionen und ‑Zonen. | Kontingent auf Abruf |
Nächste Schritte
Erste Schritte mit TPUs: