Compute Engine-Reservierungen mit Dataflow verwenden

Um sicherzustellen, dass VM-Ressourcen verfügbar sind, wenn Ihre Dataflow-Jobs sie benötigen, können Sie Compute Engine-Reservierungen verwenden. Reservierungen bieten ein hohes Maß an Sicherheit beim Beschaffen von Kapazitäten für zonale Ressourcen von Compute Engine.

Führen Sie die folgenden Schritte aus, um automatisch genutzte Compute Engine-Reservierungen mit Dataflow zu verwenden:

  1. Erstellen Sie eine Compute Engine-Reservierung. Es kann sich um eine Reservierung für ein einzelnes Projekt oder eine freigegebene Reservierung handeln. Weitere Informationen finden Sie in folgenden Dokumenten:

    Die Reservierung kann GPU- oder TPU-Beschleuniger enthalten.

  2. Damit die Reservierung genutzt werden kann, muss die Dataflow-Worker-Konfiguration mit der Reservierungskonfiguration übereinstimmen (z. B. Maschinentyp und Beschleunigereinstellungen). Möglicherweise müssen Sie den Worker-Maschinentyp für den Job festlegen. Weitere Informationen finden Sie unter Worker-VMs konfigurieren.

  3. Senden Sie Ihren Dataflow-Job.

  4. Sie können die aktuelle Nutzung der Reservierung durch Dataflow in der Console auf der Seite „Reservierungen“ beobachten Google Cloud .

Damit Arbeitslasten mit niedriger Priorität im selben Projekt nicht mit Reservierungen für Dataflow konkurrieren, legen Sie die Reservierungsaffinität auf none fest, wenn Sie für diese Arbeitslasten VMs erstellen. Weitere Informationen finden Sie unter Reservierte Instanzen nutzen.

Beschränkungen

  • Alle Einschränkungen von Compute Engine-Reservierungen gelten, wenn Dataflow-Worker Reservierungen nutzen. Siehe Funktionsweise von Reservierungen.

  • Dataflow basiert auf der Standardnutzungsreihenfolge in Compute Engine. Deshalb gelten folgende Einschränkungen:

    • Andere Arbeitslasten im selben Projekt oder in derselben Organisation, die das Flag --reservation nicht angeben, können mit Dataflow-Arbeitslasten um projektspezifische oder freigegebene Reservierungen konkurrieren.

  • Dataflow Prime-Jobs verbrauchen keine Compute Engine-Reservierungen.

Reservierungen und Beschleuniger

Dataflow unterstützt speziell ausgerichtete Reservierungen für Pipelines mit Beschleunigern (GPUs oder TPUs). Diese Funktion ist allgemein mit einer Zulassungsliste verfügbar. Wenn Sie Anleitungen zur Verwendung von Dataflow-Beschleunigern mit bestimmten Reservierungen benötigen, wenden Sie sich an Ihr Account-Management-Team.

Preise

Dataflow stellt Ihnen VMs aus automatisch genutzten Reservierungen in Rechnung, während Ihr Dataflow-Job ausgeführt wird. Wenn Dataflow die VMs nicht verwendet, werden sie von Compute Engine in Rechnung gestellt.

Compute Engine-Preismodell

Wenn Ihre Dataflow-Nutzung VMs aus speziell ausgerichteten Reservierungen mit GPUs oder TPUs umfasst, werden die Rechenressourcen dieser reservierten VMs gemäß den Compute Engine Preisen in Rechnung gestellt. Wenn Ihre speziell ausgerichteten Reservierungen an eine ressourcenbasierte Zusicherung von Compute Engine angehängt sind, erhalten Sie außerdem die entsprechenden ressourcenbasierten Rabatte für zugesicherte Nutzung für Ihre Nutzung. Außerdem wird ein Verwaltungsaufschlag für die in Dataflow verbrauchten Rechenressourcen berechnet. Weitere Preisinformationen finden Sie unter Dataflow – Preise.

Dataflow-Preismodell

Für alle anderen Arten von Compute Engine-Reservierungen, die Sie mit Dataflow verwenden, wird Ihre Nutzung gemäß dem Dataflow-Preismodell in Rechnung gestellt. Die Dataflow-Nutzung aus diesen Reservierungen ist nicht für ressourcenbasierte Rabatte für zugesicherte Nutzung berechtigt, auch wenn diese Reservierungen an eine ressourcenbasierte Zusicherung angehängt sind. Dies gilt für die folgenden Compute Engine-Reservierungen:

  • Speziell ausgerichtete Reservierungen ohne GPUs oder TPUs
  • Alle automatisch genutzten Reservierungen

Nächste Schritte

Weitere Informationen zu Compute Engine-Reservierungen finden Sie unter Reservierungen von zonalen Compute Engine-Ressourcen.