:Hyperdisk Exapools sind allgemein verfügbar, wenn Sie auf der Zulassungsliste stehen. Wenn Sie auf diese Funktion zugreifen möchten, wenden Sie sich an Ihr Account-Management-Team .
Wann Hyperdisk-Exapools verwenden?
Exapools sind für umfangreiche Arbeitslasten mit Zehntausenden von Laufwerken in einer einzelnen Zone vorgesehen, die zwischen 500 TiB und 2,5 EiB an langlebigem Blockspeicher benötigen. Wenn Ihre Arbeitslast eine geringere Kapazität oder Leistung erfordert, verwenden Sie einen Hyperdisk Storage Pool oder erstellen Sie Laufwerke außerhalb eines Pools.
Exapools bieten Speicher und Leistung in dem größten Umfang, der in Compute Engine verfügbar ist. Außerdem können Sie Kosten sparen, da Sie mehr Leistung und Kapazität bereitstellen können, als Sie benötigen, aber nur für die tatsächliche Nutzung bezahlen.
Hyperdisk-Exapools sind ideal für umfassende KI-, ML- und große verteilte parallele Dateisystemarbeitslasten. Hier einige Beispiele für Arbeitslasten:
Beispielarbeitslasten für Hyperdisk-Exapools :
KI‑/ML-Arbeitslasten, die 4.000 TPU-VMs umfassen und 2 PiB Hyperdisk Balanced mit einer bereitgestellten Leistung von 20.000.000 IOPS und einem Durchsatz von 3 TiB/s verwenden, was zu einem gleichzeitigen aggregierten Spitzendurchsatz von 500 GiB/s führt.
KI-/ML-Trainingsarbeitslasten mit 15.000 GPU-Instanzen, die Hyperdisk Balanced für Boot- und Scratch-Laufwerke mit einer Gesamtkapazität von 8 PiB verwenden und einen gleichzeitigen aggregierten Spitzendurchsatz von 1 TiB/s erreichen.
Paralleles Dateisystem mit einer Kapazität von mindestens 6 PiB und gleichzeitigen aggregierten Spitzen von 800 GiB/s für leseintensiven Durchsatz.
Funktionsweise von Exapools
Sie erstellen einen Exapool mit der aggregierten Kapazität und Leistung, die für alle Laufwerke Ihrer Arbeitslast in einer Zone erforderlich sind, und erstellen dann nach Bedarf Laufwerke im Pool. Sie können Laufwerke in einem Exapool als Bootlaufwerke oder Datenlaufwerke für Ihre Compute Engine-Instanzen und -Container verwenden.
Wenn Sie ein Laufwerk in einem Exapool erstellen, weisen Sie dem Laufwerk einige der Ressourcen des Pools (Größe und Leistung) zu. Wenn Sie ein Laufwerk in einem Pool löschen, werden die dem Laufwerk zugewiesenen Ressourcen an den Pool zurückgegeben und können von anderen Laufwerken verwendet werden.
Angenommen, Sie erstellen einen Hyperdisk Balanced-Exapool mit einer Kapazität von 50 PiB. Wenn Sie 100 Laufwerke mit jeweils 10 TiB im Pool erstellen, verringert sich die verbleibende verfügbare Kapazität des Pools um 1.000 TiB.
Exapool-Typen
Wenn Sie einen Exapool erstellen, müssen Sie einen Hyperdisk-Typ für die Laufwerke im Pool auswählen.
Die folgenden Typen sind verfügbar:
Weitere Informationen zur Auswahl eines Hyperdisk-Typs finden Sie unter Hyperdisk-Typ für Ihre Arbeitslast auswählen .
Unterstützung von Maschinenserien
Hyperdisk Throughput-Exapools und Hyperdisk Balanced-Exapools werden mit denselben Maschinenserien unterstützt, die auch Hyperdisk Throughput bzw. Hyperdisk Balanced unterstützen. Eine Liste der unterstützten Maschinenserien finden Sie unter Unterstützung von Maschinenserien für Hyperdisk Throughput und Unterstützung von Maschinenserien für Hyperdisk Balanced .
Leistungs- und Kapazitätsbereitstellung für Exapools
Der Bereitstellungstyp eines Pools bestimmt, wie die Ressourcen von den Laufwerken im Pool genutzt werden.
Exapools verwenden erweitertes Provisioning für Kapazität und Leistung, was die größten Kosten- und Zeiteinsparungen ermöglicht.
Erweiterte Kapazitätsbereitstellung
Alle Exapools verwenden die erweiterte Kapazitätsbereitstellung, die folgende Vorteile bietet:
Thin Provisioning: Compute Engine weist Daten nach Bedarf Laufwerken im Pool zu, nicht wenn das Laufwerk bereitgestellt wird.
Überbereitstellung: Sie können die Laufwerke im Pool mit bis zu 50-mal mehr Kapazität bereitstellen, als Sie für den Exapool erworben haben. Das vereinfacht die Kapazitätsplanung und vermeidet Ausfallzeiten für die manuelle Größenanpassung von Laufwerken.
Hinweis : Exapools bieten kein automatisches Erweitern der Kapazität oder Leistung und keine Datenkomprimierung. Eine detaillierte Beschreibung der erweiterten Kapazitätsbereitstellung finden Sie unter Erweiterte Kapazitätsbereitstellung .
Erweiterte Leistungsbereitstellung
Exapools verwenden eine erweiterte Leistungsbereitstellung, die folgende Vorteile bietet:
Thin Provisioning: Compute Engine weist den Laufwerken im Pool nach Bedarf Leistungsressourcen zu. Nur die Menge an IOPS und Durchsatz, die von einem Laufwerk in einem Exapool verwendet wird, verbraucht Leistung.
Überbereitstellung: Die Gesamtleistung aller Laufwerke in einem Pool kann bis zu 50-mal so hoch sein wie die bereitgestellte Schreibleistung des Pools.
Gemeinsame Leistung: Die Leistung des Pools wird auf die Laufwerke in einem Exapool aufgeteilt, bis zum Limit jedes Laufwerks. So können Kosten für Laufwerke mit unterschiedlichen Spitzenzeiten gespart werden.
Eine detaillierte Erklärung der erweiterten Leistungsbereitstellung finden Sie unter Erweiterte Leistungsbereitstellung .
Die bereitgestellte Leistung eines Exapools, also wie viel IOPS und Durchsatz Sie den Laufwerken im Pool zuweisen können, hängt von den folgenden Faktoren ab:
Die Anzahl der Kapazitätseinheiten im Pool
Der Laufwerkstyp des Exapools
Funktionsweise von Kapazitätseinheiten
Eine Kapazitätseinheit umfasst 1 GiB Kapazität und eine feste Menge an Leistung (IOPS und Durchsatz) pro GiB. Wenn Sie einem Pool beispielsweise 1 PiB an Kapazität hinzufügen möchten, kaufen Sie 1.048.576 Kapazitätseinheiten (1.048.576 GiB = 1 PiB). Exapools bieten drei Arten von Kapazitätseinheiten zur Auswahl. Die Menge an Leistung, die dem Pool hinzugefügt wird, hängt vom Typ der Kapazitätseinheiten ab:
Kapazitätsoptimierte Einheiten: bieten eine ausgewogene Rate von IOPS und Durchsatz für Lese- und Schreibvorgänge.
Leseoptimierte Einheiten: bieten die höchste Rate an Lesevorgängen und den höchsten Durchsatz pro GiB.
Schreiboptimierte Einheiten: bieten die höchste Rate an Schreibvorgängen und den höchsten Durchsatz pro GiB.
Wenn Ihre Arbeitslast mehr Lesevorgänge als Schreibvorgänge umfasst oder mehr Lesedurchsatz als Schreibdurchsatz erfordert, erzielen Sie den besten Wert, wenn Sie leseoptimierte Einheiten erwerben.
Sie können verschiedene Arten von Kapazitätseinheiten kombinieren, wenn Sie einen Exapool bereitstellen oder erweitern. Der Typ und die Anzahl der Kapazitätseinheiten, die Sie für einen Pool kaufen, werden als Mischung von Kapazitätseinheiten bezeichnet.
Die Mischung der Einheiten in einem Exapool wirkt sich nicht auf die Leistung der Festplatten im Exapool aus. Die Mischung der Einheiten wirkt sich nur auf die folgenden Faktoren aus:
So wird der Exapool abgerechnet.
Die maximal bereitgestellte Leistung für den Exapool.
Kapazitätseinheiten für einen Exapool auswählen
Um die Anforderungen Ihrer Arbeitslast möglichst kostengünstig zu erfüllen, sollten Sie mit Ihrem Account-Management-Team zusammenarbeiten, um eine Kombination von Kapazitätseinheiten auszuwählen, die am besten zu Ihrer Arbeitslast passt. Sie können beispielsweise einen Exapool mit einer hohen Anzahl von leseoptimierten Einheiten für alle leseintensiven Festplatten in einem Projekt erstellen.
Verhältnisse der Kapazitätseinheiten für Hyperdisk-Throughput-Exapools
Für Hyperdisk Throughput-Exapools gelten die folgenden Leistungsverhältnisse basierend auf der gekauften Kapazität:
Typ der Kapazitätseinheit
Gekaufte Kapazitätseinheiten
Exapool-Kapazität (TiB)
Lesedurchsatz (MiB/s)
Schreibdurchsatz (MiB/s)
Kapazitätsoptimiert
1.024
1
0.97
0,10
Leseoptimiert
1.024
1
3,38
0,10
Schreiboptimiert
1.024
1
0.97
1,84
Verhältnisse von Kapazitätseinheiten für Hyperdisk Balanced Exapool
Für Hyperdisk Balanced-Exapools gelten die folgenden Leistungsverhältnisse basierend auf der gekauften Kapazität:
Typ der Kapazitätseinheit
Gekaufte Kapazitätseinheiten
Exapool-Kapazität (TiB)
Lesedurchsatz (MiB/s)
Schreibdurchsatz (MiB/s)
IOPS für Lesevorgänge
IOPS für Schreibvorgänge
Kapazitätsoptimiert
1.024
1
5.12
1,02
275
102
Leseoptimiert
1.024
1
378,88
30.72
21.311
3.072
Schreiboptimiert
1.024
1
220,16
71,68
12.288
6.656
Die Mischung der Kapazitätseinheiten eines Exapools hat keinen Einfluss darauf, wie Laufwerke im Exapool Leistung verbrauchen. Die einzelnen Lese- und Schreibvorgänge der Laufwerke im Pool werden nicht unterschiedlich abgerechnet. Wenn Sie Einheiten eines bestimmten Typs kaufen, werden die Laufwerke nicht auf eine feste Anzahl von Lese- oder Schreib-IOPS beschränkt. Wenn Sie ein Laufwerk in einem Exapool erstellen, geben Sie auch kein Limit für Lese- oder Schreib-IOPS an, sondern nur ein Limit für bereitgestellte IOPS.
Betrachten Sie beispielsweise zwei Hyperdisk Balanced-Exapools, Pool-1 und Pool-2.. Beide haben 100.000.000 kapazitätsoptimierte Einheiten. Pool-1 hat außerdem 5.000.000 schreiboptimierte Einheiten, während Pool-2 5.000.000 leseoptimierte Einheiten hat.
Da beide Pools insgesamt 105.000.000 Einheiten haben, haben sie dieselbe Gesamtkapazität von 100,1 PiB (105.000.000 GiB).
Da sie jedoch unterschiedliche Arten von Kapazitätseinheiten haben, gelten für die Pools unterschiedliche maximale Leistungsgrenzen und Kosten. Es gibt keinen Leistungsunterschied zwischen den Festplatten in den beiden Pools.
Beispiel
Angenommen, ein Hyperdisk Balanced-Exapool hat 12.400.000 Kapazitätseinheiten, die sich aus Folgendem zusammensetzen:
5.000.000 kapazitätsoptimierte Einheiten
2.400.000 leseoptimierte Einheiten
5.000.000 schreiboptimierte Einheiten
Der Exapool hat eine Kapazität von 12.109,4 TiB (1 TiB für jeweils 1.024 Einheiten).
Der Exapool hat 151.488.476 IOPS, die sich so berechnen:
IOPS von 5.000.000 kapazitätsoptimierten Einheiten: 1.840.820 (1.342.773 Lese-IOPS + 498.047 Schreib-IOPS)
IOPS von 2.400.000 leseoptimierten Einheiten: 57.147.656
(49.947.656 Lese-IOPS + 7.200.000 Schreib-IOPS)
IOPS von 5.000.000 schreiboptimierten Einheiten: 92.500.000
(60.000.000 Lese-IOPS + 32.500.000 Schreib-IOPS)
Compute Engine bietet Messwerte, mit denen Sie Ihre Exapools überwachen können. Mit diesen Messwerten lassen sich unter anderem folgende Fragen beantworten:
Wie viele Lese- und Schreib-IOPS sind im Exapool noch verfügbar?
Wie viel Kapazität wurde den Laufwerken im Exapool zugewiesen?
Wie viele Festplatten sind im Exapool?
Sie können diese Messwerte in Cloud Monitoring aufrufen. Weitere Informationen finden Sie unter Hyperdisk-Pools überwachen .
Größen- und Leistungslimits für Hyperdisk-Exapools
In diesem Abschnitt werden die Limits für die einzelnen Exapool-Typen aufgeführt.
Attribut
Hyperdisk Balanced-Exapools
Hyperdisk Throughput-Exapools
Minimale Kapazität
500 TiB
500 PiB
Maximale Kapazität
1 EiB
5 EiB
Minimaler Durchsatz
1 TiB/s
250 GiB/s
Maximaler Durchsatz
10 TiB/s
10 TiB/s
Maximale Anzahl von Laufwerken pro Pool
500.000
500.000
Kapazitätserhöhungen
1 TiB
1 PiB
Maximale Anzahl von Exapools pro Projekt und Zone
1
1
Leistungsverhältnisse
32 KB E/A-Größe für Lese- und Schreibdurchsatz; 4 KB E/A-Größe für Lese- und Schreib-IOPS
1 MB E/A-Größe für Lesevorgänge, 256 KB E/A-Größe für Schreibvorgänge
Größen- und Leistungslimits für Laufwerke in einem Exapool
Für Laufwerke in einem Exapool gelten dieselben Größen- und Leistungsgrenzen wie für Laufwerke, die sich nicht in einem Pool befinden:
Hyperdisk-Typ
Maximal bereitstellbare Leistung pro Laufwerk
Anpassbarer Durchsatz
Benutzerdefinierte IOPS
Hyperdisk Balanced
160.000 IOPS;
Ja
Ja
Hyperdisk Throughput
Durchsatz von 2.400 MiB/s
Ja
Nein. 4 IOPS pro MiB/s Durchsatz, bis zu 9.600 IOPS
Sie können beim Erstellen ein Leistungslimit für das Laufwerk festlegen und das Leistungslimit ändern, während das Laufwerk verwendet wird.
Weitere Informationen zu den Größen- und Leistungsgrenzen finden Sie unter Größen- und Leistungsgrenzen für Hyperdisk Throughput und Größen- und Leistungsgrenzen für Hyperdisk Balanced .
Regionale Verfügbarkeit
Hyperdisk Balanced Exapools und Hyperdisk Throughput Exapools sind in allen Zonen verfügbar.
Verschlüsselung
Das Verschlüsseln von Laufwerken in einem Hyperdisk-Pool funktioniert genauso wie das Verschlüsseln von Laufwerken außerhalb eines Pools.
Weitere Informationen finden Sie unter Laufwerksverschlüsselung .
Preise
Die Abrechnung für Exapools erfolgt basierend auf der Anzahl und dem Typ der Kapazitäts- und Leistungseinheiten, die Sie für den Pool erworben haben. Die bereitgestellten IOPS, der Durchsatz oder die Kapazität für die im Pool erstellten Laufwerke werden nicht in Rechnung gestellt.
Hyperdisk Exapools sind für ressourcenbasierte Rabatte für zugesicherte Nutzung (CUDs) mit einer Mindestzusicherung von 1 Jahr oder bis zu 3 Jahren berechtigt. Wenn Sie einen 1- oder 3-Jahres-Exapool erwerben, erhalten Sie automatisch ressourcenbasierte CUDs in 1- oder 3-Jahres-Zusicherungen.
Weitere Informationen finden Sie unter Laufwerk-Preise .
Beschränkungen
Für Exapools gelten die folgenden Einschränkungen.
Sie müssen sich an Ihr Account-Management-Team wenden , um einen Hyperdisk Exapool zu erstellen, zu ändern oder zu löschen.
Die Leistung, die Sie für einen Exapool bereitstellen können, hängt vom Typ und der Anzahl der Kapazitätseinheiten für den Exapool ab. Die Leistung für Laufwerke, die in einem Exapool erstellt wurden, ist jedoch unabhängig von der Mischung der Kapazitätseinheiten des Pools.
Sie können den Modus „Vertraulich“ für Hyperdisk Balanced-Volumes nicht in einem Exapool verwenden.
Für Exapools werden nur die erweiterte Kapazität und die erweiterte Leistungsbereitstellung verwendet. Die Standardkapazität oder die Standardleistungsbereitstellung werden nicht unterstützt.
Bei Exapools wird keine Datenkomprimierung verwendet.
Exapools unterstützen kein automatisches Wachstum für Leistung oder Kapazität. Sie müssen die Nutzung von Leistung und Kapazität Ihres Exapools selbst überwachen. Wenn Sie die Leistung oder Kapazität des Pools erhöhen möchten, wenden Sie sich an Ihr Account-Management-Team .
Sie können vorhandene Laufwerke nicht in einen Exapool verschieben oder aus einem Exapool entfernen. Sie müssen einen Standard-Snapshot des Laufwerks erstellen und dann mit dem Snapshot ein neues Laufwerk erstellen.
Nächste Schritte
