Rapid-Bucket

Auf dieser Seite wird Rapid Bucket beschrieben, eine Funktion, mit der Sie Objekte in der Speicherklasse „Rapid Storage“ speichern können, indem Sie eine Zone als Standort eines Buckets festlegen. Mit diesem Ansatz können Sie Ihren Datenspeicher mit Ihren Rechenressourcen am selben Standort platzieren. Dadurch werden im Vergleich zu anderen Speicherklassen in Cloud Storage deutlich niedrigere Latenzen und ein höherer Durchsatz erzielt. Arbeitslasten in anderen Zonen und Regionen können ebenfalls auf den Bucket zugreifen, wobei die Leistung von der Entfernung im Netzwerk abhängt.

Informationen zum Erstellen eines zonalen Buckets mit Rapid Bucket finden Sie unter Zonale Buckets erstellen. Eine Liste der unterstützten Standorte finden Sie unter Zonen. Informationen zum Lesen und Anhängen von Objekten in zonalen Buckets finden Sie unter Objekte in zonalen Buckets verwenden.

Damit Rapid Bucket für einen Bucket aktiviert werden kann, müssen für den Bucket auch der hierarchische Namespace und der einheitliche Zugriff auf Bucket-Ebene aktiviert sein.

Funktionen und Vorteile

Rapid Bucket wurde entwickelt, um Engpässe beim Speicher zu beseitigen. Es ist ideal für datenintensive Anwendungen wie KI/ML und Datenanalysen. Rapid Bucket unterstützt Latenzen im Submillisekundenbereich, einen aggregierten Durchsatz von bis zu 15 TB/s und 20 Millionen Abfragen pro Sekunde. Die extrem niedrige Latenz ermöglicht den sofortigen Datenabruf und ermöglicht Echtzeit-Inferenzanwendungen, in großem Maßstab zu arbeiten. Der massive Durchsatz und die hohe Anzahl von Abfragen pro Sekunde tragen dazu bei, dass Ihre teuren GPU-Cluster voll ausgelastet sind, wodurch die Trainingszeiten für Modelle erheblich reduziert werden.

Zonale Buckets bieten nicht nur niedrige Latenzen und einen hohen Durchsatz, sondern ermöglichen Ihnen auch Folgendes:

  • Objekte im zonalen Bucket anhängen, ohne das gesamte Objekt neu zu schreiben

  • Objekte öffnen und einen Stream beibehalten, während Sie Vorgänge ausführen, wodurch nachfolgende Lese- und Schreibvorgänge beschleunigt werden

Anwendungsfälle

Rapid Bucket eignet sich am besten für KI/ML-Arbeitslasten oder andere datenintensive Arbeitslasten. Beispiele für solche Arbeitslasten sind Modell-Checkpointing, ‑Bewertung und ‑Bereitstellung sowie Logging- und Messaging-Warteschlangen. Es kann auch für das Streamen von Daten oder als Speicher für Datenbanken verwendet werden.

Damit Sie die niedrige Latenz und den hohen Durchsatz von Rapid Bucket optimal nutzen können, stellen Sie sicher, dass Sie die direkte gRPC-Verbindung aktivieren.

Rapid Bucket-Terminologie

In der Cloud Storage-Dokumentation werden die folgenden Begriffe verwendet:

  • Rapid Bucket: Das Produkt, mit dem Buckets mit einem zonalen Standort und der Speicherklasse „Rapid Storage“ erstellt werden können.

  • Rapid Storage: Die Speicherklasse, die die höchste Leistung beim Datenzugriff und bei E/A-Vorgängen in Cloud Storage bietet. Wenn Sie Rapid Bucket verwenden, erstellen Sie einen Bucket, der Rapid Storage verwendet. Weitere Informationen zu Rapid Storage finden Sie unter Speicherklassen.

  • Zonaler Bucket: Ein Bucket, der sich in einer Zone befindet. Objekte in zonalen Buckets werden immer in Rapid Storage gespeichert und können angehängt werden.

Zugriff auf Objekte in zonalen Buckets

Damit Sie die Leistungsvorteile eines zonalen Buckets nutzen können, müssen Sie Objekte für das Streaming öffnen und einen Stream beibehalten, während Sie Vorgänge für die Objekte ausführen. Wenn Sie einen Stream einrichten und beibehalten, können Sie nachfolgende Lese- oder Schreibvorgänge für das Objekt mit sehr geringer Latenz ausführen. Wenn Sie beispielsweise eine Parquet-Datei lesen, können Sie sowohl den ersten Lesevorgang der Metadaten der Datei (die Fußzeile) als auch den nachfolgenden Lesevorgang bestimmter Zeilen in einer einzigen Anfrage ausführen. Dieser Ansatz ist effizienter als die Verwendung separater Anfragen für jeden Schritt.

Nach der Einrichtung bleiben Objektstreams standardmäßig geöffnet, wenn Sie auf Objekte in zonalen Buckets zugreifen mit Cloud Storage FUSE oder den Cloud Storage-Client Bibliotheken.

Sie können mehrere Lesestreams zu einem Objekt von einer beliebigen Anzahl von Hosts aus öffnen. Die Anzahl der Lesestreams, die Sie zu einem Objekt einrichten können, ist nicht begrenzt.

Objekte anhängen

Sie können Daten an Objekte in zonalen Buckets anhängen. Wenn Sie Objekte anhängen, gelten die folgenden Semantiken:

  • Anhängbare Objekte werden im Bucket-Namespace angezeigt, sobald Sie mit dem Schreiben beginnen. Sie können gelesen werden, während sie noch geschrieben werden.

  • Es gibt keine Beschränkungen für die Anzahl der Anhänge, die Sie an ein Objekt vornehmen können, oder für die Anzahl der Byte, die Sie gleichzeitig anhängen können. Sie können Anhänge vornehmen, bis ein Objekt die maximale Größe von 5 TiB erreicht.

  • Die Größe eines Objekts wächst in Echtzeit, wenn neue Anhänge dauerhaft geschrieben oder geleert werden. Wenn Sie einen Lesestream einrichten, sollten Sie mit einer minimalen Verzögerung bei der Aktualisierung der Objektgröße rechnen.

  • Anhängbare Objekte können jeweils nur einen Writer haben. Wenn ein neuer Schreibstream für ein Objekt eingerichtet wird, das bereits einen vorhandenen Schreibstream hat, wird von Cloud Storage ein Fehler an den ursprünglichen Stream zurückgegeben und der ursprüngliche Stream darf nicht mehr schreiben. Der neue Writer kann das Anhängen ab dem letzten gespeicherten Offset fortsetzen, ohne dass andere Anhänge in das Objekt eingefügt werden.

Objekte abschließen

Nachdem ein Objekt abgeschlossen wurde, können Sie keine Daten mehr anhängen, aber das Objekt weiterhin mit einer neuen Version überschreiben. Die Metadaten eines abgeschlossenen Objekts können weiterhin geändert werden. So können beispielsweise neue Tags hinzugefügt und das Objekt umbenannt werden.

Zonale Buckets bereitstellen

Sie können zonale Buckets mit Cloud Storage FUSE oder dem Cloud Storage FUSE-CSI-Treiber bereitstellen und darauf zugreifen. Verwenden Sie Cloud Storage FUSE Version 3.7.2 oder höher. Wenn Sie den Cloud Storage FUSE-CSI-Treiber verwenden möchten, muss Ihre Google Kubernetes Engine-Version 1.35.0-gke.3047001 oder höher sein.

Unterstützte Tools

Sie können die meisten Tools für Cloud Storage mit zonalen Buckets verwenden. Es gelten jedoch die folgenden Einschränkungen:

  • Sie können nicht in zonale Buckets schreiben, wenn Sie Standard-Clientbibliotheks-APIs verwenden, die für nicht zonale Buckets vorgesehen sind. Wenn Sie in zonale Buckets schreiben möchten, müssen Sie Ihren Code so ändern, dass unterstützte APIs für zonale Buckets verwendet werden. Welche APIs Sie verwenden sollten, erfahren Sie in den Codebeispielen für Ihre Clientbibliothek unter Objekte in zonalen Buckets verwenden.

  • Wenn Sie gRPC verwenden, können Sie nur mit den BidiWriteObject-APIs in zonale Buckets schreiben. Anhängbare Objekte werden nur vom BidiWriteObject-RPC-Aufruf im anhängbaren Modus unterstützt. Andere gRPC-Schreibmethoden (z. B. einmalige oder fortsetzbare Schreibvorgänge) und andere RPC-Aufrufe (z. B. WriteObject) unterstützen keine anhängbaren Objekte.

  • Sie können nicht mit der JSON API in zonale Buckets schreiben.

  • Rapid Bucket wird von den GCSFS-Python-Bibliotheken Versionen 2026.3.0 und höher unterstützt.

  • Einschränkungen der Google Cloud CLI:

    • Mindestversion der unterstützten Google Cloud CLI: Die Mindestversion der gcloud CLI, die zonale Buckets unterstützt, ist 553.0.0. Frühere Versionen sind nicht mit zonalen Buckets kompatibel. Wir empfehlen, die neueste Version der gcloud CLI zu verwenden, um die neuesten Funktionen und Fehlerkorrekturen zu erhalten. Für Downloads von geschnittenen Objekten und Leistungsoptimierungen für zonale Buckets ist die gcloud CLI-Version 583.0.0 oder höher erforderlich. Weitere Informationen finden Sie unter Leistung der gcloud CLI für zonale Buckets optimieren.

    • Sichtbarkeit unvollständiger Uploads: Im Gegensatz zu Buckets in anderen Speicher klassen, bei denen Objekte erst nach Abschluss eines Uploads im Namespace angezeigt werden, sind teilweise hochgeladene Objekte in zonalen Buckets sofort sichtbar. Wenn ein Google Cloud CLI-Uploadbefehl fehlschlägt oder unterbrochen wird, werden möglicherweise unvollständige Objekte in Ihrem Bucket angezeigt. Sie können diese Uploads fortsetzen, indem Sie den Befehl noch einmal ausführen.

    • Objektüberschreibungen: Für zonale Buckets gilt das Standardverhalten der Google Cloud CLI: Wenn Sie ein Objekt überschreiben und am Ziel eine Datei oder ein Objekt mit demselben Namen vorhanden ist, werden diese von den Befehlen cp, mv, und rsync der Google Cloud CLI standardmäßig überschrieben. Verwenden Sie das Flag --no-clobber, um Überschreibungen zu verhindern. Wenn Sie die Google Cloud CLI verwenden, wird das Anhängen von Daten an ein vorhandenes Objekt nicht unterstützt. Die gesamte Quelle muss noch einmal hochgeladen werden.

    • Objektabschluss: Bei Objekten, die mit der Google Cloud CLI in einen zonalen Bucket hochgeladen wurden, kann es gelegentlich zu einer kurzen Verzögerung kommen, bevor die Metadaten des Objekts vollständig synchronisiert sind. Da Cloud Storage ein Modell mit eventual consistency verwendet, kann es beim Versuch, ein Objekt sofort nach dem Upload herunterzuladen, zu einem Fehler wegen einer Prüfsummenabweichung kommen, wenn die Metadaten noch nicht aktualisiert wurden.

      Wenn ein Download kurz nach einem Upload mit einem Fehler wegen einer Prüfsummenabweichung fehlschlägt, versuchen Sie es noch einmal. Downloads sind entweder vollständig erfolgreich oder schlagen explizit fehl. Teilweise oder beschädigte Downloads treten nicht im Hintergrund auf.

  • Leistung der Prüfsummenvalidierung: Zonale Buckets verwenden ausschließlich CRC32C für die Datenvalidierung. So kann das System Prüfsummen pro Chunk und für den gesamten Upload oder Download berechnen. Standardmäßig verwendet die Google Cloud CLI die Python-Bibliothek google-crc32c, die in der Google Cloud CLI vorinstalliert ist. Wenn Sie jedoch eine nicht gebündelte Python Installation verwenden, müssen Sie die Bibliothek google-crc32c explizit von PyPI installieren. Andernfalls greift die Google Cloud CLI auf die Binärdatei gcloud-crc32c zurück, was zu einer langsameren Leistung bei der CRC-Berechnung pro Chunk führen kann.

Inkompatibilitäten

Zonale Buckets sind mit den folgenden Produkten und Diensten nicht kompatibel:

  • Daten hochladen und verwalten

    • Rapid Cache

    • Autoclass

    • Bucket-Sperre

    • Zusammengesetzte Objekte

    • Mehrteilige XML-Uploads

    • Objekt-Holds

    • Die Aktion SetStorageClass zur Verwaltung des Objektlebenszyklus

    • Objektaufbewahrungssperre

    • Verschieben von Buckets

    • Fortsetzbare Uploads

    • Objekt-Rewrites

    • Antragsteller bezahlt

  • Metadaten

    • Objekte in zonalen Buckets haben keinen MD5-Hash.

    • Die Metadateneigenschaften, die mit nicht unterstützten Funktionen und Produkten verknüpft sind, werden nicht in der Ressourcendarstellung eines zonalen Buckets oder eines anhängbaren Objekts angezeigt oder können nicht geschrieben werden. Beispiel:

      • Die Metadateneigenschaften softDeleteTime und hardDeleteTime werden nicht in der Ressourcendarstellung der Ressource Objects angezeigt, da das vorläufige Löschen für Objekte in zonalen Buckets nicht unterstützt wird.

      • Die Metadaten storageClass von Objekten in zonalen Buckets haben immer den Wert RAPID und können nicht neu geschrieben werden, da für zonale Buckets immer die Speicherklasse „Rapid Storage“ verwendet werden muss.

  • Zugriffssteuerung

    • Zugriffssteuerungslisten (ACLs) auf Objektebene

    • CORS-Konfigurationen

    • Vom Kunden bereitgestellte Verschlüsselungsschlüssel (CSEK, Customer-Supplied Encryption Keys)

    • HMAC-Schlüssel

  • Datenschutz und Notfallwiederherstellung

    • Objektversionsverwaltung

    • Vorläufig löschen

    • Bucket-übergreifende Replikation

  • Andere Google Cloud Dienste

    • BigQuery

Kontingente

Jede Zone pro Projekt hat ein Standardkontingent für die Speicherkapazität. Jede Zone pro Projekt hat auch ein Standardkontingent für ausgehenden Traffic von Cloud Storage zu Google Diensten. Diese Kontingente finden Sie unter Kontingente und Limits.

Informationen zum Überwachen der Nutzung des ausgehenden Traffics und zum Anfordern von mehr Bandbreite, finden Sie unter Bandbreitennutzung überwachen.

Preise

Für die Verwendung von Rapid Bucket fallen Gebühren für Datenspeicher, Vorgänge und Netzwerke an. Weitere Informationen finden Sie unter Preise.

Best Practices

Beachten Sie die folgenden Best Practices, um die Leistung und Ressourcennutzung bei der Arbeit mit zonalen Buckets zu optimieren:

  • Objektlesevorgänge optimieren: Wenn Sie Objekte mit der gcloud CLI aus zonalen Buckets lesen, wendet die CLI automatisch Standardkonfigurationen für Nebenläufigkeit und Slicing an. Informationen zum weiteren Optimieren dieser Einstellungen für eine bestimmte Arbeitslast finden Sie unter Leistung der gcloud CLI für zonale Buckets optimieren.

  • Dateihandles von Cloud Storage FUSE: Um die Leistung bei der Verwendung von zonalen Buckets mit Cloud Storage FUSE zu optimieren, sollten Sie ein offenes Dateihandle für Objekte in Ihrem bereitgestellten zonalen Bucket beibehalten und es für mehrere Vorgänge verwenden. Diese Vorgehensweise verbessert die Leistung, da Cloud Storage FUSE unnötige Netzwerk-Roundtrips für wiederholte Lesevorgänge vermeidet.

Nächste Schritte