Objektlesevorgänge und ‑downloads

Auf dieser Seite werden Konzepte im Zusammenhang mit dem Lesen und Herunterladen von Objekten in Cloud Storage erläutert.

Objekte lesen

Das Lesen eines Objekts bezieht sich auf das Streamen, Verwenden oder Untersuchen von Objektdaten oder eines bestimmten Bytebereichs über eine offene Netzwerkverbindung direkt im Arbeitsspeicher. Die abgerufene Nutzlast wird nicht lokal gespeichert, sondern ist sitzungsspezifisch und befindet sich in einem Anwendungs-Memory-Stream, ‑Puffer, ‑Pipeline oder direkt im CPU-/GPU-Arbeitsspeicher. Das Lesen von Objekten eignet sich für leistungsstarke, durchsatzintensive Arbeitslasten wie das Streamen von Trainingsdatasets und Tensor-Batches in KI- und ML-Frameworks wie PyTorch oder JAX.

In der folgenden Liste werden die Arten von Objektlesevorgängen beschrieben, die in Cloud Storage verfügbar sind:

Objekte herunterladen

Das Herunterladen eines Objekts ist eine End-to-End-Aufgabe, bei der Objektdaten aus Cloud Storage in eine persistente Datei auf einem lokalen Dateisystem, einer Festplatte oder einem Zielspeichergerät übertragen werden. Im Gegensatz zu In-Memory-Streaming-Lesevorgängen umfasst das Herunterladen sowohl das Abrufen der Remote-Bytes als auch das Speichern im lokalen Speicher. Das Herunterladen von Objekten eignet sich hauptsächlich für die Dateiverwaltung für allgemeine Zwecke, die lokale Archivierung, die Datensicherung und die Offline-Nutzung von Dienstprogrammen.

Bei der Verwendung von REST APIs werden Downloads über HTTP- oder HTTPS-GET-Anfragen ausgeführt, die einen optionalen Range-Header enthalten können, der einen bestimmten Teil des Objekts für den Download in den persistenten oder lokalen Speicher definiert. Sie können auch den Header Range verwenden, um unterbrochene Downloads fortzusetzen. Bei Verwendung von gRPC werden für Downloads storage.v2.Storage/ReadObject- oder BidiReadObject-Streams verwendet.

In der folgenden Liste werden die Arten von Objektdownloads beschrieben, die in Cloud Storage verfügbar sind:

  • Einfache Downloads: Die einfachste Form des Herunterladens von Objekten. Der Client sendet eine einzelne Anfrage, um entweder das gesamte Objekt oder einen bestimmten Bytebereich in einer kontinuierlichen Übertragung abzurufen.

  • Segmentierte Objektdownloads: Eine leistungsstarke Strategie, bei der ein einzelnes großes Objekt in mehrere kleinere „Segmente“ (auch als „Chunks“ bezeichnet) unterteilt wird. Der Client lädt diese Segmente parallel mit mehreren unabhängigen und gleichzeitigen Anfragen herunter und setzt sie dann lokal zu einer einzigen Datei zusammen.

Tool-Unterstützung für das Lesen und Herunterladen von Objekten

Console

Wenn Sie die Google Cloud Console verwenden, können Sie die folgenden Objektlesevorgänge und ‑downloads ausführen:

Befehlszeile

Sie können die folgenden Objektlese- und Downloadvorgänge bei Verwendung der Google Cloud CLI ausführen:

Clientbibliotheken

C++

Sie können die folgenden Arten von Lese- und Downloadvorgängen bei Verwendung der C++-Clientbibliothek ausführen:

C#

Sie können die folgenden Arten von Lese- und Downloadvorgängen ausführen, wenn Sie die C#-Clientbibliothek verwenden:

Go

Sie können die folgenden Arten von Lese- und Downloadvorgängen bei Verwendung der Go-Clientbibliothek ausführen:

Java

Sie können die folgenden Arten von Lese- und Downloadvorgängen ausführen, wenn Sie die Java-Clientbibliothek verwenden:

Node.js

Sie können die folgenden Arten von Lese- und Downloadvorgängen ausführen, wenn Sie die Node.js-Clientbibliothek verwenden:

PHP

Sie können die folgenden Arten von Lese- und Downloadvorgängen bei Verwendung der PHP-Clientbibliothek ausführen:

Python

Sie können die folgenden Arten von Lese- und Downloadvorgängen ausführen, wenn Sie die Python-Clientbibliothek verwenden:

Ruby

Sie können die folgenden Arten von Lese- und Downloadvorgängen bei Verwendung der Ruby-Clientbibliothek ausführen:

REST APIs

Wenn Sie REST APIs zum Herunterladen von Objekten verwenden, finden Sie unter Anfrageendpunkte ausführliche Informationen zu den Anfrageendpunkten, die Sie verwenden können.

JSON API

Sie können die folgenden Arten von Downloads bei Verwendung der JSON API ausführen:

XML API

Sie können die folgenden Arten von Downloads bei Verwendung der XML API ausführen:

Nächste Schritte