Speicherobjekte hoch- und herunterladen

Mit dem Objektspeicher in Google Distributed Cloud (GDC) mit Air Gap können Sie Dateien, Verzeichnisse und versionierte Daten über projektbezogene Buckets hinweg übertragen und abrufen. Sie können Vorgänge mit einer einzelnen Datei oder mit mehreren Teilen über die GDC-Konsole oder die gdcloud CLI ausführen und Objekte mit benutzerdefinierter AEADKey-Verschlüsselung schützen.

Hinweis

Storage-Buckets sind Ressourcen, die auf ein bestimmtes Projekt beschränkt sind. Das Projekt fungiert als Container, der Ihre Buckets gruppiert und ihre Verwaltung über den Management API-Server ermöglicht. Bevor Sie die Vorgänge auf dieser Seite ausführen können, müssen Sie entweder ein neues Projekt erstellen oder ein vorhandenes Projekt auswählen, für das Sie ausreichende Berechtigungen haben.

Erforderliche IAM-Rollen

Wenden Sie sich an Ihren IAM-Projektadministrator, um die folgenden Rollen in Ihrem Projekt-Namespace anzufordern:

  • Projekt-Bucket-Administrator (project-bucket-admin): Erstellen, Aktualisieren und Löschen von Storage-Buckets.
  • Project Bucket Object Viewer (project-bucket-object-viewer): Details zu Storage-Buckets und -Objekten aufrufen und prüfen.

Weitere Informationen finden Sie unter Bucket-Zugriff gewähren.

Umgebung vorbereiten

So führen Sie Befehle für den Management API-Server oder den globalen API-Server aus:

  1. Melden Sie sich an und generieren Sie die kubeconfig-Datei für den zonalen Verwaltungs-API-Server, falls Sie noch keine haben.
  2. Gehen Sie bei Dual-Zone-Buckets so vor:
    • Prüfen Sie mit Ihrem Infrastrukturbetreiber, ob die benutzerdefinierte Ressource BucketLocationConfig für Ihre gekoppelten Zonen erstellt wurde.
    • Generieren Sie die kubeconfig-Datei für den globalen API-Server.

Benennungsrichtlinien für Objekte

Beachten Sie die folgenden Richtlinien, wenn Sie Objekte benennen:

  • Verwenden Sie UTF-8-Zeichen, wenn Sie Objekte benennen.
  • Muss 1–55 Zeichen lang sein.
  • Geben Sie keine personenidentifizierbaren Informationen an.

Objekte in Storage-Buckets hochladen

Console

  1. Klicken Sie im Navigationsmenü auf Objektspeicher.
  2. Klicken Sie auf den Namen des Buckets, in den Sie das Objekt hochladen möchten.
  3. Optional: Wenn Sie einen Ordner zum Speichern Ihres Objekts erstellen möchten, klicken Sie auf Ordner erstellen, geben Sie einen Ordnernamen ein und klicken Sie auf Erstellen.
  4. Klicken Sie direkt auf Datei hochladen oder rufen Sie den gerade erstellten Ordner auf und klicken Sie dann auf Datei hochladen.
  5. Wählen Sie die gewünschte Datei aus und klicken Sie auf Öffnen.
  6. Warten Sie auf die Bestätigung, dass der Upload erfolgreich war.

gdcloud

Führen Sie die folgenden Befehle aus, um ein Objekt hochzuladen:

gdcloud storage cp LOCAL_PATH s3://REMOTE_PATH
gdcloud storage cp s3://FULLY_QUALIFIED_SOURCE_BUCKET_NAME s3://FULLY_QUALIFIED_DESTINATION_BUCKET_NAME
gdcloud storage mv s3://FULLY_QUALIFIED_SOURCE_BUCKET_NAME s3://FULLY_QUALIFIED_DESTINATION_BUCKET_NAME

Für die folgenden Befehle ist die FULLY_QUALIFIED_BUCKET_NAME erforderlich. Verwenden Sie den Befehl GET oder DESCRIBE aus dem Abschnitt Bucket-Konfiguration ansehen, um den voll qualifizierten Bucket-Namen abzurufen.

Mit dem folgenden Befehl werden alle Textdateien aus dem lokalen Verzeichnis in einen Bucket hochgeladen:

gdcloud storage cp *.txt s3://FULLY_QUALIFIED_BUCKET_NAME

Mit dem folgenden Befehl werden mehrere Dateien aus dem lokalen Verzeichnis in einen Bucket hochgeladen:

gdcloud storage cp abc1.txt abc2.txt s3://FULLY_QUALIFIED_BUCKET_NAME

Wenn Sie einen Ordner in einen Bucket hochladen möchten, verwenden Sie die Option „--recursive“, um eine gesamte Verzeichnisstruktur zu kopieren. Mit dem folgenden Befehl wird der Verzeichnisbaum „dir“ hochgeladen:

gdcloud storage cp DIRECTORY_NAME s3://FULLY_QUALIFIED_BUCKET_NAME --recursive

Führen Sie mehrteilige Uploads für große Objekte aus oder verwenden Sie mehrteilige Uploads automatisch, wenn Sie eine Datei hochladen möchten, die größer als 15 MB ist. In diesem Fall wird die Datei in mehrere Teile aufgeteilt, die jeweils 15 MB groß sind. Der letzte Teil ist kleiner. Jeder Teil wird separat hochgeladen und am Zielort rekonstruiert, wenn die Übertragung abgeschlossen ist.

Wenn der Upload eines Teils fehlschlägt, können Sie den Upload neu starten, ohne dass sich dies auf die anderen bereits hochgeladenen Teile auswirkt.

Es gibt zwei Optionen für mehrteilige Uploads:

  • --disable-multipart: Deaktiviert mehrteilige Uploads für alle Dateien.
  • --multipart-chunk-size-mb=SIZE: legt die Größe jedes Blocks eines mehrteiligen Uploads fest.

Dateien, die größer als SIZE sind, werden automatisch als Multithread-Multipart-Upload hochgeladen. Kleinere Dateien werden mit der herkömmlichen Methode hochgeladen. SIZE wird in Megabyte angegeben. Die standardmäßige Blockgröße beträgt 15 MB. Die zulässige Mindestgröße für Blöcke beträgt 5 MB und die maximale Größe 5 GB.

Objekte aus Storage-Buckets herunterladen

Console

  1. Klicken Sie im Navigationsmenü auf Objektspeicher.
  2. Klicken Sie auf den Namen des Buckets, der die Objekte enthält.
  3. Klicken Sie das Kästchen neben dem Namen des Objekts an, das Sie herunterladen möchten.
  4. Klicken Sie auf Herunterladen.

gdcloud

So rufen Sie Objekte aus dem Bucket ab:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/OBJECT LOCAL_FILE_TO_SAVE

So laden Sie alle Textdateien aus einem Bucket in Ihr aktuelles Verzeichnis herunter:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/*.txt .

So laden Sie die Textdatei abc.txt aus einem Bucket in Ihr aktuelles Verzeichnis herunter:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt .

Wenn Sie eine ältere Version der Datei herunterladen möchten, listen Sie zuerst alle Versionen der Datei auf:

gdcloud storage ls s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt --all-versions

Beispielausgabe:

s3://my-bucket/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND
s3://my-bucket/abc.txt#ODgzNEYzQ0MtMzEzRS0xMUVFLTk2NEItMjI1MTAwQkJENjND
s3://my-bucket/abc.txt#ODNCNDEzNzgtMzEzRS0xMUVFLTlDOUMtQzRDOTAwQjg3RTg3

Laden Sie dann eine bestimmte Version der Textdatei abc.txt aus dem Bucket in Ihr aktuelles Verzeichnis herunter:

gdcloud storage cp s3://FULLY_QUALIFIED_BUCKET_NAME/abc.txt#OEQxNTk4MUEtMzEzRS0xMUVFLTk2N0UtQkM4MjAwQkJENjND .

Benutzerdefinierten AEADKey verwenden

Wenn Sie mehr Anpassungsmöglichkeiten benötigen, können Sie einen eigenen AEADKey erstellen und ihn direkt zum Verschlüsseln von Objekten in Ihrem Bucket verwenden. So haben Sie die vollständige Kontrolle über den Verschlüsselungsschlüssel und umgehen die Standardeinstellung. Folgen Sie der Anleitung unter Schlüssel erstellen, um einen neuen AEADKey zu erstellen. Achten Sie darauf, dass er sich im selben Namespace wie der Bucket befindet, den Sie verwenden möchten. Achten Sie beim Senden der Anfrage darauf, dass HEADER mit x-amz-server-side-encryption: SSE-KMS und x-amz-server-side-encryption-aws-kms-key-id: NAMESPACE_NAME/AEADKey_NAME konfiguriert ist.