Speicherbatchvorgänge

In diesem Dokument werden Speicherbatchvorgänge beschrieben, eine Cloud Storage-Funktion, mit der Sie serverlos Vorgänge für Milliarden von Objekten ausführen können. Mit Speicherbatchvorgängen können Sie umfangreiche API-Vorgänge für Milliarden von Objekten automatisieren. So verkürzen Sie die Entwicklungszeit, die zum Schreiben und Verwalten von Skripts für jede Anfrage erforderlich ist.

Informationen zum Erstellen von Jobs für Speicherbatchvorgänge finden Sie unter Jobs für Speicherbatchvorgänge erstellen und verwalten.

Übersicht

Mit Speicherbatchvorgängen können Sie eine von fünf Transformationen gleichzeitig auf mehrere Objekte anwenden: Objekt-Hold festlegen, Objekt löschen, Objektmetadaten aktualisieren, Objekte neu schreiben und benutzerdefinierte Objektkontexte aktualisieren. Wenn Sie Speicherbatchvorgänge verwenden möchten, erstellen Sie eine Jobkonfiguration, in der definiert wird, welche Transformationen auf welche Objekte angewendet werden sollen.

Wenn Sie einen Batchvorgang erstellen, wird ein Vorgang mit langer Ausführungszeit zurückgegeben, der den Status Ihrer Anfrage angibt: ob die Transformation auf alle angegebenen Objekte in Ihrer Anfrage angewendet wurde.

Vorteile

  • Skalierbarkeit: Führen Sie mit einem einzigen Job für Speicherbatchvorgänge Transformationen für Millionen von Objekten aus.
  • Serverlose Ausführung: Führen Sie Batchjobs in einer serverlosen Umgebung aus, ohne die Infrastruktur verwalten zu müssen.
  • Automatisierung: Automatisieren Sie komplexe und sich wiederholende Aufgaben, um die betriebliche Effizienz zu verbessern.
  • Kürzere Entwicklungszeit: Sie müssen keine komplexen benutzerdefinierten Skripts schreiben und verwalten.
  • Leistung: Führen Sie zeitkritische Vorgänge innerhalb der erforderlichen Zeit aus. Wenn mehrere Batchjobs gleichzeitig für einen Bucket ausgeführt werden, können Sie innerhalb von drei Stunden bis zu eine Milliarde Objekte verarbeiten.
  • Automatische Wiederholungsversuche: Automatische Wiederholungsversuche für fehlgeschlagene Vorgänge.
  • Jobüberwachung: Detaillierte Fortschrittsverfolgung, um den Status und den Abschluss aller Jobs zu überwachen.

Anwendungsfälle

In Kombination mit Storage Insights-Datasets können Sie mit Speicherbatchvorgängen die folgenden Aufgaben ausführen:

  • Sicherheitsmanagement:

    • Legen Sie mit der Methode zum Umschreiben von Objekten Verschlüsselungsschlüssel für mehrere Objekte fest.
    • Wenden Sie Objekt-Holds an oder entfernen Sie sie, um die Unveränderlichkeit von Objekten zu steuern.

  • Compliance:

    • Verwenden Sie Objekt-Holds, um die Anforderungen an die Datenaufbewahrung für die Einhaltung gesetzlicher Vorschriften zu erfüllen.
    • Legen Sie Konfigurationen für die Objektaufbewahrung fest, um den Lebenszyklus von Daten und Compliance-Richtlinien zu verwalten.
    • Löschen Sie Daten innerhalb bestimmter Zeiträume, um die Anforderungen an die Datenbereinigung zu erfüllen.

  • Datentransformation: Führen Sie Bulk-Updates für Objektmetadaten aus.

  • Kostenoptimierung: Löschen Sie Objekte in Cloud Storage-Buckets im Bulk, um Speicherkosten zu senken.

Jobkonfigurationen

Wenn Sie einen Job für Speicherbatchvorgänge erstellen möchten, müssen Sie die folgenden Jobkonfigurationen festlegen. Jobkonfigurationen sind Parameter, mit denen definiert wird, wie der Job für verschiedene Verarbeitungsanforderungen definiert wird.

  • Jobname: Ein eindeutiger Name zur Identifizierung des Jobs für Speicherbatchvorgänge. Dieser Name wird zum Verfolgen, Überwachen und Referenzieren des Jobs verwendet. Jobnamen sind alphanumerisch, z. B. job-01.

  • Jobbeschreibung (optional): Eine kurze Beschreibung des Zwecks des Jobs. Dies hilft, die Jobdetails zu verstehen und zu dokumentieren. Beispiel: Deletes all objects in a bucket.

  • Bucket-Name: Der Name des Speicher-Buckets, der die zu verarbeitenden Objekte enthält. Dies ist wichtig, um die Eingabedaten zu finden. Beispiel: my-bucket. Sie können nur einen Bucket-Namen für einen Job angeben.

  • Objektauswahl: Die Auswahlkriterien, die definieren, welche Objekte verarbeitet werden sollen. Sie können die Kriterien mit einer der folgenden Optionen angeben:

    • Manifest: Erstellen Sie ein Manifest und geben Sie den Speicherort an, wenn Sie den Job für Speicherbatchvorgänge erstellen. Das Manifest ist eine CSV-Datei, die in Google Cloudhochgeladen wird und ein Objekt oder eine Liste von Objekten enthält, die Sie verarbeiten möchten. Jede Zeile im Manifest muss den bucket und name des Objekts enthalten. Optional können Sie die generation des Objekts angeben. Wenn Sie die generation nicht angeben, wird die aktuelle Version des Objekts verwendet.

      Die Datei muss eine Kopfzeile im folgenden Format enthalten:

      bucket,name,generation

      Hier ein Beispiel für das Manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Sie können auch ein Manifest mit Storage Insights-Datasets erstellen. Weitere Informationen finden Sie unter Manifest mit Storage Insights-Datasets erstellen.

    • Objektpräfixe: Geben Sie eine Liste von Präfixen an, um Objekte im Bucket zu filtern. Nur Objekte mit diesen Präfixen werden verarbeitet. Wenn das Feld leer ist, werden alle Objekte im Bucket verarbeitet.

  • Jobtyp:Speicherbatchvorgänge unterstützen die folgenden Jobtypen, wobei ein einzelner Job pro Batchvorgang ausgeführt wird.

    • Objektlöschung: Sie können Objekte löschen in einem Bucket. Dies ist entscheidend für die Kostenoptimierung, die Verwaltung des Datenlebenszyklus und die Einhaltung von Richtlinien zur Datenlöschung.

    • Metadaten-Updates: Sie können die folgenden Objektmetadaten ändern:

      • Benutzerdefinierte Metadaten: Sie können alle benutzerdefinierten Schlüssel/Wert-Paare aktualisieren, die mit dem Objekt verknüpft sind.

      • Feste Metadaten: Sie können Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time, und Retention configuration aktualisieren. Verwenden Sie den Jobtyp „Objekt-Hold-Updates“, um Objekt-Holds zu ändern.

    • Objekt-Hold-Updates: Sie können Objekt-Holds aktivieren oder deaktivieren. Objekt-Holds verhindern, dass Objekte gelöscht oder geändert werden. Dies ist wichtig für Compliance- und Datenaufbewahrungszwecke.

    • Updates für Objektverschlüsselungsschlüssel: Sie können die vom Kunden verwalteten Verschlüsselungsschlüssel für ein oder mehrere Objekte verwalten. Dazu gehört das Anwenden oder Ändern von Verschlüsselungsschlüsseln mit der Methode zum Umschreiben von Objekten.

    • Objektkontext-Updates: Sie können die Objekt kontexte verwalten, die mit Ihren Objekten verknüpft sind. Sie können entweder alle vorhandenen Objektkontexte löschen oder bestimmte Updates vornehmen, z. B. Schlüssel entfernen oder Schlüssel/Wert-Paare einfügen und aktualisieren.

  • Probelauf (optional): Sie können einen Job für Speicherbatchvorgänge im Probelaufmodus erstellen, um den Umfang und das Ergebnis Ihres Vorgangs zu verstehen, ohne Änderungen an Ihren Objekten vorzunehmen. Bei einem Probelauf wird der Vorgang simuliert, aber es werden keine Transformationen ausgeführt. So können Sie Ihre Jobkonfiguration validieren, bevor Sie den eigentlichen Job ausführen. Das Ergebnis des Probelaufs enthält die folgenden Informationen:

    • Die Anzahl der Objekte, die betroffen sind.

    • Alle potenziellen Fehler, die auftreten können.

    • Wenn Sie Objektpräfixe für die Objektauswahl verwenden, enthält die Ausgabe auch die Gesamtgröße der betroffenen Objekte.

Preise

Informationen zu den Betriebskosten für die Ausführung eines Jobs für Speicherbatchvorgänge, und zu den Kosten für die Objektauflistung für einen Probelauf finden Sie unter Cloud Storage – Preise.

Mit einem Probelauf können Sie die Konfiguration Ihres Jobs für Speicherbatchvorgänge im Voraus validieren, ohne dass tatsächliche Betriebskosten anfallen. Es können jedoch Kosten für die Objektauflistung anfallen.

Beschränkungen

Für Speicherbatchvorgänge gelten die folgenden Einschränkungen:

  • Jobs für Speicherbatchvorgänge haben eine maximale Lebensdauer von 14 Tagen. Alle laufenden Jobs, die nicht innerhalb von 14 Tagen nach ihrer Erstellung abgeschlossen werden, werden automatisch abgebrochen.

  • Wenn Sie Objektpräfixe für einen Job angeben, können Sie maximal 1.000 Präfixe angeben.

  • Es wird nicht empfohlen, mehr als 20 Jobs für Batchvorgänge gleichzeitig für denselben Bucket auszuführen.

  • Speicherbatchvorgänge werden für die folgenden Buckets nicht unterstützt:

Nächste Schritte