Speicherbatchvorgänge

In diesem Dokument werden Speicher-Batchvorgänge beschrieben, eine Cloud Storage-Funktion, mit der Sie serverlos Vorgänge für Milliarden von Objekten ausführen können. Mit Speicher-Batchvorgängen können Sie API-Vorgänge im großen Maßstab für Milliarden von Objekten automatisieren. So verkürzt sich die Entwicklungszeit, die zum Schreiben und Warten von Skripts für jede Anfrage erforderlich ist.

Informationen zum Erstellen von Jobs für Speicher-Batchvorgänge finden Sie unter Jobs für Speicher-Batchvorgänge erstellen und verwalten.

Übersicht

Mit Storage-Batchvorgängen können Sie eine von vier Transformationen gleichzeitig für mehrere Objekte ausführen: Objekt-Hold festlegen, Objekt löschen, Objektmetadaten aktualisieren und Objekte neu schreiben. Wenn Sie Speicher-Batchvorgänge verwenden möchten, erstellen Sie eine Jobkonfiguration, in der definiert wird, welche Transformationen auf welche Objekte angewendet werden sollen.

Wenn Sie einen Batchvorgang erstellen, wird ein Vorgang mit langer Ausführungszeit (Long-Running Operation, LRO) zurückgegeben, der den Status Ihrer Anfrage angibt: ob die Transformation auf alle angegebenen Objekte in Ihrer Anfrage angewendet wurde.

Vorteile

  • Skalierbarkeit: Mit einem einzigen Job für Speicher-Batchvorgänge können Sie Transformationen für Millionen von Objekten ausführen.
  • Serverlose Ausführung: Batchjobs in einer serverlosen Umgebung ausführen, sodass keine Infrastrukturverwaltung erforderlich ist.
  • Automatisierung: Automatisieren Sie komplexe und sich wiederholende Aufgaben, um die betriebliche Effizienz zu steigern.
  • Kürzere Entwicklungszeit: Sie müssen keine komplexen benutzerdefinierten Skripts schreiben und verwalten.
  • Leistung: Führen Sie zeitkritische Vorgänge innerhalb des erforderlichen Zeitrahmens aus. Wenn mehrere Batchjobs gleichzeitig für einen Bucket ausgeführt werden, können Sie innerhalb von drei Stunden bis zu einer Milliarde Objekte verarbeiten.
  • Automatische Wiederholungsversuche: Automatische Wiederholungsversuche für fehlgeschlagene Vorgänge.
  • Job-Monitoring: Detaillierte Fortschrittsverfolgung, um den Status und Abschluss aller Jobs zu überwachen.

Anwendungsfälle

In Kombination mit Storage Insights-Datasets können Sie mit Speicher-Batchvorgängen die folgenden Aufgaben ausführen:

  • Sicherheitsmanagement:

    • Legen Sie Verschlüsselungsschlüssel für mehrere Objekte mit der Methode Objekt umschreiben fest.
    • Sie können Objekt-Holds anwenden oder entfernen, um die Unveränderlichkeit von Objekten zu steuern.

  • Compliance:

    • Mit Objektholds können Sie die Anforderungen an die Datenaufbewahrung für die Einhaltung von Vorschriften erfüllen.
    • Legen Sie Konfigurationen für die Objektaufbewahrung fest, um Datenlebenszyklen und Compliance-Richtlinien zu verwalten.
    • Daten aus bestimmten Zeiträumen löschen, um die Anforderungen an das Löschen von Daten zu erfüllen.

  • Datentransformation: Führen Sie Bulk-Aktualisierungen von Objektmetadaten durch.

  • Kostenoptimierung: Löschen Sie Objekte in Cloud Storage-Buckets im Bulk, um die Speicherkosten zu senken.

Jobkonfigurationen

Wenn Sie einen Job für Speicher-Batchvorgänge erstellen möchten, müssen Sie die folgenden Jobkonfigurationen festlegen. Jobkonfigurationen sind Parameter, mit denen festgelegt wird, wie der Job für unterschiedliche Verarbeitungsanforderungen definiert wird.

  • Jobname: Ein eindeutiger Name zur Identifizierung des Jobs für Storage-Batchvorgänge. Dies wird zum Tracking, Monitoring und Referenzieren des Jobs verwendet. Jobnamen sind alphanumerisch, z. B. job-01.

  • Jobbeschreibung (Optional): Eine kurze Beschreibung des Zwecks des Jobs. Das hilft, die Jobdetails zu verstehen und zu dokumentieren. Beispiel: Deletes all objects in a bucket.

  • Bucket-Name: Der Name des Speicher-Buckets, der die zu verarbeitenden Objekte enthält. Dies ist wichtig, um die Eingabedaten zu finden. Beispiel: my-bucket Sie können nur einen Bucket-Namen für einen Job angeben.

  • Objektauswahl: Die Auswahlkriterien, mit denen festgelegt wird, welche Objekte verarbeitet werden sollen. Sie können die Kriterien mit einer der folgenden Optionen angeben:

    • Manifest: Erstellen Sie ein Manifest und geben Sie seinen Speicherort an, wenn Sie den Job für Speicher-Batchvorgänge erstellen. Das Manifest ist eine CSV-Datei, die in Google Cloudhochgeladen wird und ein Objekt oder eine Liste von Objekten enthält, die Sie verarbeiten möchten. Jede Zeile im Manifest muss den bucket und name des Objekts enthalten. Optional können Sie die generation des Objekts angeben. Wenn Sie die generation nicht angeben, wird die aktuelle Version des Objekts verwendet.

      Die Datei muss eine Kopfzeile im folgenden Format enthalten:

      bucket,name,generation

      Hier ein Beispiel für das Manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Sie können auch ein Manifest mit Storage Insights-Datasets erstellen. Weitere Informationen finden Sie unter Manifest mit Storage Insights-Datasets erstellen.

    • Objektpräfixe: Geben Sie eine Liste von Präfixen an, um Objekte im Bucket zu filtern. Nur Objekte mit diesen Präfixen werden verarbeitet. Wenn leer, werden alle Objekte im Bucket verarbeitet.

  • Jobtyp:Speicher-Batchvorgänge unterstützen die folgenden Jobtypen, wobei ein einzelner Job pro Batchvorgang ausgeführt wird.

    • Objektlöschung: Sie können Objekte in einem Bucket löschen. Dies ist entscheidend für die Kostenoptimierung, die Verwaltung des Datenlebenszyklus und die Einhaltung von Richtlinien zum Löschen von Daten.

    • Metadaten aktualisieren: Sie können die folgenden Objektmetadaten ändern:

      • Benutzerdefinierte Metadaten: Sie können alle benutzerdefinierten Schlüssel/Wert-Paare aktualisieren, die mit dem Objekt verknüpft sind.

      • Feste Metadaten: Sie können Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time und Retention configuration aktualisieren. Verwenden Sie den Jobtyp object hold, um Objekt-Holds zu ändern.

    • Aktualisierungen von Objekt-Holds: Sie können Objekt-Holds aktivieren oder deaktivieren. Objekt-Holds verhindern, dass Objekte gelöscht oder geändert werden. Dies ist für die Einhaltung von Vorschriften und die Datenaufbewahrung unerlässlich.

    • Aktualisierungen von Objektverschlüsselungsschlüsseln: Sie können die kundenverwalteten Verschlüsselungsschlüssel für ein oder mehrere Objekte verwalten. Dazu gehört auch das Anwenden oder Ändern von Verschlüsselungsschlüsseln mit der Methode Objekt umschreiben.

  • Probelauf (optional): Sie können einen Storage-Batchvorgangsjob im Probelaufmodus erstellen, um den Umfang und das Ergebnis des Vorgangs zu ermitteln, ohne Änderungen an Ihren Objekten vorzunehmen. Bei einem Probelauf wird der Vorgang simuliert, es werden aber keine Transformationen ausgeführt. So können Sie die Jobkonfiguration validieren, bevor Sie den eigentlichen Job ausführen. Das Ergebnis des Probelaufs enthält die folgenden Informationen:

    • Die Anzahl der betroffenen Objekte.

    • Alle potenziellen Fehler, die auftreten können.

    • Wenn Sie Objektpräfixe für die Objektauswahl verwenden, enthält die Ausgabe auch die Gesamtgröße der betroffenen Objekte.

Preise

Informationen zum Schätzen der Gebühren für Vorgänge beim Ausführen eines Storage-Batchvorgangsjobs und zum Prüfen der Gebühren für die Objektliste bei einem Probelauf finden Sie unter Cloud Storage – Preise.

Mit einem Probelauf können Sie die Konfiguration Ihres Storage-Batchvorgangsjobs im Voraus validieren, ohne dass tatsächliche Betriebskosten anfallen. Es können jedoch Kosten für die Auflistung von Objekten anfallen.

Beschränkungen

Für Speicher-Batchvorgänge gelten die folgenden Einschränkungen:

  • Batchvorgangsjobs für Speicher haben eine maximale Lebensdauer von 14 Tagen. Alle laufenden Jobs, die nicht innerhalb von 14 Tagen nach ihrer Erstellung abgeschlossen werden, werden automatisch abgebrochen.

  • Wenn Sie Objektpräfixe für einen Job angeben, können Sie maximal 1.000 Präfixe einfügen.

  • Es wird nicht empfohlen, mehr als 20 gleichzeitige Batchvorgänge für denselben Bucket auszuführen.

  • Speicherbatchvorgänge werden für die folgenden Buckets nicht unterstützt:

Nächste Schritte