Speicherbatchvorgänge

In diesem Dokument werden Speicher-Batchvorgänge beschrieben, eine Cloud Storage-Funktion, mit der Sie serverlos Vorgänge für Milliarden von Objekten ausführen können. Mit Batchvorgängen für den Speicher können Sie API-Vorgänge im großen Maßstab für Milliarden von Objekten automatisieren. So wird die Entwicklungszeit reduziert, die zum Schreiben und Warten von Skripts für jede Anfrage erforderlich ist.

Informationen zum Erstellen von Jobs für Speicher-Batchvorgänge finden Sie unter Jobs für Speicher-Batchvorgänge erstellen und verwalten.

Übersicht

Mit Storage-Batchvorgängen können Sie eine von vier Transformationen gleichzeitig für mehrere Objekte ausführen: Objekt-Hold festlegen, Objekt löschen, Objektmetadaten aktualisieren und Objekte neu schreiben. Wenn Sie Speicher-Batchvorgänge verwenden möchten, erstellen Sie eine Jobkonfiguration, in der definiert wird, welche Transformationen auf welche Objekte angewendet werden sollen.

Wenn Sie einen Batchvorgang erstellen, wird ein Vorgang mit langer Ausführungszeit (Long-Running Operation, LRO) zurückgegeben, der den Status Ihrer Anfrage angibt: ob die Transformation auf alle angegebenen Objekte in Ihrer Anfrage angewendet wurde.

Vorteile

  • Skalierbarkeit: Mit einem einzigen Job für Speicher-Batchvorgänge können Sie Transformationen für Millionen von Objekten ausführen.
  • Serverlose Ausführung: Führen Sie Batchjobs in einer serverlosen Umgebung aus, sodass Sie keine Infrastruktur verwalten müssen.
  • Automatisierung: Automatisieren Sie komplexe und sich wiederholende Aufgaben, um die betriebliche Effizienz zu steigern.
  • Kürzere Entwicklungszeit: Sie müssen keine komplexen benutzerdefinierten Skripts schreiben und verwalten.
  • Leistung: Führen Sie zeitkritische Vorgänge innerhalb des erforderlichen Zeitrahmens aus. Wenn mehrere Batchjobs gleichzeitig für einen Bucket ausgeführt werden, können Sie innerhalb von drei Stunden bis zu einer Milliarde Objekte verarbeiten.
  • Automatische Wiederholungsversuche: Automatische Wiederholungsversuche für fehlgeschlagene Vorgänge.
  • Job-Monitoring: Detaillierte Fortschrittsverfolgung, um den Status und Abschluss aller Jobs zu überwachen.

Anwendungsfälle

In Kombination mit Storage Insights-Datasets können Sie mit Speicher-Batchvorgängen die folgenden Aufgaben ausführen:

  • Sicherheitsmanagement:

    • Legen Sie Verschlüsselungsschlüssel für mehrere Objekte mit der Methode Objekt umschreiben fest.
    • Sie können Objekt-Holds anwenden oder entfernen, um die Unveränderlichkeit von Objekten zu steuern.

  • Compliance:

    • Mit Objektholds können Sie die Anforderungen an die Datenaufbewahrung für die Einhaltung von Vorschriften erfüllen.
    • Legen Sie Konfigurationen für die Objektaufbewahrung fest, um den Datenlebenszyklus und Compliance-Richtlinien zu verwalten.
    • Daten aus bestimmten Zeiträumen löschen, um die Anforderungen an das Löschen von Daten zu erfüllen.

  • Datentransformation: Führen Sie Bulk-Aktualisierungen von Objektmetadaten durch.

  • Kostenoptimierung: Löschen Sie Objekte in Cloud Storage-Buckets im Bulk, um die Speicherkosten zu senken.

Jobkonfigurationen

Wenn Sie einen Job für Speicher-Batchvorgänge erstellen möchten, müssen Sie die folgenden Jobkonfigurationen festlegen. Jobkonfigurationen sind Parameter, mit denen definiert wird, wie der Job für unterschiedliche Verarbeitungsanforderungen definiert wird.

  • Jobname: Ein eindeutiger Name zur Identifizierung des Jobs für Storage-Batchvorgänge. Dies wird zum Tracking, zur Überwachung und zum Verweisen auf den Job verwendet. Jobnamen sind alphanumerisch, z. B. job-01.

  • Jobbeschreibung (optional): Eine kurze Beschreibung des Zwecks des Jobs. Das hilft, die Jobdetails zu verstehen und zu dokumentieren. Beispiel: Deletes all objects in a bucket.

  • Bucket-Name: Der Name des Speicher-Buckets, der die zu verarbeitenden Objekte enthält. Dies ist wichtig, um die Eingabedaten zu finden. Beispiel: my-bucket Sie können nur einen Bucket-Namen für einen Job angeben.

  • Objektauswahl: Die Auswahlkriterien, mit denen festgelegt wird, welche Objekte verarbeitet werden sollen. Sie können die Kriterien mit einer der folgenden Optionen angeben:

    • Manifest: Erstellen Sie ein Manifest und geben Sie seinen Speicherort an, wenn Sie den Job für Speicher-Batchvorgänge erstellen. Das Manifest ist eine CSV-Datei, die in Google Cloudhochgeladen wird und ein Objekt oder eine Liste von Objekten enthält, die Sie verarbeiten möchten. Jede Zeile im Manifest muss den bucket und name des Objekts enthalten. Optional können Sie die generation des Objekts angeben. Wenn Sie die generation nicht angeben, wird die aktuelle Version des Objekts verwendet.

      Die Datei muss eine Kopfzeile im folgenden Format enthalten:

      bucket,name,generation

      Hier ein Beispiel für das Manifest:

      bucket,name,generation
bucket_1,object_1,generation_1
bucket_1,object_2,generation_2
bucket_1,object_3,generation_3

      Sie können auch ein Manifest mit Storage Insights-Datasets erstellen. Weitere Informationen finden Sie unter Manifest mit Storage Insights-Datasets erstellen.

    • Objektpräfixe: Geben Sie eine Liste von Präfixen an, um Objekte im Bucket zu filtern. Nur Objekte mit diesen Präfixen werden verarbeitet. Wenn leer, werden alle Objekte im Bucket verarbeitet.

  • Jobtyp:Speicher-Batchvorgänge unterstützen die folgenden Jobtypen, wobei ein einzelner Job pro Batchvorgang ausgeführt wird.

    • Objektlöschung: Sie können Objekte in einem Bucket löschen. Dies ist entscheidend für die Kostenoptimierung, die Verwaltung des Datenlebenszyklus und die Einhaltung von Richtlinien zum Löschen von Daten.

    • Metadaten aktualisieren: Sie können die folgenden Objektmetadaten ändern:

      • Benutzerdefinierte Metadaten: Sie können alle benutzerdefinierten Schlüssel/Wert-Paare aktualisieren, die mit dem Objekt verknüpft sind.

      • Feste Metadaten: Sie können Cache-Control, Content-Disposition, Content-Encoding, Content-Language, Content-Type, Custom-Time und Retention configuration aktualisieren. Verwenden Sie den Jobtyp object hold, um Objekt-Holds zu ändern.

    • Aktualisierungen von Objekt-Holds: Sie können Objekt-Holds aktivieren oder deaktivieren. Objekt-Holds verhindern, dass Objekte gelöscht oder geändert werden. Dies ist für die Einhaltung von Vorschriften und die Datenaufbewahrung unerlässlich.

    • Aktualisierungen von Objektschlüsseln: Sie können die vom Kunden verwalteten Verschlüsselungsschlüssel für ein oder mehrere Objekte verwalten. Dazu gehört auch das Anwenden oder Ändern von Verschlüsselungsschlüsseln mit der Methode Objekt umschreiben.

Beschränkungen

Für Speicher-Batchvorgänge gelten die folgenden Einschränkungen:

  • Batchvorgangsjobs für Speicher haben eine maximale Lebensdauer von 14 Tagen. Alle laufenden Jobs, die nicht innerhalb von 14 Tagen nach ihrer Erstellung abgeschlossen werden, werden automatisch abgebrochen.

  • Wenn Sie Objektpräfixe für einen Job angeben, können Sie maximal 1.000 Präfixe einfügen.

  • Es wird nicht empfohlen, mehr als 20 gleichzeitige Batchvorgänge für denselben Bucket auszuführen.

  • Speicherbatchvorgänge werden für die folgenden Buckets nicht unterstützt:

Nächste Schritte