Cloud Storage-Abos

Ein Cloud Storage-Abo ist eine Art von Exportabo, das Nachrichten beim Empfang in einen vorhandenen Cloud Storage-Bucket schreibt. Sie müssen keinen separaten Abonnentenclient konfigurieren. Mit der Google Cloud Console, der Google Cloud CLI, den Clientbibliotheken oder der Pub/Sub API können Sie ein Cloud Storage-Abo erstellen, aktualisieren, auflisten, trennen oder löschen.

Ohne den Cloud Storage-Abo-Typ benötigen Sie ein Pull- oder Push-Abo und einen Abonnenten (z. B. Dataflow), der Nachrichten liest und in einen Cloud Storage-Bucket schreibt. Der Aufwand für die Ausführung eines Dataflow-Jobs ist nicht erforderlich, wenn Nachrichten keine zusätzliche Verarbeitung benötigen, bevor sie in einem Cloud Storage-Bucket gespeichert werden. Stattdessen können Sie ein Cloud Storage-Abo verwenden.

Für einfache Änderungen an Nachrichten oder Attributen können Sie Ihrem Cloud Storage-Speicherplatzabo eine einzelne Nachrichtentransformation anhängen. Eine Dataflow-Pipeline wird jedoch für Pub/Sub-Systeme empfohlen, bei denen eine komplexere Datentransformation erforderlich ist, bevor die Daten in einem Cloud Storage-Bucket gespeichert werden, insbesondere wenn Sie Nachrichten in Zeitfenster einteilen oder aggregieren möchten.

Informationen zum Streamen von Daten aus Pub/Sub in Cloud Storage mit Transformation mithilfe von Dataflow finden Sie unter Nachrichten mit Dataflow aus Pub/Sub streamen.

Hinweis

Bevor Sie dieses Dokument lesen, sollten Sie mit den folgenden Themen vertraut sein:

  • Funktionsweise von Pub/Sub und die verschiedenen Pub/Sub-Begriffe.

  • Die verschiedenen Arten von Abos und warum Sie möglicherweise ein Cloud Storage-Abo verwenden möchten.

  • Funktionsweise von Cloud Storage.

Workflow für ein Cloud Storage-Abo

Die folgende Abbildung zeigt den Workflow zwischen einem Cloud Storage-Abo und Cloud Storage.

Ablauf von Nachrichten für ein Cloud Storage-Abo

Abbildung 1. Workflow für ein Cloud Storage-Abo

Hier eine kurze Beschreibung des Workflows, der sich auf Abbildung 1 bezieht:

  1. Pub/Sub verwendet die Cloud Storage API, um Daten an den Cloud Storage-Bucket zu senden. Nach erfolgreichem Abschluss eines Schreibvorgangs gibt die API eine OK-Antwort zurück.

  2. Die Nachrichten werden in Batches an den Cloud Storage-Bucket gesendet. Ein einzelner Batch entspricht einem Objekt, das im Cloud Storage-Bucket gespeichert ist. Sie können die Batch-Einstellungen basierend auf der Objektgröße und der seit der Erstellung des Objekts verstrichenen Zeit konfigurieren.

  3. Für den Workflow zum Schreiben eines Objekts in einen Cloud Storage-Bucket sind zwei OK-Antworten erforderlich. Die erste OK-Antwort wird gesendet, wenn eine Nachricht erfolgreich in ein Objekt geschrieben wurde. Die zweite OK-Antwort wird gesendet, wenn das Objekt mit der Nachricht abgeschlossen ist. Eine Nachricht ist erst dann im Bucket sichtbar, wenn das Cloud Storage-Objekt, das sie enthält, erfolgreich abgeschlossen wurde.

  4. Wenn während des Schreibvorgangs Fehler auftreten, wird die Pub/Sub-Nachricht selbst negativ bestätigt. Die Nachricht wird dann noch einmal gesendet. Wenn der Schreibvorgang für die Nachricht oft genug fehlschlägt und Sie ein Thema für unzustellbare Nachrichten für das Abo konfiguriert haben, wird die Nachricht in das Thema für unzustellbare Nachrichten verschoben.

Eigenschaften eines Cloud Storage-Abos

Wenn Sie ein Cloud Storage-Abo erstellen, müssen Sie einige zusätzliche Eigenschaften angeben. Dazu gehören allgemeine Abo-Eigenschaften, Anforderungen an Dateinamen und Format, Speicheranforderungen und mehr. Weitere Informationen zu diesen Eigenschaften finden Sie unter Eigenschaften von Cloud Storage-Abos.

Umgang mit Nachrichtenfehler

Wenn eine Pub/Sub-Nachricht nicht in einen Cloud Storage-Bucket geschrieben werden kann, kann die Nachricht nicht bestätigt werden. Wenn Sie solche nicht zustellbaren Nachrichten weiterleiten möchten, konfigurieren Sie ein Thema für unzustellbare Nachrichten für das Cloud Storage-Abo.

Wenn Pub/Sub Nachrichten nicht in Cloud Storage schreiben kann, wird die Zustellung von Nachrichten ähnlich wie beim Push-Backoff-Verhalten zurückgestellt.

Kontingente

Für den Durchsatz des Cloud Storage-Abonnenten gelten für jede Region Kontingentbeschränkungen. Informationen zu den Kontingenten für Cloud Storage Abos finden Sie unter Kontingentlimits für Exportabonnenten in Kontingente und Limits für Pub/Sub.

Preise

Informationen zu den Preisen für Cloud Storage Abos finden Sie auf der Seite Pub/Sub-Preise.

Nächste Schritte