Abonnements Cloud Storage

Un abonnement Cloud Storage est un type d'abonnement d'exportation qui écrit les messages dans un bucket Cloud Storage existant à mesure qu'ils sont reçus. Vous n'avez pas besoin de configurer un client abonné distinct. Utilisez la console Google Cloud , Google Cloud CLI, les bibliothèques clientes ou l'API Pub/Sub pour créer, modifier, lister, dissocier ou supprimer un abonnement Cloud Storage.

Sans le type d'abonnement Cloud Storage, vous avez besoin d'un abonnement pull ou push et d'un abonné (tel que Dataflow) qui lit les messages et les écrit dans un bucket Cloud Storage. Les frais généraux liés à l'exécution d'un job Dataflow ne sont pas nécessaires lorsque les messages ne nécessitent pas de traitement supplémentaire avant d'être stockés dans un bucket Cloud Storage. Vous pouvez utiliser un abonnement Cloud Storage à la place.

Pour des modifications légères apportées aux messages ou aux attributs, vous pouvez associer une transformation de message unique à votre abonnement Cloud Storage. Toutefois, un pipeline Dataflow est recommandé pour les systèmes Pub/Sub où une transformation de données plus complexe est requise avant que les données ne soient stockées dans un bucket Cloud Storage, en particulier si vous souhaitez créer des fenêtres ou agréger des messages.

Pour savoir comment diffuser des données de Pub/Sub vers Cloud Storage avec transformation à l'aide de Dataflow, consultez Diffuser des messages depuis Pub/Sub à l'aide de Dataflow.

Avant de commencer

Avant de lire ce document, assurez-vous de connaître les éléments suivants :

Workflow d'abonnement Cloud Storage

L'image suivante illustre le workflow entre un abonnement Cloud Storage et Cloud Storage.

Flux de messages pour un abonnement Cloud Storage

Figure 1 : Workflow pour un abonnement Cloud Storage

Voici une brève description du workflow qui fait référence à la figure 1 :

  1. Pub/Sub utilise l'API Cloud Storage pour envoyer des données au bucket Cloud Storage. Une fois une opération d'écriture terminée, l'API renvoie une réponse OK.

  2. Les messages sont envoyés par lots au bucket Cloud Storage. Un lot unique correspond à un objet stocké dans le bucket Cloud Storage. Vous pouvez configurer les paramètres de lot en fonction de la taille de l'objet et du temps écoulé depuis sa création.

  3. Le workflow permettant d'écrire un objet dans un bucket Cloud Storage nécessite deux réponses OK. La première réponse OK est envoyée lorsqu'un message est correctement écrit dans un objet. La deuxième réponse OK est envoyée lorsque l'objet contenant le message est finalisé. Un message n'est visible dans le bucket qu'une fois l'objet Cloud Storage le contenant correctement finalisé.

  4. En cas d'échec de l'opération d'écriture, le message Pub/Sub lui-même est accusé de réception négativement. Le message est ensuite renvoyé. Si l'opération d'écriture du message échoue un certain nombre de fois et que vous avez configuré un sujet de lettres mortes sur l'abonnement, le message est déplacé vers le sujet de lettres mortes.

Propriétés d'un abonnement Cloud Storage

Lorsque vous créez un abonnement Cloud Storage, vous devez spécifier des propriétés supplémentaires. Ces propriétés incluent les propriétés d'abonnement courantes, les exigences concernant les noms de fichiers et les formats, les exigences de stockage, etc. Pour en savoir plus sur ces propriétés, consultez Propriétés des abonnements Cloud Storage.

Gérer les échecs de messages

Lorsqu'un message Pub/Sub ne peut pas être écrit dans un bucket Cloud Storage, il ne peut pas être confirmé. Pour transférer ces messages non distribuables, configurez un sujet de lettres mortes sur l'abonnement Cloud Storage.

Si Pub/Sub ne peut pas écrire de messages dans Cloud Storage, il interrompt la distribution des messages de manière semblable au comportement d'intervalle entre les tentatives push.

Quotas

Des limites de quota s'appliquent au débit des abonnés Cloud Storage pour chaque région. Pour en savoir plus sur les quotas des abonnements Cloud Storage, consultez les limites de quota des abonnés à l'exportation dans Quotas et limites de Pub/Sub.

Tarifs

Pour en savoir plus sur les tarifs des abonnements Cloud Storage, consultez la page Tarifs Pub/Sub.

Étapes suivantes