Assinaturas do Cloud Storage

Uma assinatura do Cloud Storage é um tipo de assinatura de exportação que grava mensagens em um bucket do Cloud Storage à medida que são recebidas. Não é necessário configurar um cliente assinante separado. Use o Google Cloud console, a Google Cloud CLI, as bibliotecas de cliente ou a API Pub/Sub para criar, atualizar, listar, desanexar ou excluir uma assinatura de armazenamento do Cloud Storage.

Sem o tipo de assinatura de armazenamento em nuvem, você precisa de uma assinatura de pull ou assinatura por push e de um assinante (como o Dataflow) que lê mensagens e as grava em um bucket do Cloud Storage. A sobrecarga de execução de um job do Dataflow não é necessária quando as mensagens não exigem processamento adicional antes de serem armazenadas em um bucket do Cloud Storage. Nesse caso, você pode usar uma assinatura de armazenamento do Cloud Storage.

Para modificações leves em mensagens ou atributos, anexe uma transformação de mensagem única à sua assinatura de armazenamento do Cloud Storage. No entanto, um pipeline do Dataflow é recomendado para sistemas do Pub/Sub em que uma transformação de dados mais complexa é necessária antes que os dados sejam armazenados em um bucket do Cloud Storage, especialmente se você quiser criar janelas ou agregar mensagens.

Para saber como transmitir dados do Pub/Sub para o Cloud Storage com transformação usando o Dataflow, consulte Transmitir mensagens do Pub/Sub usando o Dataflow.

Antes de começar

Antes de ler este documento, você precisa conhecer:

Fluxo de trabalho de assinatura de Cloud Storage

A imagem a seguir mostra o fluxo de trabalho entre uma assinatura do Cloud Storage e o Cloud Storage.

Fluxo de mensagens para uma assinatura de Cloud Storage

Figura 1. Fluxo de trabalho de uma assinatura de Cloud Storage

Confira uma breve descrição do fluxo de trabalho que faz referência à Figura 1:

  1. O Pub/Sub usa a API Storage do Cloud Storage para enviar dados ao bucket do Cloud Storage. Após a conclusão de uma operação de gravação, a API retorna uma resposta OK.

  2. As mensagens são enviadas em lotes para o bucket do Cloud Storage. Um único lote corresponde a um objeto armazenado no bucket do Cloud Storage. É possível configurar as definições de lote com base no tamanho do objeto e no tempo decorrido desde que ele foi criado.

  3. O fluxo de trabalho para gravar um objeto em um bucket do Cloud Storage exige duas respostas OK. A primeira resposta OK é enviada quando uma mensagem é gravada em um objeto. A segunda resposta OK é enviada quando o objeto que contém a mensagem é finalizado. Uma mensagem só fica visível no bucket depois que o objeto do Cloud Storage que a contém é finalizado.

  4. Se houver falhas durante a operação de gravação, a mensagem do Pub/Sub será confirmada negativamente. A mensagem será reenviada. Se a operação de gravação de mensagens falhar várias vezes e você tiver um tópico de mensagens inativas configurado na assinatura, a mensagem será movida para o tópico de mensagens inativas.

Propriedades de uma assinatura de Cloud Storage

Ao criar uma assinatura de Cloud Storage, você precisa especificar algumas propriedades adicionais. Essas propriedades incluem propriedades comuns de assinatura, requisitos de nome de arquivo e formato, requisitos de armazenamento e muito mais. Para saber mais sobre essas propriedades, consulte Propriedades de assinatura de armazenamento em nuvem.

Como lidar com falhas nas mensagens

Quando uma mensagem do Pub/Sub não pode ser gravada em um bucket do Cloud Storage, ela não pode ser confirmada. Para encaminhar essas mensagens não entregues, configure um tópico de mensagens inativas na assinatura de armazenamento do Cloud Storage.

Se o Pub/Sub não puder gravar mensagens no Cloud Storage, ele vai fazer o back-off da entrega de mensagens de maneira semelhante ao comportamento de back-off de push.

Cotas

As limitações de cota se aplicam à capacidade de processamento do assinante do Cloud Storage para cada região. Para informações sobre as cotas de assinaturas do Cloud Storage, consulte Limites de cota de assinantes de exportação em Cotas e limites do Pub/Sub.

Preços

Para informações sobre os preços das assinaturas do Cloud Storage, consulte a página de preços do Pub/Sub.

A seguir