Suscripciones a Cloud Storage

Una suscripción a Cloud Storage es un tipo de suscripción de exportación que escribe los mensajes en un bucket de Cloud Storage existente a medida que se reciben. No necesitas configurar un cliente suscriptor independiente. Usa la consola de Google Cloud , Google Cloud CLI, las bibliotecas cliente o la API de Pub/Sub para crear, actualizar, enumerar, separar o borrar una suscripción de Cloud Storage.

Sin el tipo de suscripción de Cloud Storage, necesitas una suscripción de extracción o de envío y un suscriptor (como Dataflow) que lea mensajes y los escriba en un bucket de Cloud Storage. La sobrecarga de ejecutar un trabajo de Dataflow no es necesaria cuando los mensajes no requieren procesamiento adicional antes de almacenarse en un bucket de Cloud Storage; en su lugar, puedes usar una suscripción a Cloud Storage.

Para realizar modificaciones leves en los mensajes o atributos, puedes adjuntar una transformación de un solo mensaje a tu suscripción de Cloud Storage. Sin embargo, se recomienda una canalización de Dataflow para los sistemas de Pub/Sub en los que se requiere una transformación de datos más compleja antes de que los datos se almacenen en un bucket de Cloud Storage, en especial si deseas crear ventanas o agregar mensajes.

Para obtener información sobre cómo transmitir datos de Pub/Sub a Cloud Storage con transformación a través de Dataflow, consulta Transmite mensajes desde Pub/Sub con Dataflow.

Antes de comenzar

Antes de leer este documento, asegúrate de estar familiarizado con lo siguiente:

Flujo de trabajo de suscripción a Cloud Storage

En la siguiente imagen, se muestra el flujo de trabajo entre una suscripción a Cloud Storage y Cloud Storage.

Flujo de mensajes para una suscripción a Cloud Storage

Figura 1. Flujo de trabajo para una suscripción a Cloud Storage

A continuación, se incluye una breve descripción del flujo de trabajo que se muestra en la Figura 1:

  1. Pub/Sub usa la API de Cloud Storage para enviar datos al bucket de Cloud Storage. Después de que se completa correctamente una operación de escritura, la API devuelve una respuesta OK.

  2. Los mensajes se envían en lotes al bucket de Cloud Storage. Un solo lote corresponde a un objeto que se almacena en el bucket de Cloud Storage. Puedes configurar los parámetros del lote según el tamaño del objeto y el tiempo transcurrido desde su creación.

  3. El flujo de trabajo para escribir un objeto en un bucket de Cloud Storage requiere dos respuestas OK. La primera respuesta OK se envía cuando se escribe un mensaje correctamente en un objeto. La segunda respuesta de OK se envía cuando se finaliza el objeto que contiene el mensaje. Un mensaje solo se hace visible en el bucket después de que se finaliza correctamente el objeto de Cloud Storage que lo contiene.

  4. Si se produce algún error durante la operación de escritura, se envía una confirmación negativa del mensaje de Pub/Sub. Luego, se vuelve a enviar el mensaje. Si la operación de escritura de mensajes falla suficientes veces y tienes configurado un tema de mensajes no entregados en la suscripción, el mensaje se mueve a ese tema.

Propiedades de una suscripción a Cloud Storage

Cuando creas una suscripción a Cloud Storage, debes especificar algunas propiedades adicionales. Estas propiedades incluyen las propiedades comunes de la suscripción, los requisitos de formato y nombre de archivo, los requisitos de almacenamiento y mucho más. Para obtener más información sobre estas propiedades, consulta Propiedades de suscripción de Cloud Storage.

Cómo controlar los errores en los mensajes

Cuando no se puede escribir un mensaje de Pub/Sub en un bucket de Cloud Storage, no se puede confirmar el mensaje. Para reenviar esos mensajes que no se pueden entregar, configura un tema de mensajes no entregados en la suscripción de Cloud Storage.

Si Pub/Sub no puede escribir mensajes en Cloud Storage, se retira de la entrega de mensajes de una manera similar al comportamiento de retirada de envío.

Cuotas

Las limitaciones de cuota se aplican al rendimiento del suscriptor de Cloud Storage para cada región. Para obtener información sobre las cuotas de suscripciones de Cloud Storage, consulta los límites de cuotas de suscriptores de exportación en Cuotas y límites de Pub/Sub.

Precios

Para obtener información sobre los precios de las suscripciones a Cloud Storage, consulta la página de precios de Pub/Sub.

¿Qué sigue?