Introducción a la API de Storage Write

La API de BigQuery Storage Write es una API de transferencia de datos unificada que puedes usar para transmitir registros a BigQuery en tiempo real. La API de Storage Write está disponible a través de extremos de gRPC y REST.

Elige un enfoque de transmisión

Puedes usar la API de Storage Write de dos maneras: a través de la transmisión de gRPC o del extremo de REST. La transmisión de gRPC es ideal para conexiones de larga duración y transmisión continua, mientras que el extremo de REST es mejor para entornos efímeros, sin estado o restringidos.

Para las cargas de trabajo nuevas, te recomendamos que uses la transmisión de gRPC por los siguientes motivos:

  • Protocolo eficiente. La transmisión de gRPC es más eficiente que REST a través de HTTP. También admite el formato binario de búfer de protocolo y el formato columnar de Apache Arrow, que son formatos de conexión más eficientes que JSON. Las solicitudes de escritura son asíncronas con un orden garantizado.
  • Costo más bajo. La transmisión de gRPC tiene un costo significativamente más bajo que REST. Además, puedes transferir hasta 2 TiB por mes de forma gratuita.
  • Semántica de entrega de tipo “solo una vez”. La transmisión de gRPC admite una semántica de tipo “solo una vez” a través del uso de compensaciones de transmisión, y nunca escribe dos mensajes que tengan la misma compensación dentro de una transmisión, si el cliente proporciona compensaciones de transmisión cuando agrega registros.
  • Transacciones a nivel de transmisión. Con la transmisión de gRPC, puedes escribir datos en una transmisión y confirmarlos como una sola transacción. Si la operación de confirmación falla, puedes reintentar realizar la operación de forma segura.
  • Transacciones en las transmisiones. Con la transmisión de gRPC, varios trabajadores pueden crear sus propias transmisiones para procesar datos de forma independiente. Cuando todos los trabajadores finalizan, puedes confirmar todas las transmisiones como una transacción.
  • Detección de actualización del esquema. Con la transmisión de gRPC, si el esquema de la tabla subyacente cambia mientras el cliente está transmitiendo, la API notifica al cliente. El cliente puede optar por volver a conectarse usando el esquema actualizado o seguir escribiendo en la conexión existente.

En el siguiente diagrama, se ilustran otros detalles técnicos que debes tener en cuenta cuando seleccionas un enfoque de transmisión:

Diagrama para elegir el enfoque de transmisión de la API de Storage Write.

¿Qué sigue?