Introdução à API Storage Write

A API BigQuery Storage Write é uma API de ingestão de dados unificada que pode ser usada para fazer streaming de registros para o BigQuery em tempo real. A API Storage Write está disponível por endpoints gRPC e REST.

Escolher uma abordagem de streaming

É possível usar a API Storage Write de duas maneiras: por streaming de gRPC ou pelo endpoint REST. O streaming de gRPC é ideal para conexões de longa duração e streaming contínuo, enquanto o endpoint REST é melhor para ambientes efêmeros, sem estado ou restritos.

Para novas cargas de trabalho, recomendamos usar o streaming gRPC pelos seguintes motivos:

  • Protocolo eficiente: o streaming gRPC é mais eficiente do que REST sobre HTTP. Ele também é compatível com o formato binário buffer de protocolo e o formato colunar Apache Arrow, que são formatos eletrônicos mais eficientes que o JSON. As solicitações de gravação são assíncronas com ordenação garantida.
  • Custo menor. O streaming gRPC tem um custo significativamente menor do que o REST. Além disso, é possível ingerir até 2 TiB por mês sem custos financeiros.
  • Semântica de envio exatamente uma vez. O streaming gRPC é compatível com a semântica exatamente uma vez usando deslocamentos de stream. Ele nunca grava duas mensagens que têm o mesmo deslocamento em um stream, se o cliente fornecer deslocamentos de stream ao anexar registros.
  • Transações no nível do stream. Com o streaming gRPC, é possível gravar dados em um stream e fazer commit como uma única transação. Se a operação de confirmação falhar, será possível repetir a operação com segurança.
  • Transações em vários streams. Com o streaming gRPC, vários workers podem criar os próprios streams para processar dados de maneira independente. Quando todos os workers terminarem, você poderá fazer commit de todos os streams como uma transação.
  • Detecção de atualização de esquema. Com o streaming gRPC, se o esquema da tabela subjacente mudar enquanto o cliente estiver fazendo streaming, a API vai notificar o cliente. Ele pode decidir se quer se reconectar usando o esquema atualizado ou continuar gravando na conexão atual.

O diagrama a seguir ilustra outros detalhes técnicos importantes ao selecionar uma abordagem de streaming:

Diagrama para escolher a abordagem de streaming da API Storage Write.

A seguir