Introduzione all'API Storage Write

L'API BigQuery Storage Write è un'API unificata di importazione dati che puoi utilizzare per trasmettere record in streaming in BigQuery in tempo reale. L'API Storage Write è disponibile tramite endpoint gRPC e REST.

Scegliere un approccio di streaming

Puoi utilizzare l'API Storage Write in due modi: tramite streaming gRPC o tramite l'endpoint REST. Lo streaming gRPC è ideale per connessioni di lunga durata e streaming continuo, mentre l'endpoint REST è più adatto per ambienti effimeri, stateless o vincolati.

Per i nuovi workload, consigliamo di utilizzare lo streaming gRPC per i seguenti motivi:

  • Protocollo efficiente.Lo streaming gRPC è più efficiente di REST su HTTP. Supporta anche il formato binario Protocol Buffer e il formato colonnare Apache Arrow, che sono formati di trasferimento più efficienti di JSON. Le richieste di scrittura sono asincrone con ordinamento garantito.
  • Costo inferiore. Lo streaming gRPC ha un costo notevolmente inferiore rispetto a REST. Inoltre, puoi importare fino a 2 TiB al mese senza costi.
  • Semantica di consegna exactly-once.Lo streaming gRPC supporta la semantica exactly-once tramite l'utilizzo di offset di stream e non scrive mai due messaggi con lo stesso offset all'interno di uno stream, se il client fornisce offset di stream durante l'aggiunta di record.
  • Transazioni a livello di stream. Con lo streaming gRPC, puoi scrivere dati in uno stream ed eseguirne il commit come singola transazione. Se l'operazione di commit non riesce, puoi riprovare in tutta sicurezza.
  • Transazioni tra stream. Con lo streaming gRPC, più worker possono creare i propri stream per elaborare i dati in modo indipendente. Quando tutti i worker hanno terminato, puoi eseguire il commit di tutti gli stream come transazione.
  • Rilevamento aggiornamenti dello schema. Con lo streaming gRPC, se lo schema della tabella sottostante cambia mentre il client esegue lo streaming, l'API invia una notifica al client. Il client può decidere se riconnettersi utilizzando lo schema aggiornato o continuare a scrivere nella connessione esistente.

Il seguente diagramma illustra altri dettagli tecnici da tenere presenti quando si seleziona un approccio di streaming:

Diagramma per la scelta dell'approccio di streaming dell'API Storage Write.

Passaggi successivi