Einführung in die Storage Write API

Die BigQuery Storage Write API ist eine einheitliche API zur Datenaufnahme, mit der Sie Datensätze in Echtzeit in BigQuery streamen können. Die Storage Write API ist sowohl über gRPC- als auch über REST-Endpunkte verfügbar.

Streaming-Ansatz auswählen

Sie können die Storage Write API auf zwei Arten verwenden: über gRPC-Streaming oder über den REST-Endpunkt. gRPC-Streaming ist ideal für langlebige Verbindungen und kontinuierliches Streaming, während der REST-Endpunkt am besten für kurzlebige, zustandslose oder eingeschränkte Umgebungen geeignet ist.

Für neue Arbeitslasten empfehlen wir die Verwendung von gRPC-Streaming aus den folgenden Gründen:

  • Effizientes Protokoll: gRPC-Streaming ist effizienter als REST über HTTP. Sie unterstützt auch das binäre Protokollpuffer-Format und das spaltenorientierte Apache Arrow-Format, die effizientere Formate als JSON sind. Schreibanfragen sind mit garantierter Reihenfolge asynchron.
  • Geringere Kosten: gRPC-Streaming ist deutlich günstiger als REST. Darüber hinaus können Sie bis zu 2 TiB pro Monat kostenlos aufnehmen.
  • Genaue Auslieferungssemantik. gRPC-Streaming unterstützt die „Genau einmal“-Semantik durch Verwendung von Stream-Offsets. Es werden niemals zwei Nachrichten mit demselben Offset in einem Stream geschrieben, wenn der Client Stream-Offsets beim Anhängen von Datensätzen bereitstellt.
  • Transaktionen auf Streamebene. Mit gRPC-Streaming können Sie Daten in einen Stream schreiben und die Daten in einer einzigen Transaktion per Commit speichern. Wenn der Commit-Vorgang fehlschlägt, können Sie den Vorgang sicher wiederholen.
  • Transaktionen über Streams. Mit gRPC-Streaming können mehrere Worker eigene Streams erstellen, um Daten unabhängig voneinander zu verarbeiten. Wenn alle Worker fertig sind, können Sie alle Streams als Transaktion per Commit übergeben.
  • Schemaaktualisierungserkennung. Wenn sich das zugrunde liegende Tabellenschema während des Streamings ändert, benachrichtigt die API den Client. Der Client kann entscheiden, ob die Verbindung mit dem aktualisierten Schema wiederhergestellt werden soll, oder es kann weiterhin in die vorhandene Verbindung geschrieben werden.

Das folgende Diagramm veranschaulicht weitere technische Details, die bei der Auswahl eines Streaming-Ansatzes zu beachten sind:

Diagramm zur Auswahl des Streamingansatzes für die Storage Write API.

Nächste Schritte