Pengantar Storage Write API

BigQuery Storage Write API adalah API penyerapan data terpadu yang dapat Anda gunakan untuk melakukan streaming data ke BigQuery secara real time. Storage Write API tersedia melalui endpoint gRPC dan REST.

Memilih pendekatan streaming

Anda dapat menggunakan Storage Write API dengan dua cara, melalui streaming gRPC atau melalui endpoint REST. Streaming gRPC ideal untuk koneksi yang berjalan lama dan streaming berkelanjutan, sedangkan endpoint REST paling cocok untuk lingkungan sementara, tanpa status, atau terbatas.

Untuk workload baru, sebaiknya gunakan streaming gRPC karena alasan berikut:

  • Protokol yang efisien. Streaming gRPC lebih efisien daripada REST melalui HTTP. API ini juga mendukung format biner buffer protokol dan format kolom Apache Arrow, yang merupakan format kabel yang lebih efisien daripada JSON. Permintaan tulis bersifat asinkron dengan pengurutan yang terjamin.
  • Biaya lebih rendah. Streaming gRPC memiliki biaya yang jauh lebih rendah daripada REST. Selain itu, Anda dapat menyerap hingga 2 TiB per bulan secara gratis.
  • Streaming gRPC semantik pengiriman tepat satu kali. mendukung semantik tepat satu kali melalui penggunaan offset streaming, dan tidak pernah menulis dua pesan yang memiliki offset yang sama dalam satu streaming, jika klien memberikan offset streaming saat menambahkan kumpulan data.
  • Transaksi tingkat streaming. Dengan streaming gRPC, Anda dapat menulis data ke streaming dan meng-commit data sebagai satu transaksi. Jika operasi commit gagal, Anda dapat mencoba kembali operasi tersebut dengan aman.
  • Transaksi di seluruh stream. Dengan streaming gRPC, beberapa pekerja dapat membuat alirannya sendiri untuk memproses data secara independen. Setelah semua pekerja selesai, Anda dapat melakukan commit untuk semua streaming sebagai transaksi.
  • Deteksi update skema. Dengan streaming gRPC, jika skema tabel yang mendasarinya berubah saat klien melakukan streaming, API akan memberi tahu klien. Klien dapat memutuskan apakah akan menghubungkan kembali menggunakan skema yang diperbarui, atau melanjutkan menulis ke koneksi yang ada.

Diagram berikut menggambarkan detail teknis lain yang perlu diperhatikan saat memilih pendekatan streaming:

Diagram untuk memilih pendekatan streaming Storage Write API.

Langkah berikutnya