Streaming data dari sumber Spanner

Halaman ini berisi informasi tentang:

  • Perilaku cara Datastream menangani data yang diambil dari database Spanner sumber.
  • Edisi database Spanner yang didukung Datastream.
  • Batasan umum untuk menggunakan database Spanner sebagai sumber.

Perilaku

Spanner adalah layanan database terkelola sepenuhnya, skalabel, dan sangat tersedia yang dapat Anda gunakan sebagai sumber dengan Datastream. Datastream menggunakan aliran data perubahan Spanner untuk melacak perubahan yang dibuat di database Spanner. Perubahan yang disertakan dalam aliran data perubahan kemudian direplikasi ke tujuan untuk mereproduksi peristiwa sumber.

Datastream tidak membuat atau mengubah aliran data perubahan, sehingga objek database yang tidak dilacak oleh aliran data perubahan Spanner yang disediakan tidak dapat disertakan dalam aliran Datastream Anda.

Untuk mengetahui informasi selengkapnya tentang Spanner, lihat dokumentasi Spanner.

Versi

Datastream mendukung semua edisi Spanner yang tersedia:

  • Edisi standar
  • Edisi perusahaan
  • Edisi Enterprise Plus

Untuk mengetahui ringkasan setiap versi, lihat Ringkasan edisi Spanner.

Paket Gratis

Datastream memungkinkan Anda melakukan streaming dari Spanner ke BigQuery menggunakan Paket Gratis, yang menyediakan data pengambilan data perubahan hingga 100 GiB secara gratis setiap bulan. Untuk mengetahui informasi selengkapnya, lihat Harga Datastream.

Batasan umum

Batasan umum untuk menggunakan database Spanner sebagai sumber mencakup:

  • Hanya aliran data perubahan yang menggunakan jenis pengambilan nilai NEW_ROW yang didukung.
  • Datastream tidak mendukung kolom jenis data PROTO atau ENUM.
  • Datastream tidak mendukung array jenis data DATE atau TIMESTAMP.
  • Pengisian ulang untuk database berukuran lebih dari 3 tebibyte (TiB) dapat memerlukan waktu lebih dari 24 jam untuk diselesaikan.
  • Pengisian ulang membuat epoch snapshot, yaitu jenis pencadangan yang dibuat untuk stempel waktu tertentu yang mempertahankan versi data untuk stempel waktu tersebut. Epoch snapshot menunda pemadatan utama hingga pengisian ulang selesai. Untuk mempelajari pemadatan lebih lanjut, lihat Ringkasan columnar engine Spanner.
  • Datastream mungkin mengalami masalah dalam mengikuti aliran data perubahan Spanner yang memiliki lebih dari 10.000 partisi. Artinya, peristiwa perubahan mungkin tertunda, atau aliran data mungkin akhirnya gagal.
  • Datastream mungkin mengalami masalah dalam mengikuti aliran data perubahan Spanner dengan lebih dari 60.000 update per detik. Artinya, peristiwa perubahan mungkin tertunda, atau aliran data mungkin akhirnya gagal.
  • Datastream mungkin mengalami masalah dalam mengikuti aliran data perubahan Spanner dengan throughput lebih dari 60 mebibyte (MiB) per detik. Artinya, peristiwa perubahan mungkin tertunda, atau aliran data mungkin akhirnya gagal.
  • Mereplikasi data yang dipartisi secara geografis tidak didukung karena aliran data perubahan Spanner tidak mendukung data yang dipartisi.

Langkah berikutnya