Streaming data dari database MongoDB

Datastream memungkinkan Anda mereplikasi data historis dan peristiwa perubahan dari sumber MongoDB untuk analisis real-time dan sinkronisasi database. MongoDB adalah database NoSQL open source yang mengatur dokumen mirip JSON, termasuk dokumen tersemat, ke dalam koleksi. Alih-alih menggunakan baris dan kolom relasional, MongoDB menyimpan setiap data dalam format JSON biner (BSON) untuk diambil sebagai JSON.

Sebelum mengonfigurasi sumber MongoDB, tinjau istilah utama, perilaku replikasi, versi yang didukung, dan batasan yang diketahui di Datastream.

Istilah utama

Berikut adalah istilah penting yang perlu Anda pahami saat menggunakan sumber MongoDB:

  • Koneksi SRV: string koneksi dengan nama host yang sesuai dengan data layanan (SRV) layanan nama domain (DNS). String memiliki format berikut:

    mongodb+srv://[username:password@]host[/[defaultauthdb][?options]]

    Untuk mengetahui informasi selengkapnya, lihat dokumentasi MongoDB.

  • String koneksi standar: format standar URI koneksi MongoDB yang digunakan untuk terhubung ke deployment mandiri, set replika, atau cluster sharded MongoDB yang dihosting sendiri. String memiliki format berikut:

    mongodb://[username:password@]host1[:port1][,...hostN[:portN]][/[defaultauthdb][?options]]

    Untuk mengetahui informasi selengkapnya, lihat dokumentasi MongoDB.

  • Kumpulan replika: cluster server MongoDB yang mengimplementasikan replikasi dan failover otomatis. Set replika menyediakan redundansi dan ketersediaan tinggi, serta menjadi dasar untuk semua deployment produksi.

  • Cluster yang di-sharding: cluster MongoDB yang di-sharding terdiri dari shard, mongos, dan server konfigurasi. MongoDB melakukan sharding data di tingkat koleksi, mendistribusikan data koleksi ke seluruh shard dalam cluster.

  • mongos: antarmuka antara aplikasi klien dan cluster yang di-sharding. mongos bertindak sebagai router kueri dan menulis operasi ke shard.

  • Koleksi: MongoDB mengatur data dalam struktur hierarkis. Deployment MongoDB berisi satu atau beberapa database, dan setiap database berisi satu atau beberapa koleksi. Di setiap koleksi, MongoDB menyimpan data sebagai dokumen yang berisi pasangan kolom dan nilai. Koleksi serupa dengan tabel dalam database relasional.

Perilaku

Database MongoDB sumber mengandalkan aliran data perubahan untuk mereplikasi perubahan ke tujuan. Aliran data perubahan memungkinkan Anda mengakses data real-time dan didukung untuk set replika dan cluster sharding.

  • Jika dikonfigurasi, semua data historis akan direplikasi untuk objek yang disertakan.
  • Semua perubahan, seperti penyisipan, update, dan penghapusan dari objek yang ditentukan, akan direplikasi.

Versi

Datastream mendukung MongoDB versi setelah 5.0.

Batasan umum

Batasan umum penggunaan MongoDB sebagai sumber meliputi:

  • Saat menggunakan Datastream API, Anda hanya dapat menentukan kolom yang ingin dikecualikan dalam aliran data. Menentukan daftar penyertaan untuk kolom tidak didukung.
  • Mode ketat tidak mendukung nilai numerik Infinity, -Infinity, dan NaN. Dokumen akan dihapus jika berisi nilai ini dalam mode ketat. Jika database Anda berisi nilai ini, gunakan mode kanonis (default). Untuk mengetahui informasi selengkapnya, lihat Jenis data MongoDB.
  • Datastream tidak mendukung Azure Cosmos DB berbasis Request Unit (RU).
  • Datastream tidak mendukung Amazon DocumentDB Elastic Clusters.
  • Datastream tidak mereplikasi peristiwa perubahan dari koleksi deret waktu MongoDB, karena MongoDB tidak mendukung aliran data perubahan pada koleksi tersebut. Datastream hanya mengisi ulang koleksi deret waktu dan tidak mereplikasi penyisipan, pembaruan, atau penghapusan yang dilakukan setelah pengisian ulang.

Langkah berikutnya