Ringkasan Datastream

Datastream adalah layanan replikasi dan pengambilan data perubahan (CDC) yang serverless dan mudah digunakan yang memungkinkan Anda menyinkronkan data dengan andal, dan dengan latensi minimal.

Datastream menyediakan replikasi data yang lancar dari database operasional ke BigQuery. Selain itu, Datastream mendukung penulisan aliran peristiwa perubahan ke Cloud Storage, dan menawarkan integrasi yang disederhanakan dengan template Dataflow untuk membuat alur kerja kustom guna memuat data ke berbagai tujuan, seperti Cloud SQL dan Spanner. Anda juga dapat menggunakan Datastream untuk memanfaatkan aliran peristiwa langsung dari Cloud Storage guna mewujudkan arsitektur berbasis peristiwa. Datastream mendukung sumber Oracle, MySQL, SQL Server, PostgreSQL (termasuk AlloyDB untuk PostgreSQL), MongoDB, Salesforce, Salesforce Marketing Cloud (Pratinjau), ServiceNow (Pratinjau), dan Spanner.

Manfaat Datastream mencakup:

  • Penyiapan pipeline ELT (Ekstraksi, Pemuatan, Transformasi) yang lancar untuk replikasi data latensi rendah guna mengaktifkan insight mendekati real-time di BigQuery.
  • Bersifat serverless sehingga tidak ada resource yang harus disediakan atau dikelola, dan layanan ini dapat ditingkatkan dan diturunkan skalanya secara otomatis, sesuai kebutuhan, dengan waktu nonaktif minimal.
  • Pengalaman penyiapan dan pemantauan yang mudah digunakan yang mencapai waktu pemerolehan manfaat yang sangat cepat.
  • Integrasi di seluruh portofolio layanan data terbaik untuk integrasi data di seluruh Datastream, Dataflow, Pub/Sub, BigQuery, Knowledge Catalog, dan lainnya. Google Cloud
  • Pengelolaan metadata dan asal data terpusat dengan Knowledge Catalog, yang memungkinkan Anda melihat resource Datastream dalam konteks semua sumber data Anda Google Cloud.
  • Menyinkronkan dan menyatukan aliran data di berbagai database dan aplikasi heterogen.
  • Keamanan, dengan opsi konektivitas pribadi dan keamanan yang Anda harapkan dari Google Cloud.
  • Akurat dan andal, dengan pelaporan status yang transparan dan fleksibilitas pemrosesan yang kuat dalam menghadapi perubahan data dan skema.
  • Mendukung beberapa kasus penggunaan, termasuk analisis, replikasi database, dan sinkronisasi untuk migrasi dan konfigurasi cloud hibrida, serta untuk membangun arsitektur berbasis peristiwa.

Kasus penggunaan

Kemampuan streaming Datastream memungkinkan berbagai kasus penggunaan:

  • Mereplikasi dan menyinkronkan data di seluruh organisasi Anda dengan latensi minimal

    Anda dapat menyinkronkan data di berbagai database dan aplikasi heterogen dengan andal, dengan latensi rendah, dan dengan dampak minimal pada performa sumber Anda. Maksimalkan kemampuan aliran data untuk analisis, replikasi database, migrasi cloud, dan arsitektur berbasis peristiwa di seluruh lingkungan hibrida.

  • Meningkatkan atau menurunkan skala dengan arsitektur serverless secara lancar

    Siapkan dan jalankan secara cepat dengan layanan serverless dan mudah digunakan yang dapat ditingkatkan skalanya secara lancar saat volume data Anda berubah. Fokuslah untuk mendapatkan insight terbaru dari data Anda dan merespons masalah prioritas tinggi, bukan mengelola infrastruktur, melakukan tuning performa, atau menyediakan resource.

  • Berintegrasi dengan Google Cloud rangkaian integrasi data

    Hubungkan data di seluruh organisasi Anda dengan Google Cloud data rangkaian integrasi data produk. Integrasikan Datastream dengan template tugas Dataflow untuk membaca data dari bucket Cloud Storage dan memuatnya ke berbagai tujuan, seperti BigQuery, Spanner, dan Cloud SQL.

Elemen pengalaman

Ada tiga elemen utama di Datastream:

  • Konfigurasi konektivitas pribadi memungkinkan Datastream untuk berkomunikasi dengan sumber data melalui jaringan pribadi (secara internal dalam Google Cloud, atau dengan sumber eksternal yang terhubung melalui VPN atau Interconnect). Komunikasi ini terjadi melalui koneksi peering Virtual Private Cloud (VPC).
  • Profil koneksi mewakili informasi konektivitas ke sumber dan tujuan. Informasi ini akan digunakan oleh aliran data.
  • Aliran data menggunakan informasi dalam profil koneksi untuk mentransfer data CDC dan pengisian ulang dari sumber ke tujuan.

Langkah berikutnya