Membaca dari sumber streaming Pub/Sub

Sumber Pub/Sub di Cloud Data Fusion memungkinkan Anda menyerap aliran pesan real-time ke dalam pipeline data streaming. Kemudian, Anda dapat mengubah, memperkaya, dan menulis data peristiwa ke tujuan penyimpanan dan analisis downstream dengan latensi minimal.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membaca dari sumber streaming Pub/Sub, minta administrator untuk memberi Anda peran IAM Editor Pub/Sub (roles/pubsub.editor) pada akun layanan yang digunakan untuk mengakses langganan Pub/Sub. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membaca dari sumber streaming Pub/Sub. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membaca dari sumber streaming Pub/Sub:

  • pubsub.snapshots.create
  • pubsub.snapshots.delete
  • pubsub.snapshots.seek
  • pubsub.subscriptions.consume
  • pubsub.topics.attachSubscription

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Anda memberikan peran pada akun layanan yang Anda tentukan di properti plugin untuk mengakses Pub/Sub. Jika tidak ada yang ditentukan, berikan peran pada akun layanan Managed Service untuk Apache Spark.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Menambahkan sumber Pub/Sub ke pipeline data streaming

  1. Buka instance Anda:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Di antarmuka web Cloud Data Fusion, klik Studio.

  3. Pilih Data Pipeline - Realtime.

  4. Di menu Source, pilih Pub/Sub. Node sumber streaming Pub/Sub akan muncul di pipeline.

  5. Di node Pub/Sub, klik Properties untuk mengonfigurasi sumber. Untuk mengetahui informasi selengkapnya, lihat Sumber Streaming Pub/Sub.

Dukungan untuk satu sumber Pub/Sub tanpa plugin Windower

Cloud Data Fusion versi 6.9.1 mendukung pipeline real-time dengan satu sumber streaming Pub/Sub dan tanpa plugin Windower.

  • Sumber streaming Pub/Sub memiliki dukungan bawaan dan data diproses setidaknya sekali. Mengaktifkan checkpointing Spark tidak diperlukan.
  • Sumber streaming Pub/Sub membuat snapshot Pub/Sub di awal setiap batch dan menghapusnya di akhir setiap batch.
  • Membuat snapshot Pub/Sub dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat harga Pub/Sub.
  • Anda dapat memantau pembuatan snapshot di Cloud Audit Logs.

Mengupgrade pipeline dengan sumber streaming Pub/Sub

Cloud Data Fusion mendukung upgrade aplikasi langsung untuk pipeline streaming dengan sumber streaming Pub/Sub yang dibuat di 6.9.1 atau yang lebih baru.

Cloud Data Fusion tidak mendukung upgrade untuk pipeline data dengan sumber streaming Pub/Sub di versi 6.9.0 atau yang lebih lama. Sebagai gantinya, upgrade pipeline tersebut ke 6.9.1:

  1. Berhenti memublikasikan data ke topik saat upgrade instance direncanakan.
  2. Tunggu hingga pipeline selesai memproses data yang dipublikasikan.
  3. Setelah data diproses sepenuhnya, hentikan pipeline.
  4. Upgrade instance.
  5. Duplikasikan pipeline yang ada dan update ke plugin terbaru.
  6. Deploy pipeline.

  7. Jalankan pipeline baru untuk membaca data.

    Versi baru akan otomatis menggunakan snapshot, bukan checkpointing Spark.

  8. Hapus pipeline lama.

Langkah berikutnya