Apa yang dimaksud dengan Pub/Sub?

Pub/Sub adalah layanan pesan asinkron dan skalabel yang memisahkan layanan yang menghasilkan pesan dari layanan yang memproses pesan tersebut.

Pub/Sub memungkinkan layanan berkomunikasi secara asinkron, dengan latensi biasanya sekitar 100 milidetik.

Pub/Sub digunakan untuk pipeline analisis streaming dan integrasi data guna memuat dan mendistribusikan data. Pub/Sub sama efektifnya sebagai middleware berorientasi pesan untuk integrasi layanan atau sebagai antrean untuk memparalelkan tugas.

Pub/Sub memungkinkan Anda membuat sistem produsen dan konsumen peristiwa, yang disebut penayang dan pelanggan. Penayang berkomunikasi dengan pelanggan secara asinkron dengan menyiarkan peristiwa, bukan dengan remote procedure call (RPC) sinkron.

Penayang mengirimkan peristiwa ke layanan Pub/Sub, tanpa memperhatikan bagaimana atau kapan peristiwa ini akan diproses. Pub/Sub kemudian mengirimkan peristiwa ke semua layanan yang bereaksi terhadap peristiwa tersebut. Dalam sistem yang berkomunikasi melalui RPC, penayang harus menunggu pelanggan menerima data. Namun, integrasi asinkron di Pub/Sub meningkatkan fleksibilitas dan keandalan sistem secara keseluruhan.

Untuk mulai menggunakan Pub/Sub, lihat Panduan memulai menggunakan Google Cloud konsol. Untuk pengantar yang lebih komprehensif, lihat Membangun sistem pesan Pub/Sub.

Kasus penggunaan umum

  • Menyerap interaksi pengguna dan peristiwa server. Untuk menggunakan peristiwa interaksi pengguna dari aplikasi pengguna akhir atau peristiwa server dari sistem Anda, Anda dapat meneruskannya ke Pub/Sub. Kemudian, Anda dapat menggunakan alat pemrosesan streaming, seperti Dataflow, yang mengirimkan peristiwa ke database. Contoh database tersebut adalah BigQuery, Bigtable, dan Cloud Storage. Pub/Sub memungkinkan Anda mengumpulkan peristiwa dari banyak klien secara bersamaan.
  • Distribusi peristiwa real-time. Peristiwa, baik mentah maupun yang diproses, dapat disediakan untuk beberapa aplikasi di seluruh tim dan organisasi Anda untuk pemrosesan real-time. Pub/Sub mendukung "bus peristiwa perusahaan" dan pola desain aplikasi berbasis peristiwa. Pub/Sub memungkinkan Anda berintegrasi dengan banyak sistem yang mengekspor peristiwa ke Pub/Sub.
  • Mereplikasi data di antara database. Pub/Sub biasanya digunakan untuk mendistribusikan peristiwa perubahan dari database. Peristiwa ini dapat digunakan untuk membuat tampilan status database dan histori status di BigQuery dan sistem penyimpanan data lainnya.
  • Pemrosesan dan alur kerja paralel. Anda dapat mendistribusikan banyak tugas secara efisien di antara beberapa pekerja dengan menggunakan pesan Pub/Sub untuk berkomunikasi dengan pekerja. Contoh tugas tersebut adalah memadatkan file teks, mengirim notifikasi email, mengevaluasi model AI, dan memformat ulang gambar.
  • Bus acara perusahaan. Anda dapat membuat bus berbagi data real-time di seluruh perusahaan, mendistribusikan peristiwa bisnis, pembaruan database, dan peristiwa analisis di seluruh organisasi Anda.
  • Streaming data dari aplikasi, layanan, atau perangkat IoT. Misalnya, aplikasi SaaS dapat memublikasikan feed peristiwa real-time. Atau, sensor residensial dapat melakukan streaming data ke Pub/Sub untuk digunakan di produk Google Cloud lain melalui pipeline pemrosesan data.
  • Memperbarui cache terdistribusi. Misalnya, aplikasi dapat memublikasikan peristiwa invalidasi untuk memperbarui ID objek yang telah berubah.
  • Load balancing untuk keandalan. Misalnya, instance layanan dapat di-deploy di Compute Engine di beberapa zona, tetapi berlangganan ke topik umum. Jika layanan gagal di zona mana pun, zona lainnya dapat mengambil alih beban secara otomatis.

Membandingkan Pub/Sub dengan teknologi pesan lainnya

Pub/Sub menggabungkan skalabilitas horizontal Apache Kafka dan Pulsar dengan fitur yang ada di middleware pesan seperti Apache ActiveMQ dan RabbitMQ. Contoh fitur tersebut adalah antrean pesan yang tidak terkirim dan pemfilteran.

Fitur lain yang diadopsi Pub/Sub dari middleware pesan adalah paralelisme per pesan, bukan pesan berbasis partisi. Pub/Sub "menyewakan" setiap pesan kepada klien pelanggan, lalu melacak apakah pesan tertentu berhasil diproses.

Sebaliknya, sistem pesan lain yang dapat diskalakan secara horizontal menggunakan partisi untuk penskalaan horizontal. Hal ini memaksa pelanggan untuk memproses pesan di setiap partisi secara berurutan dan membatasi jumlah klien serentak hingga jumlah partisi. Pemrosesan per pesan memaksimalkan paralelisme aplikasi pelanggan, dan membantu memastikan independensi penerbit dan pelanggan.

Membandingkan komunikasi layanan ke layanan dan layanan ke klien

Pub/Sub ditujukan untuk komunikasi layanan ke layanan, bukan komunikasi dengan pengguna akhir atau klien IoT. Pola lainnya didukung lebih baik oleh produk lain:

Anda dapat menggunakan kombinasi layanan ini untuk membangun pola klien -> layanan -> database. Misalnya, lihat tutorial Melakukan streaming pesan Pub/Sub melalui WebSockets.

Integrasi

Pub/Sub memiliki banyak integrasi dengan produk Google Cloud lain untuk membuat sistem pesan yang kaya fitur:

  • Pemrosesan streaming dan integrasi data. Didukung oleh Dataflow, termasuk template dan SQL Dataflow, yang memungkinkan pemrosesan dan integrasi data ke BigQuery dan data lake di Cloud Storage. Template Dataflow untuk memindahkan data dari Pub/Sub ke Cloud Storage, BigQuery, dan produk lainnya tersedia di UI Pub/Sub dan Dataflow di konsolGoogle Cloud . Integrasi dengan Apache Spark, terutama saat dikelola dengan Dataproc juga tersedia. Komposisi visual integrasi dan pipeline pemrosesan yang berjalan di Spark + Dataproc dapat dilakukan dengan Data Fusion.
  • Pemantauan, Pemberitahuan, dan Logging. Didukung oleh produk Monitoring dan Logging.
  • Autentikasi dan IAM. Pub/Sub mengandalkan autentikasi OAuth standar yang digunakan oleh produk lain dan mendukung IAM terperinci, sehingga memungkinkan kontrol akses untuk setiap resource. Google Cloud
  • API. Pub/Sub menggunakan teknologi API layanan gRPC dan REST standar bersama dengan library klien untuk beberapa bahasa.
  • Pemicu, notifikasi, dan webhook. Pub/Sub menawarkan pengiriman pesan berbasis push sebagai permintaan POST HTTP ke webhook. Anda dapat menerapkan otomatisasi alur kerja menggunakan Cloud Functions atau produk serverless lainnya.
  • Orkestrasi. Pub/Sub dapat diintegrasikan ke dalam Workflows tanpa server multi-langkah secara deklaratif. Orkestrasi analisis dan big data sering dilakukan dengan Cloud Composer, yang mendukung pemicu Pub/Sub. Anda juga dapat mengintegrasikan Pub/Sub dengan Application Integration (Pratinjau) yang merupakan solusi Integration-Platform-as-a-Service (iPaaS). Integrasi Aplikasi menyediakan pemicu Pub/Sub untuk memicu atau memulai integrasi.
  • Integration Connectors.(Pratinjau) Konektor ini memungkinkan Anda terhubung ke berbagai sumber data. Dengan konektor, layanan Google Cloud dan aplikasi bisnis pihak ketiga diekspos ke integrasi Anda melalui antarmuka standar yang transparan. Untuk Pub/Sub, Anda dapat membuat koneksi Pub/Sub untuk digunakan dalam integrasi Anda.

Langkah berikutnya