Berbagi streaming dengan Pub/Sub

Anda dapat membagikan topik Pub/Sub melalui fitur berbagi BigQuery (sebelumnya Analytics Hub) untuk menyeleksi dan mendistribusikan library data streaming di beberapa batas organisasi internal dan eksternal. Data streaming real-time dibagikan menggunakan listingan dan pertukaran berbagi BigQuery, yang memungkinkan Anda mengategorikan dan mengelompokkan secara logis kumpulan besar topik Pub/Sub serta menyediakan akses dalam skala besar.

Anda dapat membagikan data streaming untuk melakukan hal berikut:

  • Jasa keuangan:
    • Bagikan harga instrumen, penawaran harga, dan pesanan yang berubah dengan cepat secara real time.
    • Mendeteksi pencucian uang dan penipuan pembayaran.
    • Mendukung penghitungan risiko perdagangan.
  • Retail dan barang konsumsi (CPG):
    • Mengelola inventaris toko secara real time.
    • Mempersonalisasi pemasaran dan dukungan pelanggan.
    • Menyesuaikan harga secara dinamis.
    • Pantau saluran media sosial.
    • Mengoptimalkan tata letak toko fisik.
  • Layanan Kesehatan:
    • Mendukung algoritma prediktif untuk memantau pasien dan menganalisis risiko secara real-time.
    • Pantau tanda vital dengan perangkat medis wearable.
    • Secara otomatis mendapatkan, menyusun, menyimpan, dan memproses data dari pasien, profesional kesehatan, dan administrasi fasilitas.
  • Telekomunikasi:
    • Pantau kondisi jaringan dan prediksi kegagalan.
    • Temukan pola perilaku pengguna untuk menemukan lokasi perangkat dan antena dengan lebih baik.

Peran yang diperlukan

Peran untuk berbagi topik Pub/Sub serupa dengan berbagi set data BigQuery:

Arsitektur

Diagram berikut menjelaskan cara publisher dan subscriber resource Pub/Sub berinteraksi dengan berbagi BigQuery:

Alur kerja yang menggambarkan interaksi antara penerbit topik bersama dan berbagi BigQuery.
Gambar 1. Alur kerja penerbit dan pelanggan topik bersama dengan topik Pub/Sub.

Topik yang dibagikan

Topik bersama adalah unit untuk membagikan topik Pub/Sub di berbagi BigQuery. Sebagai penerbit topik bersama, Anda membuat atau menggunakan topik Pub/Sub yang ada untuk mendistribusikan data pesan ke subscriber. Berbagi BigQuery tidak mereplikasi topik Pub/Sub sumber.

Listingan

Listingan dibuat saat penayang menambahkan topik bersama ke pertukaran. Referensinya adalah topik yang dibagikan.

Pertukaran

Pertukaran adalah pengelompokan logis listingan yang mereferensikan topik bersama.

Langganan Pub/Sub tertaut

Saat berlangganan listingan dengan topik bersama, langganan Pub/Sub tertaut akan dibuat di project pelanggan topik bersama. Project penayang topik bersama juga merepresentasikan langganan Pub/Sub sebagai langganan Pub/Sub dan langganan listingan Berbagi.

Batasan

Berbagi aliran dengan Pub/Sub memiliki batasan berikut:

  • Topik bersama mendukung maksimum 10.000 langganan Pub/Sub. Batas ini mencakup langganan Pub/Sub tertaut dan langganan Pub/Sub yang dibuat di luar fitur Berbagi, misalnya, langganan yang dibuat langsung dari Pub/Sub.

  • Topik bersama diindeks di Data Catalog (tidak digunakan lagi) dan Dataplex Universal Catalog, tetapi Anda tidak dapat memfilter secara khusus untuk jenis resource-nya.

  • Metrik penggunaan dicatat dan ditampilkan di dasbor Metrik untuk topik dan langganan Pub/Sub bersama, tetapi tidak tersedia di INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

    Untuk memantau metrik, lihat Memantau Pub/Sub di Cloud Monitoring.

    Metrik ini dapat mencakup:

    • Jumlah pesan publikasi
    • Publikasikan permintaan
    • Throughput publikasi dalam byte
    • 5 langganan teratas
    • Byte yang diserap
    • Lainnya

Mengaktifkan Analytics Hub API

Untuk mengaktifkan Analytics Hub API, lakukan tindakan berikut:

Konsol

Buka library API dan aktifkan Analytics Hub API untuk Google Cloud project Anda.

Mengaktifkan Analytics Hub API

gcloud

Jalankan perintah gcloud services enable:

gcloud services enable analyticshub.googleapis.com

Aktifkan Pub/Sub API

Buka library API dan aktifkan Pub/Sub API untuk Google Cloud project Anda.

Aktifkan Pub/Sub API

Alur kerja penayang topik bersama

Sebagai penayang topik bersama, Anda dapat melakukan hal berikut:

  • Tambahkan topik bersama ke bursa dengan membuat listingan.
  • Perbarui listingan.
  • Menghapus listingan.
  • Membagikan listingan.
  • Mengelola langganan ke listingan Anda.
  • Menghapus pelanggan dari listingan Anda.

Izin penayang tambahan

Untuk melakukan tugas penayang topik bersama, Anda harus memiliki peran Penayang Analytics Hub (roles/analyticshub.publisher) di pertukaran atau listingan. Untuk melihat semua pertukaran data di seluruh project dalam organisasi yang dapat Anda akses, Anda harus memiliki izin resourcemanager.organizations.get.

Selain itu, Anda memerlukan izin pubsub.topics.setIamPolicy pada topik Pub/Sub yang ingin Anda cantumkan. Untuk membagikan topik dengan skema yang dilampirkan, Anda harus memberikan izin pubsub.schemas.get kepada pelanggan yang berbagi BigQuery pada skema yang dilampirkan ke topik. Izin ini memungkinkan pelanggan berbagi BigQuery mengurai pesan dengan benar dari langganan Pub/Sub.

Membuat listingan (untuk menambahkan topik bersama)

Untuk menambahkan topik bersama ke listingan, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Sharing (Analytics Hub).

    Buka Berbagi (Analytics Hub)

    Halaman ini mencantumkan semua pertukaran data yang dapat Anda akses.

  2. Klik nama pertukaran data tempat Anda ingin membuat listingan.

  3. Klik Buat listingan.

  4. Di halaman Buat listingan, pilih "Topik Pub/Sub" dari daftar Jenis resource.

  5. Pilih topik Pub/Sub yang ada dari daftar Topik bersama, atau klik Buat topik.

  6. Di halaman Detail listingan, di kolom Nama tampilan, masukkan nama listingan.

  7. Masukkan detail opsional berikut:

    • Kategori: pilih hingga dua kategori yang paling mewakili listingan Anda. Pelanggan topik bersama dapat memfilter listingan berdasarkan kategori ini.

    • Afinitas data: region atau region yang digunakan penerbit topik bersama untuk memublikasikan data. Informasi ini membantu pelanggan topik bersama meminimalkan atau menghindari biaya traffic keluar jaringan Pub/Sub dengan membaca data dari region yang sama. Untuk mengetahui informasi selengkapnya tentang biaya traffic keluar, lihat Biaya transfer data.

    • Ikon: ikon untuk listingan Anda. Format file PNG dan JPEG didukung. Ikon harus berukuran lebih kecil dari 512 KiB dan memiliki dimensi tidak lebih dari 512 x 512 piksel.

    • Deskripsi: deskripsi singkat tentang listingan Anda. Pelanggan topik bersama dapat menelusuri listingan berdasarkan deskripsi.

    • Keterlihatan Publik: aktifkan keterlihatan publik untuk listingan Anda di katalog berbagi BigQuery. Anda juga harus menetapkan izin untuk listingan. Klik Tindakan untuk pertukaran, lalu klik Tetapkan izin. Beri allUsers atau allAuthenticatedusers peran Pelihat Analytics Hub (roles/analyticshub.viewer). Klik Izinkan Akses Publik.

    • Dokumentasi > Markdown: informasi tambahan, seperti link ke dokumentasi yang relevan dan detail lainnya yang membantu pelanggan topik bersama menggunakan topik Anda.

  8. Di halaman Mencantumkan informasi kontak, masukkan detail opsional berikut:

    • Kontak utama: masukkan alamat email atau URL untuk kontak utama listingan.

    • Kontak permintaan akses: masukkan alamat email atau URL untuk formulir informasi yang dapat digunakan pelanggan topik bersama untuk menghubungi Anda.

    • Provider: perluas bagian Penyedia dan tentukan detail di kolom berikut:

      • Nama penyedia: nama penyedia topik.
      • Kontak utama penyedia: alamat email atau URL untuk kontak utama penyedia topik.

      Pelanggan topik bersama dapat memfilter listingan berdasarkan penyedia data.

    • Publisher: perluas bagian Penayang dan tentukan detail di kolom berikut:

      • Nama penayang: nama penayang topik bersama yang membuat listingan.
      • Kontak utama penayang: alamat email atau URL untuk kontak utama penayang topik bersama.

  9. Tinjau halaman Pratinjau listingan.

  10. Klik Publikasikan.

API

Gunakan metode projects.locations.dataExchanges.listings.create.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings?listingId=LISTING_ID

Ganti kode berikut:

  • PROJECT_ID: project ID yang berisi pertukaran data tempat Anda ingin membuat listingan.
  • LOCATION: lokasi untuk pertukaran data Anda. Untuk mengetahui informasi selengkapnya tentang lokasi yang mendukung Berbagi, lihat Wilayah yang didukung.
  • DATAEXCHANGE_ID: ID pertukaran data.
  • LISTING_ID: ID listingan.

Dalam isi permintaan, berikan detail listingan. Jika permintaan berhasil, isi respons akan berisi detail listingan.

Untuk mengetahui informasi selengkapnya tentang tugas yang dapat Anda lakukan pada listingan menggunakan API, lihat metode projects.locations.dataExchanges.listings.

Memperbarui listingan

Untuk memperbarui listingan, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Sharing (Analytics Hub).

    Buka Berbagi (Analytics Hub)

  2. Klik nama pertukaran data yang berisi listingan.

  3. Klik listingan yang ingin diperbarui.

  4. Klik Edit listingan.

  5. Ubah nilai kolom. Anda dapat mengubah semua nilai kecuali topik bersama listingan.

  6. Untuk menyimpan perubahan, klik Publikasikan.

API

Gunakan metode projects.locations.dataExchanges.listings.patch.

PATCH https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID?updateMask=UPDATEMASK

Ganti kode berikut:

  • PROJECT_ID: project ID yang berisi pertukaran data tempat Anda ingin membuat listingan.
  • LOCATION: lokasi untuk pertukaran data Anda. Untuk informasi selengkapnya tentang lokasi yang mendukung Berbagi, lihat Wilayah yang didukung.
  • DATAEXCHANGE_ID: ID pertukaran data.
  • LISTING_ID: ID listingan.
  • UPDATEMASK: daftar kolom yang ingin Anda perbarui. Untuk memperbarui beberapa nilai, gunakan daftar yang dipisahkan koma.

Dalam isi permintaan, tentukan nilai yang diperbarui.

Untuk mengetahui informasi selengkapnya tentang tugas yang dapat Anda lakukan pada listingan menggunakan API, lihat metode projects.locations.dataExchanges.listings.

Menghapus listingan

Anda tidak dapat menghapus listingan dengan topik Pub/Sub bersama yang memiliki langganan aktif. Mencabut semua langganan aktif sebelum mencoba menghapus listingan topik bersama. Anda tidak dapat mengurungkan penghapusan listingan.

Untuk menghapus listingan, pilih salah satu opsi berikut:

Konsol

  1. Buka halaman Sharing (Analytics Hub).

    Buka Berbagi (Analytics Hub)

  2. Klik nama pertukaran data yang berisi listingan.

  3. Klik listingan yang ingin dihapus.

  4. Klik Delete.

  5. Pada dialog Hapus listingan?, konfirmasi penghapusan dengan mengetik delete.

  6. Klik Hapus.

API

Gunakan metode projects.locations.dataExchanges.listings.delete.

DELETE https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID

Ganti kode berikut:

  • PROJECT_ID: project ID yang berisi pertukaran data tempat Anda ingin membuat listingan.
  • LOCATION: lokasi untuk pertukaran data Anda. Untuk informasi selengkapnya tentang lokasi yang mendukung Berbagi, lihat Wilayah yang didukung.
  • DATAEXCHANGE_ID: ID pertukaran data.
  • LISTING_ID: ID listingan.

Untuk mengetahui informasi selengkapnya tentang tugas yang dapat Anda lakukan pada listingan menggunakan API, lihat metode projects.locations.dataExchanges.listings.

Membagikan listingan

Untuk memberi pengguna akses ke listingan pribadi, tetapkan kebijakan IAM untuk individu atau grup untuk listingan tersebut. Untuk listingan komersial, pertukaran data Anda harus bersifat publik. Listingan di pertukaran data publik muncul di Berbagi untuk semua Google Cloud pengguna (allAuthenticatedUsers). Agar pengguna dapat meminta akses untuk listingan komersial, beri mereka peran Pelihat Analytics Hub (roles/analyticshub.viewer).

Untuk memberikan akses kepada pengguna agar dapat melihat atau berlangganan listingan Anda, lakukan hal berikut:

  1. Buka halaman Sharing (Analytics Hub).

    Buka Berbagi (Analytics Hub)

  2. Klik nama pertukaran data yang berisi listingan.

  3. Klik listingan tempat Anda ingin menambahkan pelanggan topik bersama.

  4. Klik Setel izin.

  5. Untuk menambahkan akun utama, klik Tambahkan akun utama.

  6. Di kolom Akun utama baru, tambahkan detail berdasarkan jenis listingan:

    • Untuk listingan pribadi, masukkan alamat email identitas yang ingin Anda beri akses.
    • Untuk listingan publik, tambahkan allAuthenticatedUsers.

  7. Dari menu Pilih peran, pilih Analytics Hub, lalu pilih salah satu peran berikut berdasarkan jenis listingan:

  8. Klik Simpan.

Untuk mengetahui informasi selengkapnya, lihat peran Pelanggan dan Pelihat Analytics Hub.

Kelola langganan

Agar pengguna dapat berlangganan listingan dengan topik bersama, beri mereka peran Pelanggan Analytics Hub (roles/analyticshub.subscriber) dan Pemilik Langganan Analytics Hub (roles/analyticshub.subscriptionOwner) di listingan tertentu:

  1. Buka halaman Sharing (Analytics Hub).

    Buka Berbagi (Analytics Hub)

  2. Klik nama pertukaran data yang berisi listingan yang langganannya ingin Anda kelola.

  3. Klik listingan tempat Anda ingin mencantumkan pelanggan topik bersama.

  4. Klik Setel izin.

  5. Untuk menambahkan akun utama, klik Tambahkan akun utama.

  6. Di kolom Akun utama baru, masukkan nama pengguna atau alamat email pelanggan yang ingin Anda tambahkan.

  7. Untuk Pilih peran, pilih Analytics Hub > Pelanggan Analytics Hub.

  8. Klik Add another role.

  9. Untuk Memilih peran, pilih Analytics Hub > Pemilik Langganan Analytics Hub.

  10. Klik Simpan.

Hapus dan perbarui pelanggan kapan saja dengan mengklik Tetapkan Izin.

Mencabut langganan

Untuk menghapus langganan ke listingan topik bersama dari berbagi BigQuery, pilih salah satu opsi berikut:

Konsol

  1. Untuk mencantumkan pelanggan topik bersama untuk listingan, ikuti petunjuk konsolGoogle Cloud di bagian Melihat semua langganan.

  2. Klik tab Langganan untuk melihat semua langganan ke pertukaran data.

  3. Centang kotak di samping langganan yang ingin dihapus, atau pilih semua langganan.

  4. Di dialog Batalkan langganan?, masukkan revoke untuk mengonfirmasi.

  5. Klik Cabut.

API

Untuk menghapus langganan, gunakan metode projects.locations.subscriptions.revoke.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/subscriptions/SUBSCRIPTION_ID:revoke

Ganti kode berikut:

  • PROJECT_ID: project ID langganan yang ingin Anda hapus.
  • LOCATION: lokasi langganan.
  • SUBSCRIPTION_ID: ID langganan yang ingin Anda hapus.

Saat Anda mencabut langganan dari berbagi BigQuery, pelanggan topik bersama tidak lagi menerima data pesan dari topik bersama. Langganan Pub/Sub dilepaskan dari topik bersama. Jika Anda menghapus langganan langsung dari Pub/Sub, langganan berbagi BigQuery tetap ada dan memerlukan pembersihan.

Alur kerja pelanggan

Sebagai pelanggan berbagi BigQuery, Anda dapat melihat dan berlangganan listingan. Berlangganan listingan topik bersama akan membuat satu langganan Pub/Sub tertaut di project pelanggan. Langganan Pub/Sub terlihat di project penerbit topik bersama.

Izin pelanggan tambahan

Anda harus memiliki peran Pelanggan Analytics Hub (roles/analyticshub.subscriber) yang diberikan di tingkat project, pertukaran, atau listingan untuk melakukan tugas pelanggan.

Berlangganan listingan topik bersama

Untuk berlangganan listingan dengan topik bersama, pilih salah satu opsi berikut:

Konsol

  1. Untuk melihat daftar listingan yang dapat Anda akses, ikuti langkah-langkah di bagian Melihat listingan.

  2. Jelajahi listingan dan klik listingan yang ingin Anda jadikan langganan. Dialog dengan detail listingan akan muncul.

  3. Klik Subscribe untuk membuka dialog Create subscription.

  4. Jika Anda belum mengaktifkan Analytics Hub API di project, pesan error akan muncul beserta link untuk mengaktifkan API. Klik Enable Analytics Hub API.

  5. Pada dialog Create subscription, tentukan detail berikut:

    • ID langganan: tentukan nama langganan yang Anda buat.
    • Jenis pengiriman: pilih cara data pesan dikirim.
    • Durasi retensi pesan: tetapkan durasi retensi pesan.
    • Periode habis masa berlaku: ditetapkan saat langganan berakhir setelah tidak ada aktivitas, jika pernah.
    • Batas waktu konfirmasi: tetapkan waktu batas akhir konfirmasi.
    • Filter langganan: tetapkan sintaksis filter untuk pesan.
    • Pengiriman tepat satu kali: mengaktifkan pengiriman tepat satu kali.
    • Pengurutan pesan: mengaktifkan pengurutan pesan dengan kunci urutan.
    • Penghentian pengiriman: aktifkan penghentian pengiriman.
    • Kebijakan percobaan ulang: tetapkan kebijakan percobaan ulang.

    Untuk mengetahui informasi selengkapnya tentang properti langganan Pub/Sub, lihat properti langganan.

  6. Untuk menyimpan perubahan, klik Buat. Langganan Pub/Sub yang ditautkan akan dibuat di project Anda.

API

Gunakan metode projects.locations.dataExchanges.listings.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Ganti kode berikut:

  • PROJECT_ID: project ID listingan yang ingin Anda jadikan langganan.
  • LOCATION: lokasi untuk listingan yang Anda jadikan langganan.
  • DATAEXCHANGE_ID: ID pertukaran data listingan yang Anda jadikan langganan.
  • LISTING_ID: ID listingan yang ingin Anda jadikan langganan.

Di isi permintaan, tentukan langganan Pub/Sub tempat Anda ingin membuat langganan Pub/Sub tertaut. Jika berhasil, isi respons akan kosong.

Untuk mengetahui informasi selengkapnya tentang langganan Pub/Sub, lihat ringkasan langganan.

Harga

Penerbit topik Pub/Sub tidak dikenai biaya tambahan untuk mencantumkan dan membagikan topik melalui berbagi BigQuery. Penerbit topik bersama dikenai biaya untuk total byte yang ditulis (throughput publikasi) ke topik bersama dan untuk keluar jaringan (jika berlaku). Pelanggan topik bersama dikenai biaya untuk total byte yang dibaca (throughput langganan) dari langganan tertaut dan untuk traffic keluar jaringan (jika berlaku). Untuk mengetahui detail selengkapnya, lihat harga Pub/Sub.

Kontrol Layanan VPC

Untuk topik bersama dari project dengan perimeter Kontrol Layanan VPC, tetapkan aturan ingress dan egress yang sesuai untuk memberikan akses ke penerbit dan pelanggan topik bersama.

Langkah berikutnya