Pengantar berbagi BigQuery

BigQuery sharing (sebelumnya Analytics Hub) adalah platform pertukaran data yang memungkinkan Anda berbagi, menemukan, dan mengakses data secara aman di seluruh batas organisasi tanpa mereplikasi data.

Anda dapat menggunakan BigQuery sharing untuk menemukan set data pihak ketiga dan Google yang telah dikurasi, serta menggabungkannya dengan data internal Anda untuk meningkatkan inisiatif analisis dan machine learning.

Peran Identity and Access Management (IAM) berbagi BigQuery memungkinkan Anda melakukan tugas berbagi BigQuery berikut:

  • Analytics Hub Publisher (roles/analyticshub.publisher): membagikan data kepada jaringan partner Anda atau dalam organisasi Anda sendiri secara real time. Listingan memungkinkan Anda berbagi data tanpa mereplikasi data, dan Anda dapat memonetisasi listingan di Google Cloud Marketplace atau melalui saluran Anda sendiri. Anda dapat membuat katalog sumber data yang siap dianalisis dengan izin terperinci yang memungkinkan Anda mengirimkan data kepada pelanggan yang sah. Anda juga dapat mengelola langganan dan melihat metrik penggunaan untuk listingan Anda.

  • Pelanggan Analytics Hub (roles/analyticshub.subscriber): menemukan data, menggabungkan data yang dibagikan dengan data yang ada, dan menggunakan fitur bawaan BigQuery. Saat Anda berlangganan listingan, set data tertaut atau langganan Pub/Sub tertaut akan dibuat di project Google Cloud Anda. Untuk mengelola langganan, gunakan resource Langganan, yang menyimpan informasi tentang pelanggan dan merepresentasikan hubungan antara penerbit dan pelanggan.

  • Analytics Hub Viewer (roles/analyticshub.viewer): jelajahi pertukaran dan listingan data yang dapat Anda akses untuk dilihat di BigQuery sharing. Jika Anda tidak memiliki izin berlangganan ke listingan, Anda dapat meminta izin dari penayang untuk mengakses data yang dibagikan. Anda dapat menemukan listingan komersial yang terintegrasi dengan Cloud Marketplace di BigQuery sharing dan Cloud Marketplace.

  • Admin Analytics Hub (roles/analyticshub.admin): membuat pertukaran data yang memungkinkan penayang membagikan data, dan memberikan izin kepada penayang dan pelanggan data untuk mengakses pertukaran data ini.

Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi peran Analytics Hub.

Arsitektur

BigQuery sharing dibangun berdasarkan model publikasi dan langganan Google Cloud resource data, yang memungkinkan Anda berbagi data di tempat tanpa replikasi. BigQuery sharing mendukung resource berikut:

  • Set data BigQuery
  • Topik Pub/Sub

Alur kerja publisher

Dalam alur kerja penayang, Anda membuat resource bersama di project, menyusunnya ke dalam listingan dalam pertukaran data, dan memberikan akses kepada pelanggan:

Alur kerja untuk peran Publisher Analytics Hub, yang mencakup resource bersama, pertukaran data, dan listingan.

Bagian berikut menjelaskan komponen dalam alur kerja penayang.

Set data bersama

Set data bersama adalah set data BigQuery yang berfungsi sebagai unit berbagi data di BigQuery sharing. Pemisahan komputasi dan penyimpanan dalam arsitektur BigQuery memungkinkan penayang data membagikan set data kepada beberapa pelanggan tanpa mereplikasi data. Sebagai penayang, Anda dapat membuat atau menggunakan set data BigQuery yang sudah ada di project dengan objek yang didukung berikut:

Set data bersama mendukung keamanan tingkat kolom dan keamanan tingkat baris.

Topik bersama

Topik bersama adalah topik Pub/Sub, yang merupakan unit berbagi data streaming di BigQuery. Sebagai penayang, Anda dapat membuat atau menggunakan topik Pub/Sub yang ada di project Anda dan mendistribusikannya kepada pelanggan.

Pertukaran data

Pertukaran data adalah container yang memungkinkan penayang membagikan listingan data dan memungkinkan pelanggan menjelajah dan meminta akses secara langsung. Pertukaran data berisi listingan yang merujuk pada resource bersama. Publisher dan administrator dapat memberikan akses kepada subscriber di tingkat pertukaran dan listingan, sehingga menghindari pemberian akses secara eksplisit pada resource bersama yang mendasarinya. Saat Anda membuat pertukaran data, Anda dapat menetapkan alamat email kontak utama sehingga pelanggan dapat menghubungi pemilik pertukaran data.

Pertukaran data dapat berupa salah satu jenis berikut:

Peran Admin Analytics Hub memungkinkan Anda membuat beberapa pertukaran data dan mengelola anggota tim yang melakukan tugas BigQuery sharing.

Listingan

Listingan adalah referensi ke resource bersama yang dicantumkan penayang di pertukaran data. Sebagai publisher, Anda dapat membuat listingan dan menentukan deskripsi resource, contoh kueri, contoh data pesan, link dokumentasi, dan petunjuk yang relevan untuk pelanggan. Saat membuat listingan, Anda dapat menetapkan alamat email kontak utama, detail penyedia, dan detail penayang. Untuk mengetahui informasi selengkapnya, lihat Mengelola listingan.

Listingan dapat berupa salah satu jenis berikut, berdasarkan kebijakan IAM yang ditetapkan untuk listingan dan pertukaran data induknya:

  • Listingan pribadi: secara default, listingan bersifat pribadi dan dibagikan langsung kepada pengguna atau grup tertentu. Misalnya, listingan pribadi dapat merujuk pada set data metrik internal yang Anda bagikan kepada tim tertentu dalam organisasi Anda.
  • Listingan publik: dibagikan kepada semua penggunaGoogle Cloud (allAuthenticatedUsers). Listingan dalam pertukaran data publik adalah listingan publik. Listingan ini dapat merujuk ke resource publik gratis atau resource komersial. Jika listingan ditujukan untuk resource komersial, pelanggan dapat meminta akses langsung dari penyedia data atau membeli listingan komersial yang terintegrasi dengan Cloud Marketplace.

Opsi traffic keluar data

Untuk set data bersama BigQuery, opsi traffic keluar data memungkinkan penayang membatasi pelanggan mengekspor data dari set data tertaut.

Penayang dapat mengaktifkan batasan traffic keluar data pada listingan, hasil kueri, atau keduanya. Saat traffic keluar data dibatasi, batasan berikut berlaku:

Saat membuat listingan, Anda dapat menetapkan opsi traffic keluar data yang sesuai.

Alur kerja subscriber

Dalam alur kerja pelanggan, Anda menjelajahi pertukaran data untuk menemukan listingan, berlangganan listingan, dan membuat kueri terkait resource tertaut dalam project Anda:

Alur kerja untuk peran Pelanggan Analytics Hub, yang mencakup resource bersama, pertukaran data, listingan, dan resource tertaut.

Bagian berikut menjelaskan komponen dalam alur kerja pelanggan.

Set data tertaut

Set data tertaut adalah set data BigQuery hanya baca yang berfungsi sebagai penunjuk atau referensi ke set data bersama. Berlangganan listingan akan membuat set data tertaut di project Anda tanpa mereplikasi data. Pelanggan dapat membuat kueri tabel dan tampilan standar secara real time, tetapi mereka tidak dapat menambahkan atau memperbarui objek dalam set data.

Set data tertaut diotorisasi untuk mengakses tabel dan tampilan dalam set data bersama tanpa memerlukan otorisasi IAM tambahan pada set data sumber pokok. Selain tabel dan tampilan standar, set data tertaut mendukung resource yang diotorisasi berikut:

Untuk mengetahui informasi selengkapnya tentang set data tertaut, lihat Melihat dan berlangganan listingan dan pertukaran data.

Langganan Pub/Sub tertaut

Berlangganan listingan dengan topik bersama akan membuat langganan Pub/Sub tertaut di project pelanggan tanpa menduplikasi topik bersama atau data pesan. Pelanggan langganan Pub/Sub yang ditautkan dapat mengakses pesan yang dipublikasikan ke topik bersama tanpa otorisasi IAM tambahan pada topik sumber. Penayang dapat mengelola langganan secara langsung di Pub/Sub atau melalui pengelolaan langganan BigQuery sharing.

Untuk mengetahui informasi selengkapnya tentang langganan Pub/Sub yang ditautkan, lihat artikel Berbagi streaming dengan Pub/Sub.

Contoh kasus penggunaan

Bagian ini memberikan contoh cara menggunakan BigQuery sharing untuk kolaborasi partner dan monetisasi data.

Kolaborasi partner

Misalnya, Anda adalah retailer dan organisasi Anda mengelola data perkiraan permintaan real-time di project Google Cloud bernama Forecasting. Anda ingin membagikan data perkiraan permintaan ini kepada ratusan vendor di jaringan supply chain Anda. Bagian berikut menjelaskan cara membagikan data di seluruh peran.

Administrator

Sebagai pemilik project Forecasting, Anda mengaktifkan Analytics Hub API dan memberikan peran Admin Analytics Hub (roles/analyticshub.admin) kepada anggota tim yang mengelola pertukaran data. Akun utama dengan peran ini adalah administrator BigQuery sharing.

Administrator BigQuery sharing dapat melakukan tugas berikut:

  • Membuat, memperbarui, menghapus, dan membagikan pertukaran data di project Forecasting organisasi Anda.
  • Mengelola administrator BigQuery sharing lainnya dengan peran Admin Analytics Hub.
  • Mengelola publisher berbagi BigQuery dengan memberikan peran Publisher Analytics Hub (roles/analyticshub.publisher) kepada karyawan. Jika karyawan hanya perlu memperbarui, menghapus, dan membagikan listingan tanpa membuatnya, berikan peran Admin Listingan Analytics Hub (roles/analyticshub.listingAdmin).
  • Kelola subscriber BigQuery sharing dengan memberikan peran Subscriber Analytics Hub (roles/analyticshub.subscriber) kepada Grup Google yang terdiri dari semua vendor. Jika vendor hanya perlu melihat listingan dan pertukaran yang tersedia tanpa berlangganan, berikan peran Pelihat Analytics Hub (roles/analyticshub.viewer).

Untuk mengetahui informasi selengkapnya, lihat Peran IAM untuk BigQuery sharing dan Mengelola pertukaran data.

Penayang

Dalam skenario ini, penerbit data mengemas set data rantai pasokan ke dalam listingan terpisah untuk memenuhi kebutuhan vendor. Publisher membuat listingan berikut di project Forecasting:

  • Listingan A: Set Data Perkiraan Permintaan 1
  • Listingan B: Set Data Perkiraan Permintaan 2
  • Listingan C: Set Data Perkiraan Permintaan 3

Penayang dapat melacak metrik penggunaan untuk set data bersama mereka, termasuk detail berikut:

  • Tugas yang dijalankan pada set data bersama.
  • Detail konsumsi menurut project dan organisasi pelanggan.
  • Total baris dan byte yang diproses.

Untuk mengetahui informasi selengkapnya, lihat Mengelola listingan.

Pelanggan

Subscriber menjelajahi listingan yang dapat mereka akses dalam pertukaran data. Vendor berlangganan listingan ini untuk menambahkan set data ke project mereka sebagai set data tertaut. Vendor kemudian dapat menjalankan kueri pada set data tertaut ini dan mengambil hasil perkiraan secara real time.

Untuk mengetahui informasi selengkapnya, lihat Melihat dan berlangganan listingan dan pertukaran data.

Monetisasi data

Misalkan Anda adalah penyedia data keuangan dengan set data harga saham historis yang dikurasi dalam project Google Cloud bernama MarketDataSource. Anda ingin memonetisasi data ini dengan menawarkannya kepada lembaga keuangan dan trader eksternal. Bagian berikut menjelaskan cara memonetisasi data melalui BigQuery sharing.

Administrator

Sebagai pemilik project MarketDataSource, Anda mengaktifkan Analytics Hub API dan Cloud Marketplace API, lalu memberikan peran Admin Analytics Hub (roles/analyticshub.admin) kepada tim yang mengelola pertukaran komersial. Akun utama dengan peran ini adalah administrator berbagi BigQuery.

Administrator BigQuery sharing dapat melakukan tugas berikut:

  • Buat pertukaran data publik dan integrasikan dengan Cloud Marketplace.
  • Kelola penayang BigQuery sharing dengan memberikan peran Penayang Analytics Hub (roles/analyticshub.publisher) kepada data engineer yang bertanggung jawab untuk membuat listingan komersial. Jika karyawan hanya perlu memperbarui, menghapus, dan membagikan listingan tanpa membuatnya, berikan peran Admin Listingan Analytics Hub (roles/analyticshub.listingAdmin).
  • Mengelola persyaratan komersial dan model harga di Cloud Marketplace.

Untuk mengetahui informasi selengkapnya, lihat Mengelola pertukaran data dan Listingan komersial yang terintegrasi dengan Cloud Marketplace.

Penayang

Dalam skenario ini, penayang mengemas produk data keuangan ke dalam listingan bertingkat berdasarkan model langganan. Penayang membuat listingan berikut:

  • Listingan A: Harga Ekuitas Global (Langganan Bulanan)
  • Listingan B: Sinyal Pasar Real-time (Langganan Tahunan)
  • Listingan C: Indikator Ekonomi Historis (Uji Coba Gratis)

Penayang dapat melacak metrik penggunaan untuk set data bersama mereka, termasuk detail berikut:

  • Tugas yang dijalankan pada set data bersama.
  • Detail konsumsi menurut project dan organisasi pelanggan.
  • Total baris dan byte yang diproses.

Untuk mengetahui informasi selengkapnya, lihat Mengelola listingan.

Pelanggan

Pelanggan menjelajahi listingan di BigQuery sharing atau langsung di Cloud Marketplace. Setelah membeli langganan, pelanggan membuat set data tertaut di project Google Cloud mereka dan mengkueri data historis bersama model perdagangan eksklusif tanpa penyerapan data manual atau replikasi file.

Untuk mengetahui informasi selengkapnya, lihat Melihat dan berlangganan listingan dan pertukaran data.

Harga

Tidak ada biaya tambahan untuk mengelola listingan atau pertukaran data di BigQuery sharing.

Tabel berikut merangkum model harga untuk resource yang didukung:

Resource Biaya penayang Biaya subscriber Informasi selengkapnya
Set data BigQuery Penyimpanan data Kueri yang dijalankan terhadap data yang dibagikan (harga on-demand atau kapasitas) Harga BigQuery
Topik Pub/Sub Data yang ditulis (throughput publikasi) dan traffic keluar jaringan (jika ada) Pembacaan data (throughput langganan) dan traffic keluar jaringan (jika berlaku) Harga Pub/Sub

Region yang didukung

BigQuery sharing didukung di region dan multi-region berikut:

Region

Tabel berikut mencantumkan region di Amerika tempat fitur berbagi tersedia.
Deskripsi region Nama region Detail
Columbus, Ohio us-east5
Dallas us-south1 ikon daun CO Rendah2
Iowa us-central1 ikon daun CO2 Rendah
Las Vegas us-west4
Los Angeles us-west2
Meksiko northamerica-south1
Montréal northamerica-northeast1 ikon daun CO2 Rendah
Northern Virginia us-east4
Oklahoma us-central2 ikon daun CO2 Rendah
Oregon us-west1 ikon daun CO2 Rendah
Salt Lake City us-west3
Sao Paulo southamerica-east1 ikon daun CO Rendah2
Santiago southamerica-west1
South Carolina us-east1
Toronto northamerica-northeast2
Tabel berikut mencantumkan region di Asia Pasifik tempat fitur berbagi tersedia.
Deskripsi region Nama region Detail
Delhi asia-south2
Hong Kong asia-east2
Jakarta asia-southeast2
Melbourne australia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seoul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tokyo asia-northeast1
Tabel berikut mencantumkan region di Eropa tempat fitur berbagi tersedia.
Deskripsi region Nama region Detail
Belgia europe-west1 ikon daun CO Rendah2
Berlin europe-west10
Finlandia europe-north1 ikon daun CO Rendah2
Frankfurt europe-west3
London europe-west2 ikon daun CO Rendah2
Madrid europe-southwest1 ikon daun CO Rendah2
Milan europe-west8
Belanda europe-west4 ikon daun CO2 rendah
Paris europe-west9 ikon daun CO2 Rendah
Turin europe-west12
Warsawa europe-central2
Zürich europe-west6 ikon daun CO2 rendah
Tabel berikut mencantumkan region di Timur Tengah tempat fitur berbagi tersedia.
Deskripsi region Nama region Detail
Dammam me-central2
Doha me-central1
Tel Aviv me-west1
Tabel berikut mencantumkan region di Afrika tempat fitur berbagi tersedia.
Deskripsi region Nama region Detail
Johannesburg africa-south1

Multi-region

Tabel berikut mencantumkan multi-region tempat fitur berbagi tersedia.
Deskripsi multi-region Nama multi-region
Pusat data di negara anggota Uni Eropa1 EU
Pusat data di Amerika Serikat US

1 Data yang berada di multi-region EU tidak disimpan di pusat data europe-west2 (London) atau europe-west6 (Zürich).

Region Omni

Tabel berikut mencantumkan Omni tempat berbagi tersedia.
Deskripsi region Omni Nama region Omni
AWS
AWS - AS Timur (N. Utara) aws-us-east-1
AWS - AS Barat (Oregon) aws-us-west-2
AWS - Asia Pasifik (Seoul) aws-ap-northeast-2
AWS - Asia Pasifik (Sydney) aws-ap-southeast-2
AWS - Eropa (Irlandia) aws-eu-west-1
AWS - Eropa (Frankfurt) aws-eu-central-1
Azure
Azure - AS Timur 2 azure-eastus2

Kuota

Untuk mengetahui informasi tentang kuota dan batas resource berbagi BigQuery, lihat Kuota dan batas.

Kepatuhan

Fitur berbagi BigQuery, sebagai bagian dari BigQuery, mematuhi program kepatuhan berikut:

Batasan

Bagian berikut menjelaskan batasan operasional dan interoperabilitas untuk berbagi BigQuery.

Batasan resource umum

Batasan resource umum berikut berlaku untuk BigQuery sharing:

  • Set data bersama dapat memiliki maksimum 1.000 set data tertaut.
  • Topik bersama dapat memiliki maksimum 10.000 langganan Pub/Sub. Batas ini mencakup langganan Pub/Sub yang ditautkan dan langganan yang dibuat langsung di Pub/Sub.
  • Set data dengan resource yang tidak didukung tidak dapat dipilih sebagai set data bersama. Untuk objek yang didukung, lihat Set data bersama.
  • Anda tidak dapat menetapkan peran IAM atau kebijakan IAM pada masing-masing tabel dalam set data tertaut. Terapkan di tingkat set data tertaut.
  • Anda tidak dapat melampirkan tag IAM ke tabel dalam set data tertaut. Sebagai gantinya, terapkan di tingkat set data tertaut.
  • Set data tertaut yang dibuat sebelum 25 Juli 2023 tidak akan diisi ulang oleh resource Langganan. Hanya langganan yang dibuat setelah 25 Juli 2023 yang berfungsi dengan metode API.

Batasan penayang

Jika Anda adalah publisher, batasan interoperabilitas BigQuery berikut berlaku:

  • Anda harus memberikan izin eksplisit kepada pelanggan untuk membaca set data sumber guna membuat kueri tampilan dalam set data tertaut. Sebagai praktik terbaik, buat tabel virtual yang diotorisasi untuk memberi subscriber akses ke data tampilan tanpa memberikan akses ke data sumber pokok.
  • Rencana kueri mengungkapkan definisi kueri tabel virtual bersama dan kueri rutin, termasuk project ID dan set data lain yang terlibat dalam tabel virtual yang diotorisasi. Jangan sertakan informasi sensitif, seperti kunci enkripsi, dalam kueri rutin atau tabel virtual bersama.
  • Set data bersama diindeks di Data Catalog (tidak digunakan lagi) dan Knowledge Catalog. Pembaruan skema pada set data bersama akan segera tersedia untuk pelanggan. Namun, jika ada lebih dari 100 subscriber atau tabel dalam set data bersama, pembaruan mungkin memerlukan waktu hingga 18 jam untuk diindeks. Karena penundaan pengindeksan, pelanggan tidak dapat langsung menelusuri resource yang telah diperbarui di Google Cloud konsol.
  • Topik bersama diindeks di Data Catalog (tidak digunakan lagi) dan Knowledge Catalog, tetapi Anda tidak dapat memfilter secara khusus jenis resource-nya.
  • Jika Anda mengonfigurasi kebijakan keamanan tingkat baris atau penyamaran data pada tabel yang tercantum, pelanggan harus menggunakan edisi Enterprise atau Enterprise Plus untuk menjalankan tugas kueri di set data tertaut. Untuk mengetahui informasi tentang edisi, lihat Pengantar edisi BigQuery.

Batasan subscriber

Jika Anda adalah subscriber, batasan interoperabilitas BigQuery berikut berlaku:

  • Tabel virtual terwujud yang merujuk ke tabel dalam set data tertaut tidak didukung.
  • Pengambilan snapshot tabel set data tertaut tidak didukung.
  • Kueri dengan set data tertaut dan pernyataan JOIN yang melebihi 1 TB (penyimpanan fisik) mungkin gagal. Jika Anda mengalami masalah ini, hubungi dukungan.
  • Anda tidak dapat menggunakan penentu region dengan tampilan INFORMATION_SCHEMA untuk melihat metadata untuk set data tertaut.

Batasan listingan multi-region

Batasan berikut berlaku untuk listingan yang mencakup beberapa wilayah:

  • Listingan untuk beberapa wilayah hanya didukung untuk set data bersama dan replika set data tertaut. Listingan untuk beberapa wilayah tidak didukung untuk topik atau langganan Pub/Sub bersama.
  • Listingan untuk beberapa wilayah tidak didukung di ruang bersih data.
  • Cantuman untuk beberapa region tidak didukung di region BigQuery Omni.

Batasan metrik penggunaan

Batasan berikut berlaku untuk metrik penggunaan:

  • Anda tidak bisa mendapatkan metrik penggunaan untuk listingan yang dilanggan sebelum 20 Juli 2023.
  • Metrik penggunaan tabel eksternal untuk kolom num_rows_processed dan total_bytes_processed mungkin berisi data yang tidak akurat.

  • Metrik penggunaan konsumsi hanya didukung untuk penggunaan dengan tugas BigQuery. Resource berikut tidak mendukung metrik konsumsi:

  • Metrik penggunaan untuk tampilan hanya diisi untuk kueri setelah 22 April 2024.

  • Metrik penggunaan tidak dicatat untuk langganan Pub/Sub tertaut di BigQuery. Anda dapat melihat penggunaan langsung di Pub/Sub.

  • Prosedur tersimpan SQL tidak tersedia di dasbor metrik penggunaan BigQuery sharing. Anda dapat melihat detail di tampilan INFORMATION_SCHEMA.ROUTINES, tetapi tidak di tampilan INFORMATION_SCHEMA.SHARED_DATASET_USAGE. Untuk mengetahui informasi selengkapnya, lihat Menggunakan tampilan INFORMATION_SCHEMA.

Batasan Kontrol Layanan VPC dan Salesforce Data 360

Batasan berikut berlaku untuk Kontrol Layanan VPC dan Salesforce Data 360:

  • Jangan memublikasikan data yang dibagikan atau menghosting pertukaran data di project dalam perimeter Kontrol Layanan VPC, kecuali jika Anda mengonfigurasi aturan ingress dan egress yang sesuai untuk project penayang, project pertukaran, dan project pelanggan. Untuk mengetahui informasi selengkapnya, lihat Berbagi aturan Kontrol Layanan VPC.
  • Data 360 dibagikan sebagai tampilan. Sebagai pelanggan, Anda tidak dapat mengakses tabel pokok yang dirujuk tampilan.

Langkah berikutnya