Melihat dan berlangganan listingan dan pertukaran data

Di BigQuery sharing (sebelumnya Analytics Hub), Anda dapat menemukan dan berlangganan listingan dan pertukaran data untuk membuat kueri data yang dibagikan secara langsung di BigQuery tanpa mereplikasi data atau menimbulkan biaya penyimpanan. Berlangganan akan membuat set data tertaut hanya baca di project Anda yang memungkinkan Anda menganalisis tabel dan tampilan bersama di samping resource yang ada.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk menggunakan listingan, minta administrator untuk memberi Anda peran IAM berikut:

• Menemukan listingan dan pertukaran data: Viewer Analytics Hub (roles/analyticshub.viewer) di project pelanggan
• Berlangganan listingan:
  • Pengguna BigQuery (roles/bigquery.user) di project pelanggan
  • Pelanggan Analytics Hub (roles/analyticshub.subscriber) di listingan, pertukaran, atau project penayang
• Berlangganan pertukaran data:
  • Pengguna BigQuery (roles/bigquery.user) di project pelanggan
  • Pelanggan Analytics Hub (roles/analyticshub.subscriber) di ruang bersih data
  • Peran Pemilik Langganan Analytics Hub (roles/analyticshub.subscriptionOwner) di project tujuan
• Melihat dan membuat kueri set data tertaut: BigQuery Data Viewer (roles/bigquery.dataViewer) di project pelanggan
• Melihat metadata tabel: BigQuery Data Viewer (roles/bigquery.dataViewer) di project pelanggan
• Memperbarui set data tertaut: Pemilik Data BigQuery (roles/bigquery.dataOwner) di project pelanggan
• Menghapus set data tertaut: Admin BigQuery (roles/bigquery.admin) di project pelanggan

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan listingan. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan listingan:

• Membuat set data baru: bigquery.datasets.create di project pelanggan
• Set data kueri: bigquery.jobs.create di project pelanggan

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menemukan listingan

Untuk menemukan listingan publik dan pribadi, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman Berbagi (Analytics Hub).

   Buka Berbagi (Analytics Hub)

2. Klik Telusuri listingan. Dialog yang berisi listingan yang dapat Anda akses akan muncul.

3. Untuk memfilter listingan menurut nama atau deskripsi, masukkan teks di kolom Telusuri listingan.

4. Di bagian Filter, filter listingan menggunakan kolom berikut:

   • Listingan: pilih apakah Anda ingin melihat listingan pribadi, listingan publik listingan, atau listingan dalam organisasi Anda.

   • Kategori: pilih satu atau beberapa kategori.

   • Lokasi: pilih lokasi. Anda hanya dapat menelusuri berdasarkan lokasi pertukaran data. Untuk mengetahui informasi selengkapnya, lihat Region yang didukung.

   • Penyedia: pilih penyedia data. Beberapa penyedia data mewajibkan Anda untuk meminta akses ke set data komersial mereka. Setelah Anda meminta akses, penyedia data akan menghubungi Anda untuk membagikan set data mereka.

5. Jelajahi listingan yang difilter.

Menemukan pertukaran data

Untuk menemukan pertukaran data, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman Berbagi (Analytics Hub).

   Buka Berbagi (Analytics Hub)

2. Klik Telusuri listingan. Dialog yang berisi listingan dan pertukaran data yang dapat Anda langgani akan muncul.

3. Untuk memfilter pertukaran data menurut nama atau deskripsi, masukkan teks di kolom Telusuri listingan.

4. Di bagian Filter, filter pertukaran ruang bersih data menggunakan kolom berikut:

   • Listingan: centang kotak Ruang bersih untuk melihat ruang bersih bersama.

   • Kategori: pilih satu atau beberapa kategori.

   • Lokasi: pilih lokasi. Anda hanya dapat menelusuri berdasarkan lokasi pertukaran data. Untuk mengetahui informasi selengkapnya, lihat Region yang didukung.

5. Jelajahi ruang bersih data yang difilter.

Berlangganan listingan

Berlangganan listingan memberi Anda akses hanya baca ke data dalam listingan dengan membuat set data tertaut di project.

Perhatian: Hindari menempatkan data di project yang berada dalam perimeter Kontrol Layanan VPC. Jika project Anda berada dalam perimeter, tambahkan aturan traffic masuk dan keluar yang sesuai.

Untuk berlangganan listingan, ikuti langkah-langkah berikut:

Konsol

1. Untuk melihat daftar listingan yang dapat Anda akses, ikuti langkah-langkah di bagian Menemukan listingan.

2. Dalam daftar listingan, klik listingan yang ingin Anda langgani. Dialog yang berisi detail listingan akan muncul. Dialog tersebut menunjukkan apakah penyedia mengaktifkan logging email pelanggan dan mencantumkan region tempat listingan tersedia.

3. Jika listingan memerlukan persetujuan atau pembelian (seperti set data komersial), klik Minta akses atau Beli melalui Marketplace. Jika tidak, klik Berlangganan untuk membuka dialog Buat set data tertaut.

4. Jika Analytics Hub API tidak diaktifkan di project Anda, klik Aktifkan Analytics Hub API di pesan yang muncul.

5. Pada dialog Buat set data tertaut, tentukan detail berikut:

   • Project: masukkan nama project tempat Anda ingin menambahkan set data.
   • Nama set data tertaut: masukkan nama untuk set data tertaut.

   • Region utama: pilih region tempat Anda ingin membuat set data tertaut.

     Catatan: Region utama tidak harus cocok dengan region utama penyedia. Anda dapat menempatkan set data tertaut di region penyedia untuk meminimalkan latensi replikasi.

   • Opsional: Region replika: pilih region tempat Anda ingin membuat replika set data tertaut. Menempatkan set data tertaut bersama data lain akan meminimalkan traffic keluar dan memfasilitasi gabungan lintas set data. Untuk membuat replika, Anda harus memiliki izin bigquery.datasets.update pada set data tertaut.

   Catatan: Sistem mencoba membuat replika set data tertaut, tetapi jika izin bigquery.datasets.update tidak ada di set data tertaut, replika tidak akan dibuat.

6. Untuk membuat set data tertaut, klik Simpan.

API

Untuk berlangganan listingan, panggil metode projects.locations.dataExchanges.listings.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Ganti kode berikut:

• PROJECT_ID: Google Cloud project ID project yang berisi listingan yang ingin Anda langgani.
• LOCATION: lokasi listingan.
• DATAEXCHANGE_ID: ID pertukaran data listingan.
• LISTING_ID: ID listingan yang ingin Anda langgani.
• SUBSCRIBER_PROJECT_ID: ID Google Cloud project project pelanggan tempat Anda ingin membuat set data tertaut.
• LINKED_DATASET_ID: ID yang ingin Anda berikan ke set data tertaut.
• PRIMARY_REGION: region geografis utama tempat Anda ingin membuat set data tertaut.

Dalam isi permintaan, tentukan set data tempat Anda ingin membuat set data tertaut:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Untuk membuat langganan dengan replika set data tertaut di beberapa region, tentukan region utama di kolom location. Untuk menentukan region replika sekunder, tambahkan region ke kolom destinationDataset.replica_locations. Pastikan semua region yang ditentukan adalah region tempat listingan tersedia.

Catatan: Sistem mencoba membuat replika set data tertaut, tetapi jika izin bigquery.datasets.update tidak ada di set data tertaut, replika tidak akan dibuat.

Jika permintaan berhasil, isi respons akan berisi objek langganan.

Jika Anda mengaktifkan logging email pelanggan untuk pertukaran data atau listingan dengan kolom logLinkedDatasetQueryUserEmail, respons langganan akan berisi log_linked_dataset_query_user_email: true. Data yang dicatat tersedia di kolom job_principal_subject dari INFORMATION_SCHEMA.SHARED_DATASET_USAGE tampilan.

Jika Anda mengaktifkan berbagi prosedur tersimpan (Pratinjau), respons listingan akan berisi stored_procedure_config: true.

Catatan: Untuk menjalankan prosedur tersimpan bersama di set data tertaut, Anda harus mengotorisasi prosedur tersimpan bersama untuk mengakses resource di project Anda.

Berlangganan pertukaran data

Berlangganan pertukaran data memberi Anda akses hanya baca ke data dalam pertukaran data dengan membuat set data tertaut di project Anda.

Untuk berlangganan pertukaran ruang bersih data, ikuti langkah-langkah berikut:

Konsol

1. Untuk melihat daftar pertukaran ruang bersih data yang dapat Anda akses, ikuti langkah-langkah di bagian Menemukan pertukaran data.

2. Dalam daftar ruang bersih data, klik pertukaran ruang bersih data yang ingin Anda langgani. Dialog yang berisi detail pertukaran ruang bersih data akan muncul.

3. Klik Berlangganan untuk membuka dialog Tambahkan ruang bersih data ke project.

4. Jika Analytics Hub API tidak diaktifkan di project Anda, klik Aktifkan Analytics Hub API di pesan yang muncul.

5. Pada dialog Tambahkan ruang bersih data ke project, tentukan detail berikut:

   • Tujuan: masukkan nama project tempat Anda ingin menambahkan set data.

6. Untuk membuat set data tertaut, klik Simpan.

API

Untuk berlangganan pertukaran ruang bersih data, panggil metode projects.locations.dataExchanges.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Ganti kode berikut:

• PROJECT_ID: Google Cloud project ID project yang berisi pertukaran data yang ingin Anda langgani.
• LOCATION: lokasi pertukaran data.
• DATAEXCHANGE_ID: ID pertukaran data.
• SUBSCRIBER_PROJECT_ID: ID Google Cloud project project pelanggan tempat Anda ingin membuat set data tertaut.
• SUBSCRIPTION_ID: nama langganan yang akan dibuat.
• LINKED_DATASET_ID: ID yang ingin Anda berikan ke set data tertaut.
• PRIMARY_REGION: region geografis utama tempat Anda ingin membuat set data tertaut.

Dalam isi permintaan, tentukan lokasi tujuan, nama langganan, dan set data tempat Anda ingin membuat set data tertaut:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Jika permintaan berhasil, isi respons akan berisi objek operasi. Jika Anda telah mengaktifkan logging email pelanggan untuk pertukaran data, respons langganan akan berisi log_linked_dataset_query_user_email: true.

Melihat set data tertaut

Set data tertaut ditampilkan bersama set data lain di Google Cloud konsol.

Untuk melihat set data tertaut di project Anda, ikuti langkah-langkah berikut:

Konsol

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Classic Explorer, klik kategori Classic Explorer:

   

   Jika panel Classic Explorer tidak terlihat, klik Luaskan panel kiri untuk membuka panel.

3. Di panel Classic Explorer, klik nama project yang berisi set data tertaut .

Atau, Anda dapat menelusuri dan melihat set data tertaut dengan Knowledge Catalog. Untuk mencocokkan semua set data tertaut BigQuery sharing dalam kueri penelusuran, gunakan predikat type=dataset.linked. Untuk mengetahui informasi selengkapnya, lihat sintaksis penelusuran Knowledge Catalog.

Cloud Shell

Untuk mencantumkan set data tertaut di project Anda menggunakan alat command line bq, jalankan perintah berikut di Cloud Shell:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Ganti PROJECT_ID dengan Google Cloud project ID Anda.

Catatan: Jika penayang menghapus langganan, halaman detail set data tertaut akan menunjukkan bahwa set data tidak tertaut. Karena Anda tidak dapat mengkueri set data yang tidak tertaut, Anda dapat menghapus set data yang tidak tertaut.

Membuat kueri set data tertaut

Anda dapat mengkueri tabel dan tampilan di set data tertaut dengan cara yang sama seperti menjalankan kueri pada tabel BigQuery lainnya.

Untuk mengkueri tabel di set data tertaut, jalankan kueri SELECT yang mereferensikan project ID, ID set data tertaut, dan nama tabel:

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

Ganti kode berikut:

• PROJECT_ID: project ID Anda Google Cloud .
• LINKED_DATASET_ID: ID set data tertaut.
• TABLE_NAME: nama tabel atau tampilan yang ingin Anda kueri.

Untuk mengetahui informasi selengkapnya, lihat Menjalankan kueri interaktif.

Memperbarui set data tertaut

Resource dalam set data tertaut bersifat hanya baca. Anda tidak dapat mengedit data atau metadata untuk resource dalam set data tertaut, atau menentukan izin untuk setiap resource.

Anda hanya dapat memperbarui deskripsi dan label set data tertaut. Perubahan pada set data tertaut tidak memengaruhi sumber atau set data bersama.

Untuk memperbarui deskripsi dan label dari set data tertaut, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, klik Explorer:

   

3. Di panel Explorer, luaskan nama project Anda, klik Set data, dan klik nama set data tertaut untuk membukanya.

4. Di panel detail, klik Edit detail dan konfigurasi opsi berikut:

   1. Untuk menambahkan label, lihat Menambahkan label ke set data.

   2. Untuk mengaktifkan kolasi, luaskan Opsi lanjutan dan ikuti langkah-langkah berikut:

      1. Pilih Aktifkan kolasi default.
      2. Dalam daftar Kolasi default, pilih salah satu opsi.

5. Untuk menyimpan perubahan, klik Simpan.

Melihat metadata tabel

Untuk melihat metadata tabel untuk set data tertaut, buat kueri tampilan INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

Ganti LINKED_DATASET_ID dengan ID set data tertaut Anda.

Catatan: Kueri INFORMATION_SCHEMA berbasis region tidak menampilkan metadata untuk tabel tertaut. Untuk mengetahui informasi selengkapnya tentang tampilan yang tidak didukung, lihat Batasan.

Berhenti berlangganan atau menghapus set data tertaut

Untuk berhenti berlangganan set data, hapus set data tertaut. Menghapus set data tertaut tidak akan menghapus set data sumber.

Anda tidak dapat mengambil set data tertaut setelah Anda menghapusnya. Namun, Anda dapat membuat ulang set data tertaut yang dihapus kapan saja dengan berlangganan listingan lagi.

Jika penayang menghapus langganan Anda, set data tertaut akan dibatalkan tautannya dari set data bersama. Karena ini adalah tindakan yang dimulai penayang pada resource milik pelanggan, set data tertaut akan tetap berada di project Anda dalam status tidak tertaut. Anda dapat menghapus set data yang tidak tertaut dengan menghapusnya.

Untuk menghapus set data tertaut, ikuti langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, klik Explorer:

   

3. Di panel Explorer, luaskan nama project Anda, klik Set data, dan klik nama set data tertaut untuk membukanya.

4. Klik Hapus.

5. Pada dialog Hapus set data tertaut?, konfirmasi penghapusan dengan memasukkan delete.

6. Klik Hapus.

Langkah berikutnya

• Pelajari tentang BigQuery sharing.
• Pelajari cara mengelola listingan .
• Pelajari cara mengelola pertukaran data .
• Pelajari cara me lihat log audit BigQuery sharing.