Melihat dan berlangganan listingan dan pertukaran data

Dalam fitur berbagi BigQuery (sebelumnya Analytics Hub), Anda dapat menemukan dan berlangganan listingan serta pertukaran data untuk mengkueri data yang dibagikan secara langsung di BigQuery tanpa mereplikasi data atau menimbulkan biaya penyimpanan. Berlangganan akan membuat set data tertaut hanya baca di project Anda yang memungkinkan Anda menganalisis tabel dan tampilan bersama bersama resource yang ada.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk menggunakan listingan, minta administrator untuk memberi Anda peran IAM berikut:

• Menemukan listingan dan pertukaran data: Viewer Analytics Hub (roles/analyticshub.viewer) di project pelanggan
• Berlangganan listingan:
  • BigQuery User (roles/bigquery.user) di project pelanggan
  • Pelanggan Analytics Hub (roles/analyticshub.subscriber) di listingan, pertukaran, atau project penayang
• Berlangganan ke pertukaran data:
  • BigQuery User (roles/bigquery.user) di project pelanggan
  • Pelanggan Analytics Hub (roles/analyticshub.subscriber) di ruang bersih data
  • Peran Pemilik Langganan Analytics Hub (roles/analyticshub.subscriptionOwner) di project tujuan
• Melihat dan mengkueri set data tertaut: BigQuery Data Viewer (roles/bigquery.dataViewer) di project pelanggan
• Melihat metadata tabel: BigQuery Data Viewer (roles/bigquery.dataViewer) di project pelanggan
• Memperbarui set data tertaut: BigQuery Data Owner (roles/bigquery.dataOwner) di project pelanggan
• Menghapus set data tertaut: BigQuery Admin (roles/bigquery.admin) di project pelanggan

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan listingan. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan listingan:

• Membuat set data baru: bigquery.datasets.create pada project pelanggan
• Set data kueri: bigquery.jobs.create pada project pelanggan

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Menemukan listingan

Untuk menemukan listingan publik dan pribadi, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Sharing (Analytics Hub).

   Buka Berbagi (Analytics Hub)

2. Klik Search listings. Dialog akan muncul yang berisi listingan yang dapat Anda akses.

3. Untuk memfilter listingan menurut nama atau deskripsi, masukkan teks di kolom Search for listings.

4. Di bagian Filters, filter listingan menggunakan kolom berikut:

   • Listingan: memilih apakah Anda ingin menampilkan listingan pribadi, listingan publik, atau listingan dalam organisasi.

   • Kategori: pilih satu atau beberapa kategori.

   • Lokasi: pilih lokasi. Anda hanya dapat menelusuri berdasarkan lokasi pertukaran data. Untuk mengetahui informasi selengkapnya, lihat Region yang didukung.

   • Penyedia: pilih penyedia data. Beberapa penyedia data mewajibkan Anda untuk meminta akses ke set data komersial mereka. Setelah Anda meminta akses, penyedia data akan menghubungi Anda untuk membagikan set data mereka.

5. Jelajahi listingan yang difilter.

Menemukan pertukaran data

Untuk menemukan pertukaran data, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Sharing (Analytics Hub).

   Buka Berbagi (Analytics Hub)

2. Klik Search listings. Dialog akan muncul yang berisi listingan dan pertukaran data yang dapat Anda berlangganan.

3. Untuk memfilter pertukaran data menurut nama atau deskripsi, masukkan teks di kolom Search for listings.

4. Di bagian Filters, filter pertukaran ruang bersih data menggunakan kolom berikut:

   • Listingan: centang kotak Ruang bersih untuk melihat ruang bersih yang dibagikan.

   • Kategori: pilih satu atau beberapa kategori.

   • Lokasi: pilih lokasi. Anda hanya dapat menelusuri berdasarkan lokasi pertukaran data. Untuk mengetahui informasi selengkapnya, lihat Region yang didukung.

5. Jelajahi ruang bersih data yang difilter.

Berlangganan listingan

Berlangganan listingan memberi Anda akses hanya baca ke data dalam listingan dengan membuat set data tertaut di project Anda.

Perhatian: Hindari menempatkan data dalam project yang berada dalam perimeter Kontrol Layanan VPC. Jika project Anda berada dalam perimeter, tambahkan aturan traffic masuk dan keluar yang sesuai.

Untuk berlangganan listingan, ikuti langkah-langkah berikut:

Konsol

1. Untuk melihat daftar listingan yang dapat Anda akses, ikuti langkah-langkah di bagian Menemukan listingan.

2. Dalam daftar listingan, klik listingan yang ingin Anda jadikan langganan. Dialog yang berisi detail listingan akan muncul. Dialog ini menunjukkan apakah penyedia mengaktifkan logging email pelanggan dan mencantumkan region tempat listingan tersedia.

3. Jika listingan memerlukan persetujuan atau pembelian (seperti set data komersial), klik Minta akses atau Beli melalui Marketplace. Jika tidak, klik Subscribe untuk membuka dialog Create linked dataset.

4. Jika Analytics Hub API belum diaktifkan di project Anda, klik Enable Analytics Hub API dalam pesan yang muncul.

5. Pada dialog Create linked dataset, tentukan detail berikut:

   • Project: masukkan nama project tempat Anda ingin menambahkan set data.
   • Nama set data tertaut: masukkan nama untuk set data tertaut.

   • Primary region: pilih region tempat Anda ingin membuat set data tertaut.

     Catatan: Region utama tidak perlu sama dengan region utama penyedia. Anda dapat menempatkan set data tertaut di region penyedia untuk meminimalkan latensi replikasi.

   • Opsional: Replica regions: pilih region tempat Anda ingin membuat replika set data tertaut. Menempatkan set data tertaut Anda bersama data lain akan meminimalkan egress dan memfasilitasi penggabungan lintas set data. Untuk membuat replika, Anda harus memiliki izin bigquery.datasets.update pada set data tertaut.

   Catatan: Sistem akan mencoba membuat replika set data tertaut, tetapi jika izin bigquery.datasets.update tidak ada pada set data tertaut, replika tidak akan dibuat.

6. Untuk membuat set data tertaut, klik Save.

API

Untuk berlangganan listingan, panggil metode projects.locations.dataExchanges.listings.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

Ganti kode berikut:

• PROJECT_ID: Google Cloud project ID dari project yang berisi listingan yang ingin Anda jadikan langganan.
• LOCATION: lokasi listingan.
• DATAEXCHANGE_ID: ID pertukaran data listingan.
• LISTING_ID: ID listingan yang ingin Anda jadikan langganan.
• SUBSCRIBER_PROJECT_ID: project ID Google Cloud project pelanggan tempat Anda ingin membuat set data tertaut.
• LINKED_DATASET_ID: ID yang ingin Anda berikan ke set data tertaut.
• PRIMARY_REGION: region geografis utama tempat Anda ingin membuat set data tertaut.

Dalam isi permintaan, tentukan set data tempat Anda ingin membuat set data tertaut:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Untuk membuat langganan dengan replika set data tertaut di beberapa region, tentukan region utama di kolom location. Untuk menentukan region replika sekunder, tambahkan region ke kolom destinationDataset.replica_locations. Pastikan semua region yang ditentukan adalah region tempat listingan tersedia.

Catatan: Sistem akan mencoba membuat replika set data tertaut, tetapi jika izin bigquery.datasets.update tidak ada pada set data tertaut, replika tidak akan dibuat.

Jika permintaan berhasil, isi respons akan berisi objek langganan.

Jika Anda mengaktifkan logging email pelanggan untuk pertukaran data atau listingan dengan kolom logLinkedDatasetQueryUserEmail, respons langganan akan berisi log_linked_dataset_query_user_email: true. Data yang dicatat ke dalam log tersedia di kolom job_principal_subject tampilan INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

Jika Anda mengaktifkan berbagi prosedur tersimpan (Pratinjau), respons listingan akan berisi stored_procedure_config: true.

Catatan: Untuk menjalankan prosedur tersimpan bersama dalam set data tertaut, Anda harus mengizinkan prosedur tersimpan bersama untuk mengakses resource dalam project Anda.

Berlangganan ke pertukaran data

Berlangganan pertukaran data memberi Anda akses hanya baca ke data dalam pertukaran data dengan membuat set data tertaut di project Anda.

Untuk berlangganan pertukaran ruang bersih data, ikuti langkah-langkah berikut:

Konsol

1. Untuk melihat daftar pertukaran ruang bersih data yang dapat Anda akses, ikuti langkah-langkah di bagian Menemukan pertukaran data.

2. Dalam daftar ruang bersih data, klik pertukaran ruang bersih data yang ingin Anda berlangganan. Dialog yang berisi detail pertukaran ruang bersih data akan muncul.

3. Klik Subscribe untuk membuka dialog Add data clean room to project.

4. Jika Analytics Hub API belum diaktifkan di project Anda, klik Enable Analytics Hub API dalam pesan yang muncul.

5. Dalam dialog Add data clean room to project, tentukan detail berikut:

   • Destination: masukkan nama project tempat Anda ingin menambahkan set data.

6. Untuk membuat set data tertaut, klik Save.

API

Untuk berlangganan pertukaran ruang bersih data, panggil metode projects.locations.dataExchanges.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

Ganti kode berikut:

• PROJECT_ID: project ID Google Cloud untuk project yang berisi pertukaran data yang ingin Anda jadikan langganan.
• LOCATION: lokasi pertukaran data.
• DATAEXCHANGE_ID: ID pertukaran data.
• SUBSCRIBER_PROJECT_ID: project ID Google Cloud project pelanggan tempat Anda ingin membuat set data tertaut.
• SUBSCRIPTION_ID: nama langganan yang akan dibuat.
• LINKED_DATASET_ID: ID yang ingin Anda berikan ke set data tertaut.
• PRIMARY_REGION: region geografis utama tempat Anda ingin membuat set data tertaut.

Dalam isi permintaan, tentukan lokasi tujuan, nama langganan, dan set data tempat Anda ingin membuat set data tertaut:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

Jika permintaan berhasil, isi respons akan berisi objek operasi. Jika Anda telah mengaktifkan logging email pelanggan untuk pertukaran data, respons langganan akan berisi log_linked_dataset_query_user_email: true.

Melihat set data tertaut

Set data tertaut ditampilkan bersama set data lain di konsolGoogle Cloud .

Untuk melihat set data tertaut di project Anda, ikuti langkah-langkah berikut:

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Classic Explorer, klik category Classic Explorer:

   

   Jika panel Classic Explorer tidak terlihat, klik Expand left pane untuk membuka panel.

3. Di panel Classic Explorer, klik nama project yang berisi set data tertaut .

Atau, Anda dapat menelusuri dan melihat set data tertaut dengan Knowledge Catalog. Untuk mencocokkan semua set data tertaut BigQuery sharing dalam kueri penelusuran Anda, gunakan predikat type=dataset.linked. Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran Knowledge Catalog.

Cloud Shell

Untuk mencantumkan set data tertaut dalam project Anda menggunakan alat command line bq, jalankan perintah berikut di Cloud Shell:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

Ganti PROJECT_ID dengan project ID Google Cloud Anda.

Catatan: Jika penayang menghapus langganan, halaman detail set data tertaut akan menunjukkan bahwa set data telah dibatalkan tautannya. Karena Anda tidak dapat mengkueri set data yang tidak tertaut, Anda dapat menghapus set data yang tidak tertaut.

Membuat kueri set data tertaut

Anda dapat mengkueri tabel dan tampilan di set data tertaut dengan cara yang sama seperti menjalankan kueri pada tabel BigQuery lainnya.

Untuk membuat kueri tabel dalam set data tertaut, jalankan kueri SELECT yang mereferensikan project ID, ID set data tertaut, dan nama tabel Anda:

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

Ganti kode berikut:

• PROJECT_ID: Project ID Google Cloud Anda.
• LINKED_DATASET_ID: ID set data tertaut.
• TABLE_NAME: nama tabel atau tabel virtual yang ingin Anda buat kuerinya.

Untuk mengetahui informasi selengkapnya, lihat Menjalankan kueri interaktif.

Memperbarui set data tertaut

Resource dalam set data tertaut bersifat hanya baca. Anda tidak dapat mengedit data atau metadata untuk resource dalam set data tertaut, atau menentukan izin untuk setiap resource.

Anda hanya dapat memperbarui deskripsi dan label set data tertaut. Perubahan pada set data tertaut tidak memengaruhi sumber atau set data bersama.

Untuk memperbarui deskripsi dan label dari set data tertaut, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, klik Explorer:

   

3. Di panel Explorer, luaskan nama project Anda, klik Datasets, lalu klik nama set data tertaut untuk membukanya.

4. Di panel detail, klik Edit details dan konfigurasikan opsi berikut:

   1. Untuk menambahkan label, lihat Menambahkan label ke set data.

   2. Untuk mengaktifkan kolasi, luaskan Advanced options dan ikuti langkah-langkah berikut:

      1. Pilih Enable default collation.
      2. Dalam daftar Default collation, pilih salah satu opsi.

5. Untuk menyimpan perubahan, klik Save.

Melihat metadata tabel

Untuk melihat metadata tabel untuk set data tertaut, buat kueri tabel virtual INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

Ganti LINKED_DATASET_ID dengan ID set data tertaut Anda.

Catatan: Kueri INFORMATION_SCHEMA berbasis region tidak menampilkan metadata untuk tabel tertaut. Untuk mengetahui informasi selengkapnya tentang tampilan yang tidak didukung, lihat Batasan.

Berhenti berlangganan atau menghapus set data tertaut

Untuk berhenti berlangganan set data, hapus set data tertaut. Menghapus set data tertaut tidak akan menghapus set data sumber.

Anda tidak dapat mengambil set data tertaut setelah menghapusnya. Namun, Anda dapat membuat ulang set data tertaut yang dihapus kapan saja dengan berlangganan listingan lagi.

Jika penayang menghapus langganan Anda, set data tertaut Anda akan dibatalkan tautannya dari set data bersama. Karena ini adalah tindakan yang dimulai penayang pada resource milik pelanggan, set data tertaut tetap berada di project Anda dalam status tidak tertaut. Anda dapat menghapus set data yang tidak tertaut dengan menghapusnya.

Untuk menghapus set data tertaut, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, klik Explorer:

   

3. Di panel Explorer, luaskan nama project Anda, klik Datasets, lalu klik nama set data tertaut untuk membukanya.

4. Klik Hapus.

5. Pada dialog Delete linked dataset?, konfirmasi penghapusan dengan memasukkan delete.

6. Klik Hapus.

Langkah berikutnya

• Pelajari berbagi BigQuery.
• Pelajari cara mengelola listingan.
• Pelajari cara mengelola pertukaran data.
• Pelajari cara melihat log audit BigQuery sharing.