Menghasilkan insight set data

Dokumen ini menjelaskan cara membuat insight set data untuk set data BigQuery. Insight set data membantu Anda memahami hubungan antar tabel dalam set data dengan membuat grafik hubungan dan kueri antar-tabel.

Insight set data membantu Anda mempercepat eksplorasi set data dengan beberapa tabel dengan otomatis menemukan dan memvisualisasikan hubungan antar-tabel dalam grafik, mengidentifikasi hubungan kunci utama dan kunci asing, serta membuat contoh kueri antar-tabel. Fitur ini berguna untuk memahami struktur data tanpa dokumentasi, menemukan hubungan antar-tabel yang ditentukan skema, berbasis penggunaan, atau disimpulkan AI, dan membuat kueri kompleks yang menggabungkan beberapa tabel.

Untuk ringkasan insight tabel dan set data, lihat Ringkasan insight data.

Mode untuk menghasilkan insight set data

Saat menghasilkan insight set data, BigQuery menyediakan dua mode:

Mode Deskripsi Penggunaan
Membuat dan memublikasikan

Mempertahankan insight set data yang dihasilkan ke Knowledge Catalog sebagai aspek dan hubungan metadata. Anda harus memiliki izin yang diperlukan untuk memublikasikan. Saat Anda menggunakan Buat dan publikasikan, BigQuery akan melakukan hal berikut:

  • Menyimpan deskripsi set data di Knowledge Catalog.
  • Mencatat kueri dan pertanyaan yang disarankan sebagai aspek yang dapat digunakan kembali.
  • Mencatat hubungan sebagai metadata di Knowledge Catalog.
  • Membuat insight yang dipublikasikan dapat diakses oleh semua pengguna yang memiliki akses Knowledge Catalog yang sesuai, sehingga memastikan pengetahuan organisasi dibagikan.
  • Memungkinkan Anda mengedit dan menyimpan deskripsi langsung di Knowledge Catalog menggunakan API. Anda dapat mengedit kueri yang disarankan menggunakan konsol Google Cloud .

Gunakan mode ini untuk dokumentasi data di seluruh perusahaan yang tetap ada dan dapat digunakan kembali, atau saat membuat alur kerja tata kelola berbasis katalog.
Buat tanpa memublikasikan

Membuat insight set data seperti deskripsi, pertanyaan bahasa alami, hubungan, dan kueri SQL sesuai permintaan. Generate without publishing tidak memublikasikan insight ke Knowledge Catalog.

Gunakan mode ini untuk eksplorasi ad hoc yang cepat guna menghindari kekacauan katalog.

Sebelum memulai

Insight data dihasilkan menggunakan Gemini di BigQuery. Untuk mulai membuat insight, Anda harus menyiapkan Gemini di BigQuery terlebih dahulu.

Mengaktifkan API

Untuk menggunakan insight data, aktifkan API berikut di project Anda: Dataplex API, BigQuery API, dan Gemini for Google Cloud API.

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Aktifkan API

Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan Gemini for Google Cloud API, lihat Mengaktifkan Gemini for Google Cloud API di sebuah Google Cloud project.

Menyelesaikan pemindaian profil data

Untuk meningkatkan kualitas insight, buat pemindaian profil data untuk tabel dalam set data Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan guna membuat, mengelola, dan mengambil insight set data, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk membuat, mengelola, dan mengambil insight:
    • Dataplex DataScan Editor (roles/dataplex.dataScanEditor) atau Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin) di project
    • BigQuery Data Editor (roles/bigquery.dataEditor) pada tabel
    • Pengguna BigQuery (roles/bigquery.user) atau Pengguna BigQuery Studio (roles/bigquery.studioUser) di project
    • BigQuery Resource Viewer (roles/bigquery.resourceViewer) di project
  • Untuk melihat insight:
  • Untuk memublikasikan insight ke Knowledge Catalog: Pemilik Entri dan EntryLink Dataplex (roles/dataplex.entryOwner) di grup entri

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk melihat izin persis yang diperlukan untuk membuat insight, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

  • bigquery.datasets.get: membaca metadata set data
  • bigquery.jobs.create: membuat tugas
  • bigquery.jobs.listAll: mencantumkan semua tugas dalam project
  • bigquery.tables.get: mendapatkan metadata tabel
  • bigquery.tables.getData: mendapatkan data dan metadata tabel
  • dataplex.datascans.create: membuat resource DataScan
  • dataplex.datascans.get: membaca metadata resource DataScan
  • dataplex.datascans.getData: membaca hasil eksekusi DataScan
  • dataplex.datascans.run: menjalankan DataScan sesuai permintaan
  • dataplex.entryGroups.useSchemaJoinEntryLink: gunakan link entri schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: menggunakan aspek gabungan skema
  • dataplex.entryLinks.create: membuat link entri
  • dataplex.entryLinks.update: memperbarui link entri
  • dataplex.entryLinks.delete: menghapus link entri
  • dataplex.entries.link: entri link
  • dataplex.entries.update: memperbarui entri
  • dataplex.entryGroups.useDescriptionsAspect: menggunakan aspek deskripsi
  • dataplex.entryGroups.useQueriesAspect: menggunakan aspek kueri

Menghasilkan insight set data

Konsol

  1. Di konsol Google Cloud , buka BigQuery Studio.

    Buka BigQuery Studio

  2. Di panel Explorer, pilih project, lalu pilih set data yang ingin Anda buat insight-nya.

  3. Klik tab Insights.

  4. Untuk membuat insight dan memublikasikannya ke Knowledge Catalog, klik Buat dan publikasikan.

    Untuk membuat insight tanpa memublikasikannya ke Knowledge Catalog, klik Buat tanpa memublikasikan.

    Untuk mengetahui informasi selengkapnya tentang perbedaan antara mode Buat dan publikasikan dan Buat tanpa memublikasikan, lihat Mode untuk membuat insight set data.

  5. Jika set data Anda berada di multi-region, Anda mungkin diminta untuk memilih region guna membuat insight. Pilih region yang sesuai dengan multi-region tempat pemindaian insight akan dibuat.

    Perlu waktu beberapa menit hingga insight diisi. Kualitas insight akan meningkat jika tabel dalam set data memiliki hasil pembuatan profil data.

Setelah insight dibuat, BigQuery akan menampilkan deskripsi set data, grafik hubungan, tabel hubungan, dan contoh kueri lintas tabel.

REST

Untuk membuat insight secara terprogram, gunakan Knowledge Catalog DataScans API. Untuk melakukannya, selesaikan langkah-langkah berikut:

  1. Membuat pemindaian data dokumentasi data untuk set data BigQuery
  2. Memeriksa status pemindaian dokumentasi data
  3. Memverifikasi publikasi ke Knowledge Catalog

Buat pemindaian data dokumentasi data untuk set data BigQuery

  1. Buat pemindaian data dokumentasi data menggunakan metode dataScans.create. Secara opsional, Anda dapat memublikasikan insight ini ke Knowledge Catalog dengan menyetel parameter catalog_publishing_enabled ke true.

    Contoh:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud tempat set data berada
    • LOCATION: region tempat pemindaian data dijalankan
    • DATASCAN_ID: nama unik yang Anda berikan untuk pemindaian ini
    • DATASET_ID: ID set data BigQuery yang dipindai

  2. Mulai tugas pemindaian dokumentasi data menggunakan metode dataScans.run.

    Contoh:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Permintaan ini menampilkan ID tugas unik beserta status awal.

Memeriksa status pemindaian dokumentasi data

Periksa penyelesaian tugas pemindaian yang dijalankan menggunakan metode dataScans.get. Untuk mengambil hasil lengkap, termasuk insight dan status publikasi, setel parameter view ke FULL.

Gunakan ID tugas untuk mengambil status tugas. Contoh:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

Tugas selesai jika statusnya SUCCEEDED atau FAILURE.

Respons tugas yang berhasil berisi insight yang dihasilkan di kolom dataDocumentationResult.

Memverifikasi publikasi ke Knowledge Catalog

Jika catalog_publishing_enabled disetel ke true, insight akan dipublikasikan ke Knowledge Catalog secara asinkron setelah tugas pemindaian data selesai. Untuk memverifikasi bahwa insight dipertahankan, gunakan Dataplex API untuk memeriksa aspek set data.

Meskipun insight dihasilkan dari pemindaian data tingkat set data, entri link yang dihasilkan disimpan di antara tabel yang terhubung. Untuk memverifikasi hubungan ini, gunakan metode lookupEntryLinks untuk mengambil link entri yang terkait dengan entri tabel tertentu.

Untuk mengambil metadata set data BigQuery, gunakan metode entries.get. Untuk menyertakan semua aspek, setel parameter view ke FULL. Contoh:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud tempat DataScan dikonfigurasi
  • LOCATION: region tempat grup entri berada
  • DATASET_PROJECT_ID: ID project Google Cloud tempat set data BigQuery berada
  • DATASET: ID set data BigQuery

Jika berhasil dipublikasikan ke Knowledge Catalog, aspek berikut dilampirkan ke set data BigQuery:

  • Deskripsi: berisi deskripsi set data yang dibuat AI
  • Kueri: berisi kueri SQL yang relevan terkait set data
  • Hubungan: dipertahankan sebagai link entri antar tabel yang ada dalam set data

Melihat dan menyimpan deskripsi set data

Gemini membuat deskripsi bahasa alami tentang set data, yang merangkum jenis tabel yang ada di dalamnya dan domain bisnis yang diwakilinya. Untuk menyimpan deskripsi ini ke metadata set data, klik Simpan ke detail.

Anda dapat mengedit deskripsi sebelum menyimpan detail.

Menjelajahi grafik hubungan

Grafik Hubungan memberikan representasi visual tentang hubungan antartabel dalam set data. Bagian ini menampilkan 10 tabel yang paling terhubung sebagai node, dengan garis yang merepresentasikan hubungan di antara tabel tersebut.

  • Untuk melihat detail hubungan, seperti kolom yang menggabungkan dua tabel, arahkan kursor ke tepi yang menghubungkan node tabel.
  • Untuk mengatur ulang grafik agar lebih mudah dilihat, tarik node tabel.

Menggunakan tabel hubungan

Tabel hubungan mencantumkan hubungan yang ditemukan dalam format tabular. Setiap baris mewakili hubungan antara dua tabel, yang menampilkan tabel dan kolom sumber, serta tabel dan kolom tujuan. Kolom Sumber menunjukkan cara hubungan ditentukan:

  • Disimpulkan LLM. Hubungan yang disimpulkan oleh Gemini, berdasarkan nama dan deskripsi tabel serta kolom di seluruh set data.
  • Berdasarkan penggunaan. Hubungan yang diekstrak dari log kueri, berdasarkan gabungan yang sering terjadi.
  • Ditentukan skema. Hubungan yang berasal dari pemetaan kunci utama dan kunci asing yang ada dalam skema tabel.

Anda dapat memfilter hubungan untuk tabel tertentu atau memberikan masukan tentang kualitas hubungan yang terdeteksi. Untuk mengekspor deskripsi dan hubungan set data yang dibuat ke file JSON, klik Ekspor ke JSON.

Menggunakan rekomendasi kueri

Berdasarkan hubungan yang ditemukan, Gemini membuat contoh kueri. Berikut adalah pertanyaan bahasa alami dengan kueri SQL yang sesuai yang menggabungkan beberapa tabel dalam set data.

  1. Untuk melihat kueri SQL, klik pertanyaan.

  2. Untuk membuka kueri di editor kueri BigQuery, klik Salin ke kueri. Kemudian, Anda dapat menjalankan kueri atau mengubahnya.

  3. Untuk mengajukan pertanyaan lanjutan, klik Ajukan pertanyaan lanjutan, yang akan membuka kanvas data tanpa judul tempat Anda dapat melakukan percakapan dengan Gemini untuk menjelajahi data Anda.

Mengelola insight yang dihasilkan

Setelah membuat insight untuk set data, Anda dapat mengelola, memperbarui, atau menghapusnya di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat mengelola insight set data.

Langkah berikutnya