Membuat insight set data

Insight data membantu Anda memahami hubungan antara tabel dalam set data BigQuery dan namespace Apache Iceberg dengan menemukan dan memvisualisasikan hubungan antara tabel dalam grafik, mengidentifikasi hubungan yang ditentukan skema, berbasis penggunaan, atau yang disimpulkan AI, serta membuat contoh kueri lintas tabel.

Untuk ringkasan insight tabel dan set data, lihat Ringkasan insight data.

Mode untuk membuat insight set data

Saat membuat insight set data, BigQuery menyediakan dua mode:

Mode Deskripsi Penggunaan
Membuat dan memublikasikan

Mempertahankan insight set data yang dihasilkan ke dalam Knowledge Catalog sebagai aspek dan hubungan metadata. Anda harus memiliki izin yang diperlukan untuk memublikasikan. Saat Anda menggunakan Generate and publish, BigQuery akan melakukan hal berikut:

  • Menyimpan deskripsi set data di Knowledge Catalog.
  • Merekam kueri dan pertanyaan yang disarankan sebagai aspek yang dapat digunakan kembali.
  • Merekam hubungan sebagai metadata di Knowledge Catalog.
  • Memungkinkan pengguna dengan akses Knowledge Catalog yang sesuai melihat insight yang dipublikasikan, sehingga memastikan pengetahuan organisasi dibagikan.
  • Memungkinkan Anda mengedit dan menyimpan deskripsi langsung di Knowledge Catalog menggunakan API. Anda dapat mengedit kueri yang disarankan menggunakan konsol Google Cloud .

Gunakan mode ini untuk dokumentasi data di seluruh perusahaan yang persisten dan dapat digunakan kembali, atau saat membangun alur kerja tata kelola berbasis katalog.
Generate without publishing

Membuat insight set data seperti deskripsi, pertanyaan bahasa alami, hubungan, dan kueri SQL sesuai permintaan. Generate without publishing tidak memublikasikan insight ke Knowledge Catalog.

Gunakan mode ini untuk eksplorasi ad hoc yang cepat agar katalog tidak berantakan.

Sebelum memulai

Insight data dihasilkan menggunakan Gemini di BigQuery. Untuk mulai membuat insight, Anda harus menyiapkan Gemini di BigQuery terlebih dahulu.

Mengaktifkan API

Untuk menggunakan insight data, aktifkan API berikut di project Anda: Dataplex API, BigQuery API, dan Gemini for Google Cloud API.

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Aktifkan API

Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan Gemini for Google Cloud API, lihat Mengaktifkan Gemini for Google Cloud API di project Google Cloud .

Menyelesaikan pemindaian profil data

Untuk meningkatkan kualitas insight, buat pemindaian profil data untuk tabel dalam set data Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat, mengelola, dan mengambil insight set data, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk membuat, mengelola, dan mengambil insight:
    • Dataplex DataScan Editor (roles/dataplex.dataScanEditor) atau Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin) pada project
    • BigQuery Data Editor (roles/bigquery.dataEditor) di tabel
    • BigQuery User (roles/bigquery.user) atau BigQuery Studio User (roles/bigquery.studioUser) pada project
    • BigQuery Resource Viewer (roles/bigquery.resourceViewer) di project
  • Untuk melihat insight:
  • Untuk memublikasikan insight ke Knowledge Catalog: Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) di grup entri

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk melihat izin yang benar-benar diperlukan untuk membuat insight, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

  • bigquery.datasets.get: membaca metadata set data
  • bigquery.jobs.create: membuat tugas
  • bigquery.jobs.listAll: mencantumkan semua tugas dalam project
  • bigquery.tables.get: mendapatkan metadata tabel
  • bigquery.tables.getData: mendapatkan data dan metadata tabel
  • dataplex.datascans.create: membuat resource pemindaian data
  • dataplex.datascans.get: membaca metadata resource pemindaian data
  • dataplex.datascans.getData: membaca hasil eksekusi pemindaian data
  • dataplex.datascans.run: menjalankan pemindaian data on-demand
  • dataplex.entryGroups.useSchemaJoinEntryLink: menggunakan link entri schema-join
  • dataplex.entryGroups.useSchemaJoinAspect: menggunakan aspek gabungan skema
  • dataplex.entryLinks.create: membuat link entri
  • dataplex.entryLinks.update: memperbarui link entri
  • dataplex.entryLinks.delete: menghapus link entri
  • dataplex.entries.link: entri link
  • dataplex.entries.update: memperbarui entri
  • dataplex.entryGroups.useDescriptionsAspect: aspek deskripsi penggunaan
  • dataplex.entryGroups.useQueriesAspect: menggunakan aspek kueri

Membuat insight set data

Konsol

  1. Di konsol Google Cloud , buka BigQuery Studio.

    Buka BigQuery Studio

  2. Di panel Explorer, pilih project dan set data yang ingin Anda buat insight-nya. Untuk namespace Iceberg, pilih set data yang mewakili namespace katalog Anda.

  3. Klik tab Insights.

    Jika tab kosong, berarti insight belum dibuat untuk set data ini.

  4. Klik Generate.

  5. Pilih kondisi publikasi:

    • Untuk membuat dan melampirkan insight secara permanen ke aset sebagai aspek metadata, aktifkan tombol Publish condition. Hal ini membuat insight dapat diindeks, ditelusuri, dan dilihat oleh pengguna lain di organisasi Anda.

    • Untuk membuat dan melihat insight sementara selama sesi saat ini, nonaktifkan tombol Publish condition.

    Untuk mengetahui informasi selengkapnya tentang perbedaan antara mode Buat dan publikasikan dan Buat tanpa memublikasikan, lihat Mode untuk membuat insight data.

  6. Opsional: Di kolom Custom instructions, berikan panduan dan konteks domain untuk menyesuaikan cara Gemini menghasilkan insight.

    Misalnya, Anda dapat menerapkan konvensi penamaan, menentukan definisi bisnis, atau mendeskripsikan kunci gabungan:

    LANGUAGE: Always write column descriptions in uppercase.

DOMAIN_CONTEXT:
- This dataset supports the Order-to-Cash process for the EMEA commercial
  sales team.
- Primary consumers are finance analysts and regional sales managers, not
  engineers.

RELATIONSHIPS:
- returns.order_item_id → order_items.id (one-to-one; use LEFT JOIN to
  preserve unreturned items)

  7. Jika set data Anda berada di multi-region, Anda mungkin akan diminta untuk memilih region guna menghasilkan insight. Pilih region yang sesuai dengan multi-region tempat pemindaian insight akan dibuat.

    Perlu waktu beberapa menit agar insight terisi. Kualitas insight akan meningkat jika tabel dalam set data memiliki hasil pembuatan profil data.

Setelah insight dibuat, BigQuery akan menampilkan deskripsi set data, grafik hubungan, tabel hubungan, dan contoh kueri lintas tabel.

REST

Untuk membuat insight secara terprogram, gunakan DataScans API Knowledge Catalog. Untuk melakukannya, selesaikan langkah-langkah berikut:

  1. Membuat pemindaian data dokumentasi data untuk set data BigQuery
  2. Memeriksa status pemindaian dokumentasi data
  3. Memverifikasi publikasi ke Knowledge Catalog

Membuat pemindaian data dokumentasi data untuk set data BigQuery

  1. Buat pemindaian data dokumentasi data menggunakan metode dataScans.create. Jika ingin, Anda dapat memublikasikan insight ini ke Knowledge Catalog dengan menetapkan parameter catalog_publishing_enabled ke true.

    Contoh:

    alias gcurl='curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json"'
gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans?dataScanId=DATASCAN_ID \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID"
  },
  "executionSpec": {
    "trigger": { "onDemand": {} }
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "catalog_publishing_enabled": true
  }
}'

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda tempat set data berada
    • LOCATION: region tempat pemindaian data berjalan
    • DATASCAN_ID: nama unik yang Anda berikan untuk pemindaian ini
    • DATASET_ID: ID set data BigQuery yang sedang dipindai

  2. Mulai tugas pemindaian dokumentasi data menggunakan metode dataScans.run.

    Contoh:

    gcurl -X POST \
https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
dataScans/DATASCAN_ID:run

    Permintaan ini menampilkan ID pekerjaan unik beserta status awal.

Memeriksa status pemindaian dokumentasi data

Periksa penyelesaian operasi tugas pemindaian menggunakan metode dataScans.get. Untuk mengambil hasil lengkap, termasuk insight dan status publikasi, tetapkan parameter view ke FULL.

Gunakan ID pekerjaan untuk mengambil status tugas. Contoh:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID?view=FULL

Tugas selesai saat statusnya SUCCEEDED atau FAILURE.

Respons tugas yang berhasil berisi insight yang dihasilkan di kolom dataDocumentationResult.

Memverifikasi publikasi ke Knowledge Catalog

Jika catalog_publishing_enabled ditetapkan ke true, insight akan dipublikasikan ke Knowledge Catalog secara asinkron setelah tugas pemindaian data selesai. Untuk memverifikasi bahwa insight dipertahankan, gunakan Dataplex API untuk memeriksa aspek set data.

Meskipun insight dihasilkan dari pemindaian data tingkat set data, link entri yang dihasilkan disimpan di antara tabel yang terhubung. Untuk memverifikasi hubungan ini, gunakan metode lookupEntryLinks untuk mengambil link entri yang terkait dengan entri tabel tertentu.

Untuk mengambil metadata set data BigQuery, gunakan metode entries.get. Untuk menyertakan semua aspek, tetapkan parameter view ke FULL. Contoh:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/DATASET_PROJECT_ID/datasets/DATASET_ID?view=FULL

Ganti kode berikut:

  • PROJECT_ID: ID project Google CloudAnda tempat pemindaian data dikonfigurasi
  • LOCATION: region tempat grup entri berada
  • DATASET_PROJECT_ID: ID project Google Cloud tempat set data BigQuery berada
  • DATASET: ID set data BigQuery

Jika publikasi ke Knowledge Catalog berhasil, aspek berikut akan dilampirkan ke set data BigQuery:

  • Descriptions: berisi deskripsi set data yang dibuat AI
  • Queries: berisi kueri SQL yang relevan terkait set data
  • Hubungan: dipertahankan sebagai link entri antara tabel yang ada dalam set data

Melihat dan menyimpan deskripsi set data

Gemini akan membuat deskripsi bahasa alami dari set data, merangkum jenis tabel yang ada di dalamnya dan domain bisnis yang diwakilinya. Untuk menyimpan deskripsi ini ke metadata set data, klik Save to details.

Anda dapat mengedit deskripsi sebelum menyimpan detailnya.

Mempelajari grafik hubungan

Grafik Relationships memberikan representasi visual tentang hubungan antartabel dalam set data. Diagram ini menampilkan 10 tabel yang paling terhubung sebagai node, dengan garis yang mewakili hubungan di antaranya.

  • Untuk melihat detail hubungan, seperti kolom yang menggabungkan dua tabel, arahkan kursor ke tepi yang menghubungkan node tabel.
  • Untuk mengatur ulang grafik agar lebih mudah dilihat, tarik node tabel.

Menggunakan tabel hubungan

Tabel hubungan mencantumkan hubungan yang ditemukan dalam format tabulasi. Setiap baris mewakili hubungan antara dua tabel, yang menampilkan tabel dan kolom sumber, serta tabel dan kolom tujuan. Kolom Sumber menunjukkan cara hubungan ditentukan:

  • LLM inferred. Hubungan yang disimpulkan oleh Gemini, berdasarkan nama dan deskripsi tabel dan kolom di seluruh set data.
  • Berdasarkan penggunaan. Hubungan yang diekstrak dari log kueri, berdasarkan gabungan yang sering.
  • Ditentukan skema. Hubungan yang berasal dari pemetaan kunci utama dan kunci asing yang ada dalam skema tabel.

Anda dapat memfilter hubungan untuk tabel tertentu atau memberikan masukan tentang kualitas hubungan yang terdeteksi. Untuk mengekspor deskripsi dan hubungan set data yang dihasilkan ke file JSON, klik Export to JSON.

Menggunakan rekomendasi kueri

Berdasarkan hubungan yang ditemukan, Gemini akan membuat contoh kueri. Ini adalah pertanyaan bahasa alami dengan kueri SQL yang sesuai yang menggabungkan beberapa tabel dalam set data.

  1. Untuk melihat kueri SQL, klik pertanyaan.

  2. Untuk membuka kueri di editor kueri BigQuery, klik Copy to query. Kemudian, Anda dapat menjalankan kueri atau mengubahnya.

  3. Untuk mengajukan pertanyaan lanjutan, klik Ask a follow-up, yang akan membuka kanvas data tanpa judul tempat Anda dapat melakukan percakapan dengan Gemini untuk menjelajahi data Anda.

Mengelola insight yang dihasilkan

Setelah membuat insight untuk set data, Anda dapat mengelola, memperbarui, atau menghapusnya di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat mengelola insight set data.

Langkah berikutnya