Membuat insight tabel

Insight tabel BigQuery memungkinkan Anda memahami struktur dan konten tabel BigQuery standar, tabel eksternal BigQuery, dan tabel BigLake dengan cepat tanpa menulis kueri yang kompleks. Anda dapat membuat kueri SQL berdasarkan pertanyaan bahasa alami, sehingga mengurangi waktu dan upaya yang diperlukan untuk menulis kueri secara manual.

Untuk ringkasan insight tabel dan set data, lihat Ringkasan insight data.

Mode untuk membuat insight data tabel

Saat membuat insight tabel, BigQuery menyediakan dua mode:

Mode Deskripsi Penggunaan
Membuat dan memublikasikan (Pratinjau)

Mempertahankan insight tabel yang dihasilkan ke Knowledge Catalog sebagai aspek metadata. Anda harus memiliki izin yang diperlukan untuk memublikasikan. Saat Anda menggunakan Buat dan publikasikan, tindakan berikut akan terjadi:

  • Menyimpan deskripsi tabel dan kolom di Knowledge Catalog.
  • Merekam kueri dan pertanyaan yang disarankan sebagai aspek yang dapat digunakan kembali.
  • Membuat insight yang dipublikasikan dapat diakses oleh semua pengguna yang memiliki akses Knowledge Catalog yang sesuai, sehingga memastikan pengetahuan organisasi dibagikan.
  • Memungkinkan Anda mengedit dan menyimpan deskripsi langsung di Knowledge Catalog.

Gunakan mode ini untuk dokumentasi data di seluruh perusahaan yang persisten dan dapat digunakan kembali, atau saat membangun alur kerja tata kelola berbasis katalog.

Generate without publishing

Membuat insight tabel seperti deskripsi, pertanyaan bahasa alami, dan kueri SQL sesuai permintaan. Generate without publishing tidak memublikasikan insight ke Knowledge Catalog.

Gunakan mode ini untuk eksplorasi ad hoc yang cepat agar katalog tidak berantakan.

Sebelum memulai

Insight data dihasilkan menggunakan Gemini di BigQuery. Untuk mulai membuat insight, Anda harus menyiapkan Gemini di BigQuery terlebih dahulu.

Mengaktifkan API

Untuk menggunakan insight data, aktifkan API berikut di project Anda: Dataplex API, BigQuery API, dan Gemini for Google Cloud API.

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Aktifkan API

Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan Gemini for Google Cloud API, lihat Mengaktifkan Gemini for Google Cloud API di project Google Cloud .

Peran dan izin

Untuk membuat, mengelola, dan mengambil insight data, minta administrator untuk memberi Anda peran Identity and Access Management (IAM) berikut:

Untuk mendapatkan akses hanya baca ke insight yang dihasilkan, minta administrator Anda untuk memberi Anda peran IAM berikut:

  • Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) pada project yang berisi tabel BigQuery yang ingin Anda lihat insight-nya.

Untuk memublikasikan insight data ke Knowledge Catalog, minta administrator untuk memberi Anda peran IAM berikut pada resource:

Untuk mengaktifkan API, minta administrator untuk memberi Anda peran IAM berikut:

  • Service Usage Admin (roles/serviceusage.serviceUsageAdmin) di project tempat Anda ingin membuat insight.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya. Untuk melihat izin yang benar-benar diperlukan untuk membuat insight, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

  • bigquery.jobs.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

Membuat insight untuk tabel BigQuery

Untuk membuat insight bagi tabel BigQuery, Anda dapat menggunakan konsolGoogle Cloud atau jenis pemindaian DATA_DOCUMENTATION yang didukung oleh DataScans API Knowledge Catalog. Pemindaian ini menghasilkan metadata, kueri SQL untuk eksplorasi data, deskripsi skema, dan ringkasan tingkat tabel.

Konsol

Untuk membuat insight untuk tabel BigQuery, Anda harus mengakses entri tabel di BigQuery menggunakan BigQuery Studio.

  1. Di konsol Google Cloud , buka BigQuery Studio.

    Buka BigQuery Studio

  2. Di panel Explorer, pilih project, set data, lalu tabel yang ingin Anda buat insight-nya.

  3. Klik tab Insights. Jika tab kosong, berarti insight untuk tabel ini belum dibuat.

  4. Untuk membuat insight dan memublikasikannya ke Knowledge Catalog, klik Generate and publish (Pratinjau).

    Untuk membuat insight tanpa memublikasikannya ke Knowledge Catalog, klik Generate without publishing.

    Untuk mengetahui informasi selengkapnya tentang perbedaan antara mode Buat dan publikasikan dan Buat tanpa memublikasikan, lihat Mode untuk membuat insight.

  5. Pilih region untuk membuat insight, lalu klik Generate.

    Perlu waktu beberapa menit agar insight terisi.

    Jika hasil pembuatan profil data yang dipublikasikan untuk tabel tersedia, hasil tersebut akan digunakan untuk menghasilkan insight. Jika tidak, insight akan dibuat berdasarkan nama dan deskripsi kolom. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik untuk meningkatkan kualitas insight yang dihasilkan.

  6. Di tab Insight, pelajari pertanyaan bahasa alami yang dihasilkan.

  7. Untuk melihat kueri SQL yang menjawab pertanyaan, klik pertanyaan.

  8. Untuk membuka kueri di BigQuery, klik Copy to Query.

  9. Untuk mengajukan pertanyaan lanjutan, lakukan hal berikut:

    1. Klik Ajukan pertanyaan lanjutan. Kueri akan terbuka di data canvas baru.

    2. Klik Run, lalu klik Query these results.

    3. Untuk mengajukan pertanyaan lanjutan, masukkan perintah di kolom perintah Natural language atau edit SQL di editor kueri.

  10. Untuk membuat kumpulan kueri baru, klik Generate insights dan picu pipeline lagi.

Setelah Anda membuat insight untuk tabel, siapa pun yang memiliki izin dataplex.datascans.getData dan akses ke tabel dapat melihat insight tersebut.

REST

Untuk membuat insight secara terprogram, gunakan DataScans API Knowledge Catalog. Untuk melakukannya, selesaikan langkah-langkah berikut:

  1. Opsional: Membuat pemindaian profil data untuk tabel
  2. Membuat pemindaian data dokumentasi data untuk tabel BigQuery
  3. Memeriksa status pemindaian dokumentasi data
  4. Memublikasikan hasil pemindaian dokumentasi data ke tabel BigQuery

Opsional: Membuat pemindaian profil data untuk tabel

Adanya pemindaian profil data mengurangi halusinasi dan perkiraan oleh Gemini, karena Gemini mendasarkan output pada nilai nyata yang ada dalam data.

Untuk membuat dan menjalankan pemindaian profil data, ikuti langkah-langkah berikut:

  1. Buat pemindaian profil data menggunakan metode dataScans.create.

  2. Jalankan pemindaian profil data menggunakan metode dataScans.run. Tunggu hingga operasi selesai.

  3. Publikasikan hasil pemindaian ke tabel BigQuery dengan melampirkan label pembuatan profil data berikut ke tabel:

    • dataplex-dp-published-scan:DATASCAN_ID
    • dataplex-dp-published-project:PROJECT_ID
    • dataplex-dp-published-location:LOCATION

    Untuk mengetahui informasi selengkapnya, lihat Menambahkan label ke tabel dan tampilan.

Membuat pemindaian data dokumentasi data untuk tabel BigQuery

Anda dapat memilih untuk menjalankan pemindaian terkelola standar atau pemindaian satu kali yang disederhanakan.

Opsi A: Pemindaian terkelola standar (buat + jalankan)

Gunakan metode ini jika Anda ingin mengelola resource pemindaian dari waktu ke waktu.

  1. Buat pemindaian data dokumentasi data menggunakan metode dataScans.create.

Anda dapat menyesuaikan cakupan pembuatan untuk menyertakan skema, deskripsi, kueri, atau kombinasi menggunakan parameter generation_scopes. Secara opsional, Anda dapat memublikasikan insight ini ke Knowledge Catalog dengan menetapkan parameter catalogPublishingEnabled ke true.

  • Untuk membuat skema, deskripsi tabel, dan kueri SQL, biarkan data_documentation_spec kosong atau tetapkan generation_scopes ke ALL. Contoh:

      gcurl -X POST \
      https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
      dataScans?dataScanId=DATASCAN_ID \
      -d '{
        "data": {
          "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/\
      datasets/DATASET_ID/tables/TABLE_ID"
        },
        "executionSpec": {
          "trigger": { "onDemand": {} }
        },
        "type": "DATA_DOCUMENTATION",
        "dataDocumentationSpec": {
          "generationScopes": "ALL"
          "catalogPublishingEnabled": true
        }
      }'
    

    Ganti kode berikut:

    • PROJECT_ID: ID project Google Cloud Anda tempat set data berada
    • LOCATION: region tempat pemindaian data berjalan
    • DATASCAN_ID: nama unik yang Anda berikan untuk pemindaian ini
    • DATASET_ID: ID set data BigQuery yang sedang dipindai
    • TABLE_ID: ID tabel BigQuery yang sedang dipindai
  • Untuk membuat skema, deskripsi tabel, dan deskripsi kolom, tanpa kueri SQL, tetapkan generation_scopes ke TABLE_AND_COLUMN_DESCRIPTIONS. Contoh:

      gcurl -X POST \
      https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
      dataScans?dataScanId=DATASCAN_ID \
      -d '{
        "data": {
          "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/\
      datasets/DATASET_ID/tables/TABLE_ID"
        },
        "executionSpec": {
          "trigger": { "onDemand": {} }
        },
        "type": "DATA_DOCUMENTATION",
        "dataDocumentationSpec": {
          "generationScopes": "TABLE_AND_COLUMN_DESCRIPTIONS"
          "catalogPublishingEnabled": true
        }
      }'
    
  • Untuk membuat kueri SQL tanpa deskripsi, tetapkan generation_scopes ke SQL_QUERIES. Contoh:

      gcurl -X POST \
      https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
      dataScans?dataScanId=DATASCAN_ID \
      -d '{
        "data": {
          "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/\
      datasets/DATASET_ID/tables/TABLE_ID"
        },
        "executionSpec": {
          "trigger": { "onDemand": {} }
        },
        "type": "DATA_DOCUMENTATION",
        "dataDocumentationSpec": {
          "generationScopes": "SQL_QUERIES"
          "catalogPublishingEnabled": true
        }
      }'
    
  1. Mulai tugas pemindaian dokumentasi data menggunakan metode dataScans.run.

    Contoh:

    gcurl -X POST \
    https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\
    dataScans/DATASCAN_ID:run
    

    Permintaan ini menampilkan ID pekerjaan unik beserta status awal.

Opsi B: Pemindaian satu kali (disederhanakan)

Gunakan metode ini untuk memulai dan menyelesaikan pemindaian dalam satu panggilan API. Metode ini menghilangkan kebutuhan untuk memanggil metode run secara terpisah dan memungkinkan penghapusan otomatis resource pemindaian menggunakan fungsi Time to Live (TTL).

Buat dan picu pemindaian menggunakan metode dataScans.create. Misalnya:

gcurl -X POST \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans?\
dataScanId=DATASCAN_ID" \
-d '{
  "data": {
    "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/\
    tables/TABLE_ID"
  },
  "type": "DATA_DOCUMENTATION",
  "dataDocumentationSpec": {
    "generationScopes": "ALL",
    "catalogPublishingEnabled": true
  }
  "executionSpec": {
    "trigger": {
      "one_time": {
        "ttl_after_scan_completion": { "seconds": TTL_TIME }
      }
    }
  }
}'

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud Anda tempat set data berada
  • LOCATION: region tempat pemindaian data berjalan
  • DATASCAN_ID: nama unik yang Anda berikan untuk pemindaian ini
  • DATASET_ID: ID set data BigQuery yang sedang dipindai
  • TABLE_ID: ID tabel BigQuery yang sedang dipindai
  • TTL_TIME: durasi dalam detik setelah resource pemindaian harus dihapus secara otomatis (misalnya, 3600 untuk satu jam)

Memeriksa status pemindaian dokumentasi data

Periksa penyelesaian operasi tugas pemindaian menggunakan metode dataScans.get.

Gunakan ID pekerjaan untuk mengambil status tugas. Contoh:

gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID

Tugas selesai saat statusnya SUCCEEDED atau FAILURE.

Memublikasikan hasil pemindaian dokumentasi data ke tabel BigQuery

Untuk memublikasikan hasil pemindaian ke tabel BigQuery, lampirkan label dokumentasi data berikut ke tabel:

  • dataplex-data-documentation-published-scan:DATASCAN_ID
  • dataplex-data-documentation-published-project:PROJECT_ID
  • dataplex-data-documentation-published-location:LOCATION

Membuat insight untuk tabel eksternal BigQuery

Insight data BigQuery mendukung pembuatan insight untuk tabel eksternal BigQuery dengan data di Cloud Storage. Anda dan akun layanan Knowledge Catalog untuk project saat ini harus memiliki peran Storage Object Viewer (roles/storage.objectViewer) di bucket Cloud Storage yang berisi data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan akun utama ke kebijakan level bucket.

Untuk membuat insight bagi tabel eksternal BigQuery, ikuti petunjuk yang dijelaskan di bagian Membuat insight untuk tabel BigQuery dalam dokumen ini.

Membuat insight untuk tabel BigLake

Untuk membuat insight untuk tabel BigLake, ikuti langkah-langkah berikut:

  1. Aktifkan BigQuery Connection API di project Anda.

    Mengaktifkan BigQuery Connection API

  2. Membuat koneksi BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengelola koneksi.

  3. Berikan peran IAM Storage Object Viewer (roles/storage.objectViewer) ke akun layanan yang sesuai dengan koneksi BigQuery yang Anda buat.

    Anda dapat mengambil ID akun layanan dari detail koneksi.

  4. Untuk membuat insight, ikuti petunjuk yang dijelaskan di bagian Membuat insight untuk tabel BigQuery dalam dokumen ini.

Membuat deskripsi tabel dan kolom

Gemini di BigQuery otomatis membuat deskripsi tabel dan kolom saat Anda membuat insight data. Anda dapat mengedit deskripsi ini sesuai kebutuhan, lalu menyimpannya ke metadata tabel. Deskripsi yang disimpan digunakan untuk menghasilkan insight di masa mendatang.

Mengontrol bahasa pembuatan

Anda dapat memandu Gemini untuk membuat deskripsi tabel dan kolom dalam bahasa tertentu. Untuk melakukannya, tambahkan perintah singkat (misalnya, "Buat deskripsi tabel dan kolom menggunakan bahasa Prancis") ke deskripsi tabel yang ada sebelum Anda membuat insight data.

Saat Anda membuat insight, Gemini akan menafsirkan perintah ini dan menghasilkan metadata dalam bahasa yang diminta. Mekanisme ini berfungsi karena Gemini menggunakan deskripsi tabel yang ada sebagai konteks saat membuat deskripsi baru.

Untuk mengetahui daftar bahasa yang didukung, lihat Dukungan bahasa Gemini.

Buat deskripsi

Untuk membuat deskripsi tabel dan kolom, ikuti langkah-langkah berikut:

  1. Buat insight dengan mengikuti petunjuk yang dijelaskan di bagian yang relevan dalam dokumen ini:

  2. Klik tab Schema.

  3. Klik Lihat deskripsi kolom.

    Deskripsi tabel dan deskripsi kolom yang dibuat akan ditampilkan.

  4. Untuk mengedit dan menyimpan deskripsi tabel yang dihasilkan, lakukan hal berikut:

    1. Di bagian Table description, klik Save to details.

    2. Untuk mengganti deskripsi saat ini dengan deskripsi yang dihasilkan, klik Salin deskripsi yang disarankan.

    3. Edit deskripsi tabel sesuai kebutuhan, lalu klik Save to details.

      Deskripsi tabel akan segera diperbarui.

  5. Untuk mengedit dan menyimpan deskripsi kolom yang dihasilkan, lakukan hal berikut:

    1. Di bagian Column descriptions, klik Save to schema.

      Deskripsi kolom yang dibuat akan diisi di kolom New description untuk setiap kolom.

    2. Edit deskripsi kolom sesuai kebutuhan, lalu klik Save.

      Deskripsi kolom akan segera diperbarui.

  6. Untuk menutup panel pratinjau, klik Tutup.

Praktik terbaik untuk menghasilkan insight data

Untuk meningkatkan presisi insight yang dihasilkan, patuhi rekomendasi berikut:

  • Berikan deskripsi yang komprehensif. Pastikan tabel dan kolom dalam set data memiliki deskripsi yang jelas dan mendetail.

  • Mendasarkan insight pada pembuatan profil. Jika deskripsi tidak tersedia, pastikan pemindaian profil ditautkan ke setiap tabel dalam set data untuk membantu mendasari insight yang dihasilkan.

  • Tentukan aturan secara eksplisit. Sertakan hubungan atau logika bisnis apa pun yang digunakan modul insight untuk memengaruhi pembuatan hubungan dalam deskripsi tabel masing-masing.

Mendasarkan insight pada hasil pembuatan profil data

Dalam AI generatif, grounding adalah kemampuan untuk menghubungkan output model dengan sumber informasi yang dapat diverifikasi. Anda dapat mendasarkan insight tabel yang dihasilkan pada hasil pembuatan profil data. Pembuatan profil data menganalisis kolom dalam tabel BigQuery Anda dan mengidentifikasi karakteristik statistik umum, seperti nilai data umum dan distribusi data.

Saat membuat pemindaian profil data untuk tabel, Anda dapat memilih untuk memublikasikan hasil pemindaian ke halaman BigQuery dan Knowledge Catalog di konsol Google Cloud . Insights menggunakan hasil pembuatan profil data untuk membuat kueri yang lebih akurat dan relevan dengan melakukan hal berikut:

  1. Menganalisis hasil pembuatan profil data untuk mengidentifikasi pola, tren, atau pencilan yang menarik dalam data.

  2. Membuat kueri yang berfokus pada pola, tren, atau pencilan ini untuk mengungkap insight.

  3. Memvalidasi kueri yang dihasilkan berdasarkan hasil pembuatan profil data untuk memastikan bahwa kueri menampilkan hasil yang bermakna.

Tanpa pemindaian profil data, hal berikut akan terjadi:

  • Kueri yang dihasilkan lebih cenderung menyertakan klausa yang tidak akurat atau menghasilkan hasil yang tidak bermakna.

  • Deskripsi kolom yang dihasilkan hanya didasarkan pada nama kolom.

Pastikan pemindaian profil data untuk tabel Anda sudah yang terbaru dan hasilnya dipublikasikan ke BigQuery.

Anda dapat menyesuaikan setelan pembuatan profil data untuk meningkatkan ukuran sampel serta memfilter baris dan kolom. Setelah Anda menjalankan pemindaian profil data baru, buat ulang insight.

Kualitas insight set data juga meningkat secara signifikan jika tabel dalam set data memiliki hasil pembuatan profil data.

Menambahkan deskripsi tabel

Deskripsi tabel yang mendetail dan menjelaskan hal yang ingin Anda analisis dalam tabel dapat membantu Gemini in BigQuery menghasilkan insight yang lebih relevan untuk insight tabel dan set data. Setelah Anda menambahkan deskripsi tabel, buat ulang insight.

Misalnya, Anda dapat menambahkan deskripsi berikut ke tabel telco_churn seperti yang digunakan dalam Contoh insight data tabel:

This table tracks customer churn data, including subscription details, tenure,
and service usage, to predict customer churn behavior.

Jika Anda menyimpan deskripsi tabel yang dibuat Gemini, deskripsi tersebut akan digunakan untuk membuat insight di masa mendatang.

Menambahkan deskripsi kolom

Deskripsi kolom yang menjelaskan setiap kolom, atau hubungan antara satu kolom dengan kolom lainnya, dapat meningkatkan kualitas insight Anda untuk insight tabel dan set data. Setelah Anda memperbarui deskripsi kolom di tabel, buat ulang insight.

Misalnya, Anda dapat menambahkan deskripsi berikut ke kolom tertentu dari tabel telco_churn seperti yang digunakan dalam Contoh insight data tabel:

Untuk kolom tenure:

The number of months the customer has been with the service.

Untuk kolom churn:

Whether the customer has stopped using the service. TRUE indicates the customer
no longer uses the service, FALSE indicates the customer is active.

Jika Anda menyimpan deskripsi kolom yang dihasilkan Gemini, deskripsi tersebut akan digunakan untuk menghasilkan insight di masa mendatang.

Mengelola insight yang dihasilkan

Setelah membuat insight untuk tabel, Anda dapat mengelola, memperbarui, atau menghapusnya di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat mengelola insight tabel.

Langkah berikutnya