Membuat insight tabel
Insight tabel BigQuery memungkinkan Anda memahami struktur dan konten tabel BigQuery standar, tabel eksternal BigQuery, dan tabel BigLake dengan cepat tanpa menulis kueri yang kompleks. Anda dapat membuat kueri SQL berdasarkan pertanyaan bahasa alami, sehingga mengurangi waktu dan upaya yang diperlukan untuk menulis kueri secara manual.
Untuk ringkasan insight tabel dan set data, lihat Ringkasan insight data.
Mode untuk membuat insight data tabel
Saat membuat insight tabel, BigQuery menyediakan dua mode:
| Mode | Deskripsi | Penggunaan |
|---|---|---|
| Membuat dan memublikasikan (Pratinjau) |
Mempertahankan insight tabel yang dihasilkan ke Knowledge Catalog sebagai aspek metadata. Anda harus memiliki izin yang diperlukan untuk memublikasikan. Saat Anda menggunakan Buat dan publikasikan, tindakan berikut akan terjadi:
|
Gunakan mode ini untuk dokumentasi data di seluruh perusahaan yang persisten dan dapat digunakan kembali, atau saat membangun alur kerja tata kelola berbasis katalog. |
| Generate without publishing |
Membuat insight tabel seperti deskripsi, pertanyaan bahasa alami, dan kueri SQL sesuai permintaan. Generate without publishing tidak memublikasikan insight ke Knowledge Catalog. |
Gunakan mode ini untuk eksplorasi ad hoc yang cepat agar katalog tidak berantakan. |
Sebelum memulai
Insight data dihasilkan menggunakan Gemini di BigQuery. Untuk mulai membuat insight, Anda harus menyiapkan Gemini di BigQuery terlebih dahulu.
Mengaktifkan API
Untuk menggunakan insight data, aktifkan API berikut di project Anda: Dataplex API, BigQuery API, dan Gemini for Google Cloud API.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda
membuat project, kemungkinan Anda sudah memiliki izin ini melalui
peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui
peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin).
Pelajari cara memberikan peran.
Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan Gemini for Google Cloud API, lihat Mengaktifkan Gemini for Google Cloud API di project Google Cloud .
Peran dan izin
Untuk membuat, mengelola, dan mengambil insight data, minta administrator untuk memberi Anda peran Identity and Access Management (IAM) berikut:
- Dataplex DataScan Editor (
roles/dataplex.dataScanEditor) atau Dataplex DataScan Administrator (roles/dataplex.dataScanAdmin) pada project tempat Anda ingin membuat insight. - BigQuery Data Viewer (
roles/bigquery.dataViewer) di tabel BigQuery yang ingin Anda buat insight-nya. - BigQuery Data Editor (
roles/bigquery.dataEditor) di tabel BigQuery yang ingin Anda buat insight-nya. - BigQuery User
(
roles/bigquery.user) atau BigQuery Studio User (roles/bigquery.studioUser) di project tempat Anda ingin membuat insight.
Untuk mendapatkan akses hanya baca ke insight yang dihasilkan, minta administrator Anda untuk memberi Anda peran IAM berikut:
- Dataplex DataScan DataViewer (
roles/dataplex.dataScanDataViewer) pada project yang berisi tabel BigQuery yang ingin Anda lihat insight-nya.
Untuk memublikasikan insight data ke Knowledge Catalog, minta administrator untuk memberi Anda peran IAM berikut pada resource:
- Memublikasikan deskripsi sebagai aspek:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor) - Memublikasikan kueri sebagai aspek:
Dataplex Entry and EntryLink Owner (
roles/dataplex.entryOwner)
Untuk mengaktifkan API, minta administrator untuk memberi Anda peran IAM berikut:
- Service Usage Admin
(
roles/serviceusage.serviceUsageAdmin) di project tempat Anda ingin membuat insight.
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya. Untuk melihat izin yang benar-benar diperlukan untuk membuat insight, luaskan bagian Izin yang diperlukan:
Izin yang diperlukan
bigquery.jobs.createbigquery.tables.getbigquery.tables.getDatadataplex.datascans.createdataplex.datascans.getdataplex.datascans.getDatadataplex.datascans.run
Membuat insight untuk tabel BigQuery
Untuk membuat insight bagi tabel BigQuery, Anda dapat menggunakan konsolGoogle Cloud atau jenis pemindaian DATA_DOCUMENTATION yang didukung oleh DataScans API Knowledge Catalog.
Pemindaian ini menghasilkan metadata, kueri SQL untuk eksplorasi data, deskripsi skema, dan ringkasan tingkat tabel.
Konsol
Untuk membuat insight untuk tabel BigQuery, Anda harus mengakses entri tabel di BigQuery menggunakan BigQuery Studio.
Di konsol Google Cloud , buka BigQuery Studio.
Di panel Explorer, pilih project, set data, lalu tabel yang ingin Anda buat insight-nya.
Klik tab Insights. Jika tab kosong, berarti insight untuk tabel ini belum dibuat.
Untuk membuat insight dan memublikasikannya ke Knowledge Catalog, klik Generate and publish (Pratinjau).
Untuk membuat insight tanpa memublikasikannya ke Knowledge Catalog, klik Generate without publishing.
Untuk mengetahui informasi selengkapnya tentang perbedaan antara mode Buat dan publikasikan dan Buat tanpa memublikasikan, lihat Mode untuk membuat insight.
Pilih region untuk membuat insight, lalu klik Generate.
Perlu waktu beberapa menit agar insight terisi.
Jika hasil pembuatan profil data yang dipublikasikan untuk tabel tersedia, hasil tersebut akan digunakan untuk menghasilkan insight. Jika tidak, insight akan dibuat berdasarkan nama dan deskripsi kolom. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik untuk meningkatkan kualitas insight yang dihasilkan.
Di tab Insight, pelajari pertanyaan bahasa alami yang dihasilkan.
Untuk melihat kueri SQL yang menjawab pertanyaan, klik pertanyaan.
Untuk membuka kueri di BigQuery, klik Copy to Query.
Untuk mengajukan pertanyaan lanjutan, lakukan hal berikut:
Klik Ajukan pertanyaan lanjutan. Kueri akan terbuka di data canvas baru.
Klik Run, lalu klik Query these results.
Untuk mengajukan pertanyaan lanjutan, masukkan perintah di kolom perintah Natural language atau edit SQL di editor kueri.
Untuk membuat kumpulan kueri baru, klik Generate insights dan picu pipeline lagi.
Setelah Anda membuat insight untuk tabel, siapa pun yang memiliki
izin dataplex.datascans.getData dan akses ke tabel
dapat melihat insight tersebut.
REST
Untuk membuat insight secara terprogram, gunakan DataScans API Knowledge Catalog. Untuk melakukannya, selesaikan langkah-langkah berikut:
- Opsional: Membuat pemindaian profil data untuk tabel
- Membuat pemindaian data dokumentasi data untuk tabel BigQuery
- Memeriksa status pemindaian dokumentasi data
- Memublikasikan hasil pemindaian dokumentasi data ke tabel BigQuery
Opsional: Membuat pemindaian profil data untuk tabel
Adanya pemindaian profil data mengurangi halusinasi dan perkiraan oleh Gemini, karena Gemini mendasarkan output pada nilai nyata yang ada dalam data.
Untuk membuat dan menjalankan pemindaian profil data, ikuti langkah-langkah berikut:
Buat pemindaian profil data menggunakan metode
dataScans.create.Jalankan pemindaian profil data menggunakan metode
dataScans.run. Tunggu hingga operasi selesai.Publikasikan hasil pemindaian ke tabel BigQuery dengan melampirkan label pembuatan profil data berikut ke tabel:
dataplex-dp-published-scan:DATASCAN_IDdataplex-dp-published-project:PROJECT_IDdataplex-dp-published-location:LOCATION
Untuk mengetahui informasi selengkapnya, lihat Menambahkan label ke tabel dan tampilan.
Membuat pemindaian data dokumentasi data untuk tabel BigQuery
Anda dapat memilih untuk menjalankan pemindaian terkelola standar atau pemindaian satu kali yang disederhanakan.
Opsi A: Pemindaian terkelola standar (buat + jalankan)
Gunakan metode ini jika Anda ingin mengelola resource pemindaian dari waktu ke waktu.
- Buat pemindaian data dokumentasi data menggunakan
metode
dataScans.create.
Anda dapat menyesuaikan cakupan pembuatan untuk menyertakan skema, deskripsi, kueri, atau kombinasi menggunakan parameter generation_scopes. Secara opsional, Anda dapat memublikasikan insight ini ke
Knowledge Catalog dengan menetapkan
parameter catalogPublishingEnabled ke true.
Untuk membuat skema, deskripsi tabel, dan kueri SQL, biarkan
data_documentation_speckosong atau tetapkangeneration_scopeskeALL. Contoh:gcurl -X POST \ https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\ dataScans?dataScanId=DATASCAN_ID \ -d '{ "data": { "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/\ datasets/DATASET_ID/tables/TABLE_ID" }, "executionSpec": { "trigger": { "onDemand": {} } }, "type": "DATA_DOCUMENTATION", "dataDocumentationSpec": { "generationScopes": "ALL" "catalogPublishingEnabled": true } }'Ganti kode berikut:
- PROJECT_ID: ID project Google Cloud Anda tempat set data berada
- LOCATION: region tempat pemindaian data berjalan
- DATASCAN_ID: nama unik yang Anda berikan untuk pemindaian ini
- DATASET_ID: ID set data BigQuery yang sedang dipindai
- TABLE_ID: ID tabel BigQuery yang sedang dipindai
Untuk membuat skema, deskripsi tabel, dan deskripsi kolom, tanpa kueri SQL, tetapkan
generation_scopeskeTABLE_AND_COLUMN_DESCRIPTIONS. Contoh:gcurl -X POST \ https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\ dataScans?dataScanId=DATASCAN_ID \ -d '{ "data": { "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/\ datasets/DATASET_ID/tables/TABLE_ID" }, "executionSpec": { "trigger": { "onDemand": {} } }, "type": "DATA_DOCUMENTATION", "dataDocumentationSpec": { "generationScopes": "TABLE_AND_COLUMN_DESCRIPTIONS" "catalogPublishingEnabled": true } }'Untuk membuat kueri SQL tanpa deskripsi, tetapkan
generation_scopeskeSQL_QUERIES. Contoh:gcurl -X POST \ https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\ dataScans?dataScanId=DATASCAN_ID \ -d '{ "data": { "resource": "//bigquery.googleapis.com/projects/PROJECT_ID/\ datasets/DATASET_ID/tables/TABLE_ID" }, "executionSpec": { "trigger": { "onDemand": {} } }, "type": "DATA_DOCUMENTATION", "dataDocumentationSpec": { "generationScopes": "SQL_QUERIES" "catalogPublishingEnabled": true } }'
Mulai tugas pemindaian dokumentasi data menggunakan metode
dataScans.run.Contoh:
gcurl -X POST \ https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/\ dataScans/DATASCAN_ID:runPermintaan ini menampilkan ID pekerjaan unik beserta status awal.
Opsi B: Pemindaian satu kali (disederhanakan)
Gunakan metode ini untuk memulai dan menyelesaikan pemindaian dalam satu panggilan API. Metode ini menghilangkan kebutuhan untuk memanggil metode run secara terpisah dan memungkinkan penghapusan otomatis resource pemindaian menggunakan fungsi Time to Live (TTL).
Buat dan picu pemindaian menggunakan metode dataScans.create. Misalnya:
gcurl -X POST \
"https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans?\
dataScanId=DATASCAN_ID" \
-d '{
"data": {
"resource": "//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET_ID/\
tables/TABLE_ID"
},
"type": "DATA_DOCUMENTATION",
"dataDocumentationSpec": {
"generationScopes": "ALL",
"catalogPublishingEnabled": true
}
"executionSpec": {
"trigger": {
"one_time": {
"ttl_after_scan_completion": { "seconds": TTL_TIME }
}
}
}
}'
Ganti kode berikut:
- PROJECT_ID: ID project Google Cloud Anda tempat set data berada
- LOCATION: region tempat pemindaian data berjalan
- DATASCAN_ID: nama unik yang Anda berikan untuk pemindaian ini
- DATASET_ID: ID set data BigQuery yang sedang dipindai
- TABLE_ID: ID tabel BigQuery yang sedang dipindai
- TTL_TIME: durasi dalam detik setelah resource pemindaian harus dihapus secara otomatis (misalnya,
3600untuk satu jam)
Memeriksa status pemindaian dokumentasi data
Periksa penyelesaian operasi tugas pemindaian menggunakan
metode dataScans.get.
Gunakan ID pekerjaan untuk mengambil status tugas. Contoh:
gcurl -X GET https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataScans/DATASCAN_ID/jobs/JOB_ID
Tugas selesai saat statusnya SUCCEEDED atau FAILURE.
Memublikasikan hasil pemindaian dokumentasi data ke tabel BigQuery
Untuk memublikasikan hasil pemindaian ke tabel BigQuery, lampirkan label dokumentasi data berikut ke tabel:
dataplex-data-documentation-published-scan:DATASCAN_IDdataplex-data-documentation-published-project:PROJECT_IDdataplex-data-documentation-published-location:LOCATION
Membuat insight untuk tabel eksternal BigQuery
Insight data BigQuery mendukung pembuatan insight untuk tabel eksternal BigQuery dengan data di Cloud Storage.
Anda dan akun layanan Knowledge Catalog untuk project saat ini harus memiliki peran Storage Object Viewer (roles/storage.objectViewer) di bucket Cloud Storage yang berisi data. Untuk mengetahui informasi selengkapnya, lihat Menambahkan akun utama ke kebijakan level bucket.
Untuk membuat insight bagi tabel eksternal BigQuery, ikuti petunjuk yang dijelaskan di bagian Membuat insight untuk tabel BigQuery dalam dokumen ini.
Membuat insight untuk tabel BigLake
Untuk membuat insight untuk tabel BigLake, ikuti langkah-langkah berikut:
Aktifkan BigQuery Connection API di project Anda.
Membuat koneksi BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengelola koneksi.
Berikan peran IAM Storage Object Viewer (
roles/storage.objectViewer) ke akun layanan yang sesuai dengan koneksi BigQuery yang Anda buat.Anda dapat mengambil ID akun layanan dari detail koneksi.
Untuk membuat insight, ikuti petunjuk yang dijelaskan di bagian Membuat insight untuk tabel BigQuery dalam dokumen ini.
Membuat deskripsi tabel dan kolom
Gemini di BigQuery otomatis membuat deskripsi tabel dan kolom saat Anda membuat insight data. Anda dapat mengedit deskripsi ini sesuai kebutuhan, lalu menyimpannya ke metadata tabel. Deskripsi yang disimpan digunakan untuk menghasilkan insight di masa mendatang.
Mengontrol bahasa pembuatan
Anda dapat memandu Gemini untuk membuat deskripsi tabel dan kolom dalam bahasa tertentu. Untuk melakukannya, tambahkan perintah singkat (misalnya, "Buat deskripsi tabel dan kolom menggunakan bahasa Prancis") ke deskripsi tabel yang ada sebelum Anda membuat insight data.
Saat Anda membuat insight, Gemini akan menafsirkan perintah ini dan menghasilkan metadata dalam bahasa yang diminta. Mekanisme ini berfungsi karena Gemini menggunakan deskripsi tabel yang ada sebagai konteks saat membuat deskripsi baru.
Untuk mengetahui daftar bahasa yang didukung, lihat Dukungan bahasa Gemini.
Buat deskripsi
Untuk membuat deskripsi tabel dan kolom, ikuti langkah-langkah berikut:
Buat insight dengan mengikuti petunjuk yang dijelaskan di bagian yang relevan dalam dokumen ini:
Klik tab Schema.
Klik Lihat deskripsi kolom.
Deskripsi tabel dan deskripsi kolom yang dibuat akan ditampilkan.
Untuk mengedit dan menyimpan deskripsi tabel yang dihasilkan, lakukan hal berikut:
Di bagian Table description, klik Save to details.
Untuk mengganti deskripsi saat ini dengan deskripsi yang dihasilkan, klik Salin deskripsi yang disarankan.
Edit deskripsi tabel sesuai kebutuhan, lalu klik Save to details.
Deskripsi tabel akan segera diperbarui.
Untuk mengedit dan menyimpan deskripsi kolom yang dihasilkan, lakukan hal berikut:
Di bagian Column descriptions, klik Save to schema.
Deskripsi kolom yang dibuat akan diisi di kolom New description untuk setiap kolom.
Edit deskripsi kolom sesuai kebutuhan, lalu klik Save.
Deskripsi kolom akan segera diperbarui.
Untuk menutup panel pratinjau, klik Tutup.
Praktik terbaik untuk menghasilkan insight data
Untuk meningkatkan presisi insight yang dihasilkan, patuhi rekomendasi berikut:
Berikan deskripsi yang komprehensif. Pastikan tabel dan kolom dalam set data memiliki deskripsi yang jelas dan mendetail.
Mendasarkan insight pada pembuatan profil. Jika deskripsi tidak tersedia, pastikan pemindaian profil ditautkan ke setiap tabel dalam set data untuk membantu mendasari insight yang dihasilkan.
Tentukan aturan secara eksplisit. Sertakan hubungan atau logika bisnis apa pun yang digunakan modul insight untuk memengaruhi pembuatan hubungan dalam deskripsi tabel masing-masing.
Mendasarkan insight pada hasil pembuatan profil data
Dalam AI generatif, grounding adalah kemampuan untuk menghubungkan output model dengan sumber informasi yang dapat diverifikasi. Anda dapat mendasarkan insight tabel yang dihasilkan pada hasil pembuatan profil data. Pembuatan profil data menganalisis kolom dalam tabel BigQuery Anda dan mengidentifikasi karakteristik statistik umum, seperti nilai data umum dan distribusi data.
Saat membuat pemindaian profil data untuk tabel, Anda dapat memilih untuk memublikasikan hasil pemindaian ke halaman BigQuery dan Knowledge Catalog di konsol Google Cloud . Insights menggunakan hasil pembuatan profil data untuk membuat kueri yang lebih akurat dan relevan dengan melakukan hal berikut:
Menganalisis hasil pembuatan profil data untuk mengidentifikasi pola, tren, atau pencilan yang menarik dalam data.
Membuat kueri yang berfokus pada pola, tren, atau pencilan ini untuk mengungkap insight.
Memvalidasi kueri yang dihasilkan berdasarkan hasil pembuatan profil data untuk memastikan bahwa kueri menampilkan hasil yang bermakna.
Tanpa pemindaian profil data, hal berikut akan terjadi:
Kueri yang dihasilkan lebih cenderung menyertakan klausa yang tidak akurat atau menghasilkan hasil yang tidak bermakna.
Deskripsi kolom yang dihasilkan hanya didasarkan pada nama kolom.
Pastikan pemindaian profil data untuk tabel Anda sudah yang terbaru dan hasilnya dipublikasikan ke BigQuery.
Anda dapat menyesuaikan setelan pembuatan profil data untuk meningkatkan ukuran sampel serta memfilter baris dan kolom. Setelah Anda menjalankan pemindaian profil data baru, buat ulang insight.
Kualitas insight set data juga meningkat secara signifikan jika tabel dalam set data memiliki hasil pembuatan profil data.
Menambahkan deskripsi tabel
Deskripsi tabel yang mendetail dan menjelaskan hal yang ingin Anda analisis dalam tabel dapat membantu Gemini in BigQuery menghasilkan insight yang lebih relevan untuk insight tabel dan set data. Setelah Anda menambahkan deskripsi tabel, buat ulang insight.
Misalnya, Anda dapat menambahkan deskripsi berikut ke tabel telco_churn
seperti yang digunakan dalam
Contoh insight data tabel:
This table tracks customer churn data, including subscription details, tenure,
and service usage, to predict customer churn behavior.
Jika Anda menyimpan deskripsi tabel yang dibuat Gemini, deskripsi tersebut akan digunakan untuk membuat insight di masa mendatang.
Menambahkan deskripsi kolom
Deskripsi kolom yang menjelaskan setiap kolom, atau hubungan antara satu kolom dengan kolom lainnya, dapat meningkatkan kualitas insight Anda untuk insight tabel dan set data. Setelah Anda memperbarui deskripsi kolom di tabel, buat ulang insight.
Misalnya, Anda dapat menambahkan deskripsi berikut ke kolom tertentu dari tabel telco_churn seperti yang digunakan dalam Contoh insight data tabel:
Untuk kolom tenure:
The number of months the customer has been with the service.
Untuk kolom churn:
Whether the customer has stopped using the service. TRUE indicates the customer
no longer uses the service, FALSE indicates the customer is active.
Jika Anda menyimpan deskripsi kolom yang dihasilkan Gemini, deskripsi tersebut akan digunakan untuk menghasilkan insight di masa mendatang.
Mengelola insight yang dihasilkan
Setelah membuat insight untuk tabel, Anda dapat mengelola, memperbarui, atau menghapusnya di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat mengelola insight tabel.
Langkah berikutnya
- Pelajari insight data.
- Pelajari cara membuat insight set data.
- Pelajari lebih lanjut pembuatan profil data Knowledge Catalog.