Menggunakan insight data untuk data terstruktur

Dokumen ini menjelaskan cara membuat, melihat, dan mengelola insight data untuk data terstruktur Anda. Menggunakan insight data yang didukung AI membantu Anda mempercepat eksplorasi data dengan membuat deskripsi, grafik hubungan, dan kueri SQL secara otomatis dari metadata tabel dan set data Anda.

Di BigQuery Studio, Anda dapat membuat insight data untuk set data, tabel, tampilan, Google Cloud tabel Lakehouse, dan tabel eksternal BigQuery.

Di Knowledge Catalog, Anda dapat membuat insight data untuk tabel katalog REST Iceberg Lakehouse.

Sebelum memulai

Sebelum menggunakan insight data, pastikan Anda telah menyelesaikan prasyarat berikut:

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan insight data, minta administrator untuk memberi Anda peran IAM berikut:

• Mendapatkan akses hanya baca ke insight yang dihasilkan: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) di project yang berisi resource
• Membaca data tabel Katalog REST Iceberg: Pelihat BigLake (roles/biglake.viewer) pada resource
• Memublikasikan deskripsi sebagai aspek: Editor Katalog Dataplex (roles/dataplex.catalogEditor) pada resource
• Memublikasikan kueri sebagai aspek: Pemilik Entri dan EntryLink Dataplex (roles/dataplex.entryOwner) pada resource

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menggunakan insight data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan insight data:

• dataplex.datascans.create
• dataplex.datascans.get
• dataplex.datascans.getData
• dataplex.datascans.run

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengaktifkan API

Untuk menggunakan insight data, aktifkan API berikut di project Anda:

• Dataplex API
• BigQuery API
• Gemini for Google Cloud API

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

Aktifkan API

Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan Gemini for Google Cloud API, lihat Mengaktifkan Gemini for Google Cloud API di sebuah Google Cloud project.

Menyiapkan data

Untuk tabel Lakehouse, pastikan data Anda berada di Cloud Storage dan Anda telah membuat tabel Lakehouse. Google Cloud Google Cloud

Untuk tabel Katalog REST Iceberg, pastikan tabel Anda terdaftar di katalog runtime Lakehouse.

Menghasilkan insight di BigQuery

Insight data untuk set data, tabel, tampilan, tabel Lakehouse, dan tabel eksternal BigQuery dihasilkan menggunakan Gemini in BigQuery dan hanya dapat dihasilkan di BigQuery Studio.Google Cloud

Anda harus menyiapkan Gemini di BigQuery terlebih dahulu, lalu membuat insight. Setelah membuat analisis, Anda dapat melihat dan mengubahnya di Knowledge Catalog.

Untuk mengetahui informasi selengkapnya tentang cara membuat insight di BigQuery, lihat dokumen berikut:

• Ringkasan insight data
• Membuat insight tabel
• Membuat insight set data

Catatan: Gemini in BigQuery adalah bagian dari Gemini untuk Google Cloud dan tidak mendukung penawaran kepatuhan dan keamanan yang sama seperti BigQuery. Anda hanya boleh menyiapkan Gemini in BigQuery untuk project BigQuery yang tidak memerlukan penawaran kepatuhan yang tidak didukung oleh Gemini for Google Cloud. Untuk mengetahui informasi tentang cara menonaktifkan atau mencegah akses ke Gemini in BigQuery, lihat Menonaktifkan Gemini in BigQuery.

Membuat insight untuk tabel Katalog REST Iceberg

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

1. Di konsol Google Cloud , buka halaman Penelusuran Knowledge Catalog.

   Buka Penelusuran

2. Di Filter, pilih Lakehouse.

3. Pilih tabel Iceberg REST Catalog yang ingin Anda buat insight-nya.

4. Klik tab Insights. Jika tab kosong, berarti insight untuk tabel ini belum dibuat.

5. Untuk membuat insight dan melampirkannya secara permanen ke tabel sebagai aspek, klik Buat dan publikasikan. Hal ini membuat insight dapat diindeks, dapat ditelusuri, dan dapat dilihat oleh pengguna lain di organisasi Anda dalam Knowledge Catalog.

   Untuk membuat insight dan melihatnya sementara selama sesi saat ini, klik Buat tanpa memublikasikan. Gunakan opsi ini jika Anda hanya memerlukan analisis cepat data tanpa menyimpan metadata ke Knowledge Catalog.

   Untuk mengetahui informasi selengkapnya tentang perbedaan antara mode Buat dan publikasikan dan Buat tanpa memublikasikan, lihat Mode untuk membuat insight data.

6. Pilih region untuk membuat insight, lalu klik Buat.

   Perlu waktu beberapa menit hingga insight diisi.

7. Klik tab Insights dan tinjau hal berikut:

   • Deskripsi: Ini adalah ringkasan buatan AI yang menjelaskan tujuan tabel dan merinci kolom tertentu.
   • Contoh kueri: Ini adalah daftar kueri SQL yang disesuaikan dan dirancang khusus untuk skema dan konten set data Anda.

8. Untuk melihat kueri SQL yang menjawab pertanyaan, klik pertanyaan.

Meninjau insight yang dihasilkan untuk resource

Untuk melihat insight yang dihasilkan untuk resource, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Knowledge Catalog Search.

   Buka Penelusuran

2. Telusuri resource yang ingin Anda lihat insight-nya.

3. Di hasil penelusuran, klik resource untuk membuka halaman detail entri.

4. Tinjau Deskripsi dan Kueri yang dibuat untuk resource yang dipilih.

5. Untuk melihat grafik hubungan guna memahami cara titik data terhubung, klik tab Hubungan (Pratinjau). Anda hanya dapat melihat hubungan di tingkat tabel, bukan di tingkat set data.

Mengelola insight tabel

Setelah membuat dan memublikasikan insight tabel, Anda dapat meninjau dan mengelolanya sebagai aspek metadata di Knowledge Catalog. Insight tingkat tabel mencakup deskripsi tabel dan kolom, serta contoh kueri.

Memperbarui deskripsi yang dihasilkan untuk tabel

Anda dapat memperbarui deskripsi tabel dan kolom hanya menggunakan Dataplex API. Untuk melakukannya, gunakan metode entries.patch.

Memperbarui kueri yang dihasilkan untuk tabel

Anda dapat memperbarui kueri yang dihasilkan untuk tabel menggunakan Google Cloud konsol dan Dataplex API.

Konsol

1. Telusuri tabel yang ingin Anda perbarui kueri yang dihasilkan.

2. Di hasil penelusuran, klik tabel untuk membuka halaman detail entri.

3. Di bagian Queries, klik Edit.

4. Perbarui deskripsi kueri sesuai kebutuhan.

5. Mengelola kepemilikan: Secara default, Sumber disetel ke Agen. Jika Anda memodifikasi kueri dan mengubah sumber ke Pengguna, eksekusi pembuatan insight selanjutnya tidak akan menggantikan perubahan Anda. Jika Sumber tetap Agen, kueri dapat diganti selama regenerasi.

6. Mengelola penggantian: Untuk mencegah semua kueri diganti selama penayangan ulang, Anda dapat menyetel opsi Dikelola pengguna ke Benar. Hal ini berlaku untuk seluruh kumpulan kueri untuk aspek metadata tersebut, sehingga memastikan tidak ada perubahan manual yang hilang.

REST

Untuk memperbarui kueri untuk tabel, gunakan metode entries.patch.

Memperbarui relasi yang dihasilkan untuk tabel

Anda dapat memperbarui hubungan hanya menggunakan Dataplex API. Untuk melakukannya, gunakan metode entries.patch.

Mengelola insight set data

Insight tingkat set data berfokus pada deskripsi tingkat tinggi dan kueri di seluruh set data.

Memperbarui deskripsi yang dibuat untuk set data

Anda dapat memperbarui deskripsi set data hanya menggunakan Dataplex API. Untuk melakukannya, gunakan metode entries.patch.

Memperbarui kueri yang dihasilkan untuk set data

Anda dapat memperbarui kueri yang dihasilkan untuk set data menggunakan Google Cloud konsol dan Dataplex API.

Konsol

1. Telusuri set data yang kueri yang dihasilkan ingin Anda perbarui.

2. Di hasil penelusuran, klik set data untuk membuka halaman detail entri.

3. Di bagian Queries, klik Edit.

4. Perbarui deskripsi sesuai kebutuhan.

5. Mengelola kepemilikan: Secara default, Sumber disetel ke Agen. Jika Anda memodifikasi kueri dan mengubah sumber ke Pengguna, eksekusi pembuatan insight selanjutnya tidak akan menggantikan perubahan Anda. Jika Sumber tetap Agen, kueri dapat diganti selama regenerasi.

6. Mengelola penggantian: Untuk mencegah semua kueri diganti selama penayangan ulang, Anda dapat menyetel opsi Dikelola pengguna ke Benar. Hal ini berlaku untuk seluruh kumpulan kueri untuk aspek metadata tersebut, sehingga memastikan tidak ada perubahan manual yang hilang.

REST

Untuk memperbarui kueri set data, gunakan metode entries.patch.

Memperbarui link entri yang dihasilkan untuk set data

Hubungan yang ditemukan oleh insight data disimpan sebagai link entri antar-entri tabel. Link ini mencakup aspek schema-join yang menjelaskan cara tabel terhubung.

Untuk mengedit hubungan ini atau memberikan penggantian manual, Anda harus menggunakan Dataplex API.

Perilaku pembaruan link entri

Saat mengelola hubungan menggunakan API, penting untuk memahami cara interaksi pembaruan API manual dengan pemindaian latar belakang otomatis agar Anda tidak secara tidak sengaja menimpa data.

• Update manual (perilaku tingkat API): API UpdateEntryLink menggunakan metode PATCH untuk melakukan penggantian tingkat aspek:

  • Penggantian aspek penuh: Jika Anda menyertakan aspek schema-join dalam permintaan pembaruan, Knowledge Catalog akan mengganti seluruh aspek yang ada dengan aspek baru yang Anda berikan.

  • Tidak ada penggabungan otomatis: API tidak otomatis menggabungkan entri baru ke dalam daftar joins internal. Jika Anda mengirimkan payload yang hanya berisi satu gabungan, semua gabungan yang ada sebelumnya dalam aspek tersebut akan dihapus.

  Peringatan: Untuk menambahkan hubungan baru sambil mempertahankan hubungan yang ada menggunakan API, Anda harus mengambil aspek schema-join saat ini terlebih dahulu dan menyertakan semua gabungan yang ada dalam isi permintaan update.

• Pemindaian otomatis (perilaku tingkat sistem): Pemindaian otomatis, seperti insight data, melakukan logika penggabungan khusus sebelum memanggil API untuk memastikan metadata dengan kepastian tinggi dipertahankan berdasarkan sumbernya:

  • Prioritas sumber: Jika beberapa sumber mengidentifikasi hubungan yang sama, Knowledge Catalog akan memprioritaskannya dalam urutan berikut:

    1. USER (Pengeditan manual)
    2. TABLE_CONSTRAINTS
    3. QUERY_HISTORY
    4. AGENT (saran LLM)

  • Keaktualan LLM: Hubungan yang berasal dari sumber AGENT bersifat dinamis. Jika pemindaian berikutnya tidak lagi merekomendasikan hubungan, hubungan tersebut akan dihapus.

Memperbarui link entri

Untuk melihat dan mengubah link entri, selesaikan langkah-langkah berikut:

Catatan: Untuk memastikan perubahan manual Anda tidak ditimpa atau diubah oleh proses latar belakang otomatis, gunakan konfigurasi berikut dalam data aspek Anda:

• userManaged: true: Tetapkan ini di tingkat aspek untuk menginstruksikan Knowledge Catalog agar melewati semua pembaruan otomatis untuk hubungan ini sepenuhnya.
• inferenceSource: "USER": Tetapkan ini dalam entri gabungan tertentu untuk mengidentifikasi entri tersebut sebagai diverifikasi secara manual, sehingga melindunginya selama proses penggabungan standar.

1. Identifikasi link entri.

   Sebelum Anda dapat memperbarui hubungan, temukan nama resource-nya dengan mencantumkan semua link entri yang melibatkan entri tabel tertentu:

   gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""
   

   Ganti kode berikut:

   • PROJECT_ID: ID project Google Cloud Anda
   • LOCATION: region tempat pemindaian data Anda dipicu
   • TABLE_ENTRY_NAME: nama lengkap resource entri tabel BigQuery (misalnya, bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

2. Perbarui link entri.

   Untuk mengubah aspek schema-join dari link entri yang ditargetkan, gunakan metode PATCH:

   Catatan: Untuk memastikan bahwa pemindaian otomatis berikutnya tidak menimpa perubahan manual Anda, tetapkan inferenceSource: "USER" di isi permintaan Anda.

   gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
   -d '{
     "aspects": {
       "dataplex-types.global.schema-join": {
         "data": {
           "joins": [
             {
               "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
               "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
               "type": "JOIN",
               "inferenceSource": "USER"
             }
           ],
           "userManaged": false
         }
       }
     }
   }'
   

   Ganti kode berikut:

   • ENTRYLINK_ID: ID link entri yang diambil pada langkah identifikasi sebelumnya
   • DATASET_ID: ID set data BigQuery Anda
   • SOURCE_TABLE: nama tabel sumber
   • SOURCE_FIELD: nama kolom yang digunakan untuk gabungan dalam tabel sumber
   • TARGET_TABLE: nama tabel target
   • TARGET_FIELD: nama kolom yang digunakan untuk penggabungan dalam tabel target

Langkah berikutnya

• Pelajari lebih lanjut insight data untuk data terstruktur.

• Pelajari cara Menggunakan pemindaian penemuan untuk data tidak terstruktur.

• Pelajari cara Menggunakan profil data untuk data tidak terstruktur.