Menggunakan insight data untuk data terstruktur

Insight data yang didukung AI memungkinkan Anda membuat deskripsi, grafik hubungan, dan kueri SQL secara otomatis dari metadata tabel dan set data terstruktur. Kemudian, Anda dapat melihat dan mengelola insight ini di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) untuk mempercepat eksplorasi data.

Sebelum memulai

Sebelum menggunakan insight data, pastikan Anda telah menyelesaikan prasyarat berikut:

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan insight data, minta administrator untuk memberi Anda peran IAM berikut:

• Mendapatkan akses hanya baca ke insight yang dihasilkan: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer) pada project yang berisi resource
• Membaca data tabel Apache Iceberg, Apache Hive, atau SAP BDC: BigLake Viewer (roles/biglake.viewer) pada resource
• Memublikasikan deskripsi sebagai aspek: Dataplex Catalog Editor (roles/dataplex.catalogEditor) pada resource
• Memublikasikan kueri sebagai aspek: Dataplex Entry and EntryLink Owner (roles/dataplex.entryOwner) pada resource

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan insight data. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan insight data:

• dataplex.datascans.create
• dataplex.datascans.get
• dataplex.datascans.getData
• dataplex.datascans.run

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengaktifkan API

Untuk menggunakan insight data, aktifkan API berikut di project Anda:

• Dataplex API
• BigQuery API
• Gemini for Google Cloud API

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Aktifkan API

Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan Gemini for Google Cloud API, lihat Mengaktifkan Gemini for Google Cloud API di project Google Cloud .

Menyiapkan data

Untuk tabel Lakehouse, pastikan data Anda ada di Cloud Storage dan Anda telah membuat tabel Lakehouse.

Untuk tabel Katalog REST Apache Iceberg, pastikan tabel Anda terdaftar di katalog runtime Lakehouse.

Menghasilkan insight di BigQuery

Di BigQuery Studio, Anda dapat menggunakan Gemini in BigQuery untuk membuat insight data untuk set data, tabel, tampilan, Google Cloud tabel BigLake, tabel eksternal BigQuery, dan namespace Apache Iceberg. Anda hanya dapat membuat insight untuk resource ini di BigQuery Studio.

Anda harus menyiapkan Gemini di BigQuery terlebih dahulu, lalu membuat insight. Setelah membuat insight, Anda dapat melihat dan mengubahnya di Knowledge Catalog.

Untuk mengetahui informasi selengkapnya tentang cara membuat insight di BigQuery, lihat dokumen berikut:

• Ringkasan insight data
• Membuat insight tabel
• Membuat insight set data

Catatan: Gemini in BigQuery adalah bagian dari Gemini untuk Google Cloud dan tidak mendukung penawaran kepatuhan dan keamanan yang sama seperti BigQuery. Anda hanya boleh menyiapkan Gemini di BigQuery untuk project BigQuery yang tidak memerlukan penawaran kepatuhan yang tidak didukung oleh Gemini untuk Google Cloud. Untuk mengetahui informasi tentang cara menonaktifkan atau mencegah akses ke Gemini di BigQuery, lihat Menonaktifkan Gemini di BigQuery.

Membuat insight untuk tabel dan namespace Apache Iceberg

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Di Knowledge Catalog, Anda dapat membuat insight data untuk tabel dan namespace Apache Iceberg, Apache Hive, dan SAP BDC yang dikelola oleh Lakehouse tanpa batas dari Google Cloud.

Untuk membuat insight bagi resource ini, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Search Knowledge Catalog.

   Buka Penelusuran

2. Di Filter, temukan jenis aset Anda:

   • Untuk tabel Apache Iceberg: Pilih Lakehouse.
   • Untuk namespace Apache Iceberg: Tetapkan filter system ke BIGLAKE dan filter type ke namespace.

3. Pilih tabel atau namespace Apache Iceberg dari hasil penelusuran untuk membuka halaman detail entrinya.

4. Klik tab Insights. Jika tab kosong, berarti insight untuk tabel ini belum dibuat.

5. Pilih opsi pembuatan:

   • Untuk membuat dan melampirkan insight secara permanen ke aset sebagai aspek metadata, klik Generate and publish. Hal ini membuat insight dapat diindeks, ditelusuri, dan dilihat oleh pengguna lain di organisasi Anda dalam Knowledge Catalog.

   • Untuk membuat dan melihat insight sementara selama sesi saat ini, klik Generate without publishing.

   Untuk mengetahui informasi selengkapnya tentang perbedaan antara mode Buat dan publikasikan dan Buat tanpa memublikasikan, lihat Mode untuk membuat insight data.

6. Pilih region untuk membuat insight, lalu klik Generate.

   Perlu waktu beberapa menit hingga insight terisi.

7. Klik tab Insights dan tinjau metadata yang dihasilkan:

   • Untuk tabel: Tinjau deskripsi dan contoh kueri yang dibuat AI.
   • Untuk namespace: Tinjau deskripsi set data, grafik hubungan interaktif, dan rekomendasi kueri.

   Untuk melihat kueri SQL yang menjawab pertanyaan, klik pertanyaan.

Meninjau insight yang dihasilkan untuk resource

Untuk melihat insight yang dihasilkan untuk suatu resource, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Search Knowledge Catalog.

   Buka Penelusuran

2. Telusuri resource yang ingin Anda lihat insight-nya.

3. Di hasil penelusuran, klik resource untuk membuka halaman detail entrinya.

4. Tinjau Deskripsi dan Kueri yang dibuat untuk resource yang dipilih.

5. Untuk melihat grafik hubungan guna memahami cara titik data terhubung, klik tab Relationships (Preview). Anda dapat melihat hubungan di tingkat tabel, atau di tingkat set data dan namespace jika Anda telah membuat insight set data.

Mengelola insight tabel

Setelah membuat dan memublikasikan insight tabel, Anda dapat meninjau dan mengelolanya sebagai aspek metadata di Knowledge Catalog. Insight tingkat tabel mencakup deskripsi tabel dan kolom, serta contoh kueri.

Memperbarui deskripsi yang dihasilkan untuk tabel

Anda dapat memperbarui deskripsi tabel dan kolom hanya menggunakan Dataplex API. Untuk melakukannya, gunakan metode entries.patch.

Memperbarui kueri yang dihasilkan untuk tabel

Anda dapat memperbarui kueri yang dihasilkan untuk tabel menggunakan konsol Google Cloud dan Dataplex API.

Konsol

1. Telusuri tabel yang ingin Anda perbarui kueri yang dihasilkan.

2. Di hasil penelusuran, klik tabel untuk membuka halaman detail entrinya.

3. Di bagian Kueri, klik Edit.

4. Perbarui deskripsi kueri sesuai kebutuhan.

5. Mengelola kepemilikan: Secara default, Sumber ditetapkan ke Agen. Jika Anda mengubah kueri dan mengubah sumbernya menjadi User, operasi pembuatan insight berikutnya tidak akan mengganti perubahan Anda. Jika Source tetap Agent, kueri dapat diganti selama pembuatan ulang.

6. Mengelola penggantian: Untuk mencegah semua kueri diganti selama penayangan ulang, Anda dapat menetapkan opsi User managed ke True. Hal ini berlaku untuk seluruh kumpulan kueri untuk aspek metadata tersebut, sehingga memastikan tidak ada perubahan manual yang hilang.

REST

Untuk memperbarui kueri tabel, gunakan metode entries.patch.

Memperbarui hubungan yang dihasilkan untuk tabel

Anda hanya dapat memperbarui hubungan menggunakan Dataplex API. Untuk melakukannya, gunakan metode entries.patch.

Mengelola insight set data

Insight tingkat set data berfokus pada deskripsi umum dan kueri di seluruh set data.

Memperbarui deskripsi yang dihasilkan untuk set data

Anda dapat memperbarui deskripsi set data hanya menggunakan Dataplex API. Untuk melakukannya, gunakan metode entries.patch.

Memperbarui kueri yang dihasilkan untuk set data

Anda dapat memperbarui kueri yang dihasilkan untuk set data menggunakan konsol Google Cloud dan Dataplex API.

Konsol

1. Telusuri set data yang ingin Anda perbarui kueri yang dihasilkan.

2. Di hasil penelusuran, klik set data untuk membuka halaman detail entrinya.

3. Di bagian Kueri, klik Edit.

4. Perbarui deskripsi sesuai kebutuhan.

5. Mengelola kepemilikan: Secara default, Sumber ditetapkan ke Agen. Jika Anda mengubah kueri dan mengubah sumbernya menjadi User, operasi pembuatan insight berikutnya tidak akan mengganti perubahan Anda. Jika Source tetap Agent, kueri dapat diganti selama pembuatan ulang.

6. Mengelola penggantian: Untuk mencegah semua kueri diganti selama penayangan ulang, Anda dapat menetapkan opsi User managed ke True. Hal ini berlaku untuk seluruh kumpulan kueri untuk aspek metadata tersebut, sehingga memastikan tidak ada perubahan manual yang hilang.

REST

Untuk memperbarui kueri set data, gunakan metode entries.patch.

Memperbarui link entri yang dihasilkan untuk set data

Hubungan yang ditemukan oleh insight data disimpan sebagai link entri di antara entri tabel. Link ini mencakup aspek schema-join yang menjelaskan cara tabel terhubung.

Untuk mengedit hubungan ini atau memberikan penggantian manual, Anda harus menggunakan Dataplex API.

Perilaku update link entri

Saat mengelola hubungan menggunakan API, penting untuk memahami cara pembaruan API manual berinteraksi dengan pemindaian latar belakang otomatis agar Anda tidak secara tidak sengaja menimpa data.

• Update manual (perilaku tingkat API): UpdateEntryLink API menggunakan metode PATCH untuk melakukan penggantian tingkat aspek:

  • Penggantian aspek penuh: Jika Anda menyertakan aspek schema-join dalam permintaan update, Knowledge Catalog akan mengganti seluruh aspek yang ada dengan aspek baru yang Anda berikan.

  • Tidak ada penggabungan otomatis: API tidak otomatis menggabungkan entri baru ke dalam daftar joins internal. Jika Anda mengirimkan payload yang hanya berisi satu gabungan, semua gabungan yang sudah ada sebelumnya dalam aspek tersebut akan dihapus.

  Peringatan: Untuk menambahkan hubungan baru sambil mempertahankan hubungan yang sudah ada menggunakan API, Anda harus mengambil aspek schema-join saat ini terlebih dahulu dan menyertakan semua gabungan yang ada dalam isi permintaan update.

• Pemindaian otomatis (perilaku tingkat sistem): Pemindaian otomatis, seperti insight data, menjalankan logika penggabungan khusus sebelum memanggil API untuk memastikan bahwa metadata dengan kepastian tinggi dipertahankan berdasarkan sumbernya:

  • Prioritas sumber: Jika beberapa sumber mengidentifikasi hubungan yang sama, Knowledge Catalog akan memprioritaskannya dalam urutan berikut:

    1. USER (Pengeditan manual)
    2. TABLE_CONSTRAINTS
    3. QUERY_HISTORY
    4. AGENT (saran LLM)

  • Keaktualan LLM: Hubungan yang berasal dari sumber AGENT bersifat dinamis. Jika pemindaian berikutnya tidak lagi merekomendasikan hubungan, hubungan tersebut akan dihapus.

Memperbarui link entri

Untuk melihat dan mengubah link entri, selesaikan langkah-langkah berikut:

Catatan: Untuk memastikan perubahan manual Anda tidak ditimpa atau diubah oleh proses latar belakang otomatis, gunakan konfigurasi berikut dalam data aspek Anda:

• userManaged: true: Tetapkan ini di tingkat aspek untuk menginstruksikan Knowledge Catalog agar melewati semua update otomatis untuk hubungan ini secara keseluruhan.
• inferenceSource: "USER": Tetapkan ini dalam entri gabungan tertentu untuk mengidentifikasinya sebagai diverifikasi secara manual, sehingga melindunginya selama proses penggabungan standar.

1. Identifikasi link entri.

   Sebelum Anda dapat memperbarui hubungan, temukan nama resource-nya dengan mencantumkan semua link entri yang melibatkan entri tabel tertentu:

   gcurl -X GET "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks?filter=entry_references.name=\"TABLE_ENTRY_NAME\""
   

   Ganti kode berikut:

   • PROJECT_ID: ID project Google Cloud Anda
   • LOCATION: region tempat pemindaian data Anda dipicu
   • TABLE_ENTRY_NAME: nama resource lengkap entri tabel BigQuery (misalnya, bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table)

2. Perbarui link entri.

   Untuk mengubah aspek schema-join dari link entri yang ditargetkan, gunakan metode PATCH:

   Catatan: Untuk memastikan bahwa pemindaian otomatis berikutnya tidak menimpa perubahan manual Anda, tetapkan inferenceSource: "USER" dalam isi permintaan Anda.

   gcurl -X PATCH "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigquery/entryLinks/ENTRYLINK_ID?aspectKeys=dataplex-types.global.schema-join" \
   -d '{
     "aspects": {
       "dataplex-types.global.schema-join": {
         "data": {
           "joins": [
             {
               "source": { "name": "PROJECT_ID.DATASET_ID.SOURCE_TABLE", "fields": ["SOURCE_FIELD"] },
               "target": { "name": "PROJECT_ID.DATASET_ID.TARGET_TABLE", "fields": ["TARGET_FIELD"] },
               "type": "JOIN",
               "inferenceSource": "USER"
             }
           ],
           "userManaged": false
         }
       }
     }
   }'
   

   Ganti kode berikut:

   • ENTRYLINK_ID: ID link entri yang diambil pada langkah identifikasi sebelumnya
   • DATASET_ID: ID set data BigQuery Anda
   • SOURCE_TABLE: nama tabel sumber
   • SOURCE_FIELD: nama kolom yang digunakan untuk gabungan dalam tabel sumber
   • TARGET_TABLE: nama tabel target
   • TARGET_FIELD: nama kolom yang digunakan untuk gabungan dalam tabel target

Langkah berikutnya

• Pelajari lebih lanjut insight data untuk data terstruktur.

• Pelajari cara memantau penggunaan token insight data.