Menetapkan konteks data dasar dengan Knowledge Catalog

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melampirkan metadata terstruktur dan definisi bisnis yang jelas langsung ke aset data Anda. Dengan memberikan konteks ini, data Anda dapat ditemukan, membangun kepercayaan bagi pengguna, dan mendasari agen AI.

Dalam tutorial untuk data steward dan analis bisnis ini, Anda akan menyelesaikan langkah-langkah berbasis UI untuk membangun istilah bisnis standar dan konteks metadata sebelum mengotomatiskan alur kerja ini. Anda juga akan mempelajari cara kerja berbagai konsep Knowledge Catalog utama.

Tujuan

Dalam tutorial ini, Anda akan mempelajari cara:

• Buat satu sumber tepercaya untuk istilah bisnis dengan glosarium bisnis.
• Menyusun dan mengatur metadata dengan jenis aspek.
• Lampirkan metadata ke aset data dengan aspek.
• Gunakan Penelusuran Knowledge Catalog untuk menemukan hal yang Anda butuhkan menggunakan metadata terstruktur baru ini.

Sebelum memulai

Sebelum memulai, lakukan hal berikut:

• Pilih Google Cloud project untuk tutorial ini.
• Konfirmasi bahwa penagihan diaktifkan untuk project Anda.

Menyiapkan lingkungan Anda

Tutorial ini menggunakan Cloud Shell, lingkungan command line yang berjalan di cloud.

1. Dari konsol Google Cloud , klik Activate Cloud Shell di toolbar kanan atas. Proses menyediakan dan menghubungkan ke lingkungan memerlukan waktu beberapa saat.

2. Di Cloud Shell, tetapkan variabel PROJECT_ID dan LOCATION Anda sehingga semua perintah mendatang menargetkan project Google Cloud spesifik Anda.

   export PROJECT_ID=$(gcloud config get-value project)
   gcloud config set project $PROJECT_ID
   export LOCATION="us-central1"
   

   Catatan: Sesi Cloud Shell terkadang mengalami waktu tunggu habis. Sebelum menjalankan skrip shell, Anda dapat memeriksa variabel lingkungan dengan menjalankan echo $PROJECT_ID. Jika perintah menampilkan baris kosong, jalankan kembali perintah ekspor dari langkah penyiapan lingkungan ini.

3. Aktifkan layanan Google Cloud yang diperlukan.

   gcloud services enable \
     dataplex.googleapis.com \
     bigquery.googleapis.com 
   

Membuat set data BigQuery dan menyiapkan data sampel

Gunakan kode berikut untuk membuat set data BigQuery dan memuat beberapa contoh transaksi CSV ke dalam tabel. Setelah Anda membuat tabel, Knowledge Catalog akan menemukannya dan membuat entri untuk tabel tersebut di katalog.

Anggap entri sebagai representasi aset data di Knowledge Catalog. Ini seperti data dalam katalog yang dapat Anda lampirkan metadata. Alih-alih menambahkan konteks ke (atau memperkaya) tabel BigQuery secara langsung, Anda menambahkannya ke entrinya di Knowledge Catalog.

# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
    --description "Sample retail data for foundational data context tutorial" \
    $PROJECT_ID:retail_data

# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,[e-mail],150.50,2025-08-28
1002,[e-mail],75.00,2025-08-28" > /tmp/transactions.csv

# Load the data from the temporary CSV file into a BigQuery table
bq load \
    --source_format=CSV \
    --autodetect \
    retail_data.transactions \
    /tmp/transactions.csv

# (Optional) Clean up the temporary file
rm /tmp/transactions.csv

Jalankan kueri SELECT untuk memverifikasi penyiapan Anda:

bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"

Contoh output:

+----------------+------------------+-------+------------------+
| transaction_id |    user_email    |  gmv  | transaction_date |
+----------------+------------------+-------+------------------+
|           1001 | [e-mail] | 150.5 |       2025-08-28 |
|           1002 | [e-mail] |  75.0 |       2025-08-28 |
+----------------+------------------+-------+------------------+

Catatan: Anda tidak perlu mendaftarkan atau mengimpor tabel secara manual ke Knowledge Catalog. Knowledge Catalog secara otomatis menyerap metadata teknis dari tabel BigQuery dan membuat entri.

Menetapkan istilah umum dengan glosarium bisnis

Konteks data yang baik bergantung pada definisi yang jelas yang menjawab pertanyaan seperti "Apa arti nama kolom ini?" Misalnya, developer tidak perlu menebak apakah kolom bernama gmv berarti Gross Merchandise Value atau apakah kolom tersebut mencakup pajak dan pengembalian. Glosarium bisnis membuat satu sumber tepercaya untuk definisi ini di seluruh organisasi Anda. Saat rekan satu tim atau agen AI menganalisis data Anda, mereka akan mewarisi konteks bisnis yang tepat ini. Definisi bersama menyelaraskan metrik di berbagai tim seperti Keuangan, Penjualan, dan Operasional, serta membantu agen AI menghindari halusinasi.

Ikuti langkah-langkah berikut untuk membuat glosarium dan menentukan istilah pertama Anda:

1. Di konsol Google Cloud , buka halaman Glossaries Knowledge Catalog.

   Buka Glosarium

2. Klik Buat Glosarium Bisnis.

3. Masukkan detail berikut:

   • Nama tampilan: Retail Business Glossary
   • Lokasi: us-central1 (Iowa)

4. Klik Create.

5. Klik Buat Kategori.

6. Beri nama kategori Sales Metrics, lalu klik Create.

7. Pilih kategori Sales Metrics, lalu klik Add term.

8. Beri nama istilah Gross Merchandise Value, lalu klik Create.

9. Klik istilah Gross Merchandise Value untuk membuka halaman detailnya.

10. Klik Tambahkan di samping Ringkasan. Masukkan detail berikut: The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.

11. Klik Simpan.

Anda kini telah membuat istilah glosarium yang dapat ditautkan ke entri data di seluruh organisasi.

Menentukan metadata teknis dengan jenis aspek

Saat menggunakan data, Anda sering kali perlu menjawab pertanyaan seperti "Siapa pemilik set data yang rusak ini?" atau "Apakah tabel ini disetujui untuk digunakan?" Tag metadata tidak terstruktur mencoba menjawab pertanyaan ini, tetapi tag tersebut dengan cepat menjadi usang atau tidak konsisten. Misalnya, satu tabel mungkin diberi tag owner:bob dan tabel lainnya diberi tag steward:[e-mail]. Agar metadata Anda tetap teratur dalam skala besar, Anda memerlukan skema yang konsisten.

Di sinilah jenis aspek berperan. Jenis aspek adalah blueprint metadata yang memungkinkan Anda menetapkan aturan yang jelas dan kolom wajib diisi. Mewajibkan kolom standar seperti alamat email yang valid untuk data stewardship memungkinkan skrip downstream memvalidasi dan melindungi metadata Anda secara otomatis.

Ikuti langkah-langkah berikut untuk membuat jenis aspek:

1. Di konsol Google Cloud , buka tab Aspect types Knowledge Catalog di halaman Metadata types.

   Buka Aspect types

2. Di tab Kustom, klik Buat.

3. Masukkan detail berikut:

   • Nama tampilan: Data Asset Context
   • Lokasi: us-central1 (Iowa)

4. Di bagian Template, klik Add field untuk membuat tiga kolom berikut:

   • Kolom 1:

     • Nama tampilan: Data Steward
     • Jenis: Text
     • Is Required: Pilih kotak centang.
     • Jenis teks: Plain text

   • Kolom 2 (klik Tambahkan kolom):

     • Nama tampilan: Data Sensitivity
     • Jenis: Enum
     • Is Required: Biarkan opsional.
     • Nilai: Tambahkan Public, Internal, dan Confidential

   • Kolom 3 (klik Tambahkan kolom):

     • Nama tampilan: Last Review Date
     • Is Required: Biarkan opsional.
     • Jenis: Date and time

5. Klik Simpan.

Sekarang Anda memiliki jenis aspek untuk kolom metadata terkait tata kelola data seperti data steward, tingkat sensitivitas, dan tanggal peninjauan. Di bagian berikutnya, Anda akan menerapkan skema ini ke entri tabel dengan melampirkan aspek dengan nilai tertentu untuk kolom ini.

Memperkaya entri dengan konteks bisnis dan teknis

Nama kolom sering kali disingkat atau ambigu. Menautkan kolom ke istilah dalam glosarium bisnis Anda akan memberikan definisi yang jelas dan konsisten. Pada langkah ini, Anda akan memperkaya entri untuk tabel retail_data.transactions dengan menautkan istilah Gross Merchandise Value ke kolom bernama gmv dan melampirkan aspek ke entri tabel menggunakan jenis aspek Anda.

Menautkan kolom ke istilah bisnis

Untuk memperjelas kolom gmv di retail_data.transactions, tautkan ke istilah Gross Merchandise Value Anda.

1. Di konsol Google Cloud , buka halaman Search Knowledge Catalog.

   Buka Penelusuran

2. Klik Filters untuk membuka panel Filters.

3. Untuk Scope, pilih Current Project.

4. Telusuri retail_data.transactions dan klik tabel transaksi yang ditampilkan.

5. Klik tab Schema.

6. Centang kotak di samping kolom gmv, lalu klik Add business term.

7. Pilih Gross Merchandise Value.

Melampirkan aspek ke entri tabel

Selain menautkan istilah bisnis ke kolom, Anda dapat melampirkan aspek ke entri tabel untuk mengambil metadata tingkat tabel, seperti kepemilikan dan sensitivitas data.

Aspek adalah instance dari jenis aspek, dengan nilai tertentu untuk kolom metadata. Saat Anda melampirkan aspek ke entri, Knowledge Catalog akan memeriksa informasi yang Anda berikan terhadap skema yang ditentukan dalam jenis aspek untuk memastikan konsistensi.

Untuk menentukan kepemilikan dan sensitivitas tabel retail_data.transactions, lampirkan aspek Data Asset Context:

1. Di tab Details pada halaman entri retail_data.transactions, klik Add di samping Optional aspects.
2. Pilih Data Asset Context dari daftar.

3. Masukkan nilai di kolom:

   • Data Steward: [e-mail]
   • Data Sensitivity: Pilih Internal.
   • Last Review Date: Pilih tanggal hari ini.

4. Klik Simpan.

Dengan memperkaya data transaksi retail sampel, Anda telah menyiapkan fondasi konteks data yang kuat di Knowledge Catalog.

Menelusuri entri menggunakan metadata yang diperkaya

Sekarang Anda dapat menggunakan Penelusuran Knowledge Catalog untuk menemukan entri berdasarkan konteks bisnis yang Anda siapkan. Misalnya, Anda dapat menemukan semua aset dengan tingkat sensitivitas tertentu, atau menelusuri istilah glosarium untuk menemukan tabel yang mendasarinya.

Tips: Knowledge Catalog menawarkan dua pengalaman penelusuran yang berbeda dengan sintaksis yang berbeda: Bahasa Alami (dibantu AI) dan Kata Kunci (pencocokan terstruktur/persis). Tutorial ini berfokus pada bahasa alami.

1. Di konsol Google Cloud , buka halaman Search Knowledge Catalog.

   Buka Penelusuran

2. Klik Filters untuk membuka panel Filters.

3. Untuk Scope, pilih Current Project.

4. Di kotak penelusuran, masukkan Find tables where the Data Asset Context aspect has Internal sensitivity.

5. Anda akan melihat tabel retail_data.transactions dalam daftar hasil.

6. Hapus teks di kotak penelusuran dan masukkan Find tables with the Gross Merchandise Value term attached.

7. Anda akan melihat tabel retail_data.transactions lagi di hasil, karena kolom gmv-nya ditautkan langsung ke istilah bisnis ini.

Saat Anda menghubungkan agen AI ke Knowledge Catalog, agen tersebut akan otomatis mewarisi metadata yang diperkaya ini. Misalnya, saat Anda meminta agen untuk mengambil metrik penjualan internal, agen akan membaca aspek Sensitivitas Data (yang Anda tetapkan ke Internal) dan istilah glosarium gross merchandising value yang ditautkan. Konteks bersama ini membantu agen memverifikasi sumber datanya, mematuhi kebijakan akses, dan menghindari halusinasi.

Pembersihan

Agar tidak dikenai biaya, hapus resource yang Anda buat dalam tutorial ini.

Menghapus set data sampel

Untuk menghapus set data BigQuery contoh dan semua tabelnya, gunakan perintah berikut. Tindakan ini tidak dapat diurungkan.

Peringatan: Perintah penghapusan rekursif ini tidak meminta konfirmasi. Untuk mencegah kehilangan data yang tidak disengaja akibat variabel lingkungan yang salah, verifikasi project ID dan nama set data Anda sebelum menjalankannya.

# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)

# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data

Menghapus artefak Knowledge Catalog

1. Di konsol Google Cloud , buka tab Aspect types Knowledge Catalog di halaman Metadata types.

   Buka Aspect types

2. Pilih jenis aspek Data Asset Context, lalu klik Delete.

3. Di konsol Google Cloud , buka halaman Glossaries Knowledge Catalog.

   Buka Glosarium

   Catatan: Anda harus menghapus semua istilah dan kategori sebelum dapat menghapus glosarium itu sendiri.

4. Pilih istilah Gross Merchandise Value, lalu klik Hapus.

5. Pilih kategori Sales Metrics, lalu klik Hapus.

6. Pilih Retail Business Glossary, lalu klik Delete.

Langkah berikutnya

Untuk mempelajari lebih lanjut cara mengkurasi katalog dan membangun agen dengan Knowledge Catalog, lihat referensi berikut:

• Mengelola aspek dan memperkaya metadata: Pelajari cara menentukan skema kustom dan melampirkan metadata terstruktur di Mengelola aspek dan memperkaya metadata.
• Mengelola glosarium bisnis: Pelajari cara membuat kosakata standar untuk organisasi Anda di Mengelola glosarium bisnis.
• Mengatur dengan Terraform: Pelajari cara menyediakan jenis aspek dan glosarium kustom menggunakan Terraform.
• Menggunakan istilah glosarium dalam skala besar: Lakukan pengayaan metadata massal menggunakan file JSON di Tentang mengimpor dan mengekspor glosarium dan link entri.
• Memperkaya metadata dengan agen: Bangun agen AI untuk mengekstrak konteks dan memperkaya aset data Anda di Membangun agen untuk memperkaya metadata Anda.
• Pelajari kasus penggunaan lainnya: Temukan alur kerja dan skenario tambahan yang dapat disesuaikan di Kasus penggunaan.