Mengimpor glosarium bisnis dari Spreadsheet Google

Dokumen ini menjelaskan cara menggunakan utilitas impor glosarium untuk melakukan impor massal glosarium, kategori, dan istilah dari Google Spreadsheet ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog).

Utilitas glossary_import mem-parsing dan memvalidasi data dari Spreadsheet Google, mengonversinya ke dalam format yang kompatibel dengan Knowledge Catalog CreateMetadataJob API, dan menguploadnya ke bucket Cloud Storage sebelum memicu tugas impor.

Sebelum memulai

Sebelum mengimpor glosarium, selesaikan prasyarat berikut.

Menyiapkan akun layanan

Untuk menjalankan utilitas impor menggunakan Spreadsheet Google, Anda harus menyiapkan akun layanan dengan izin yang diperlukan untuk mengakses Google Sheets API dan meniru identitas kredensial pengguna Anda:

  1. Identifikasi atau buat akun layanan.

    Pilih akun layanan yang ada atau buat akun layanan baru di project tempat Anda menjalankan utilitas impor. Untuk mengetahui informasi selengkapnya, lihat Membuat akun layanan. Catat email akun layanan (misalnya, SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com).

  2. Konfigurasi peniruan akun layanan.

    Untuk menjalankan skrip utilitas impor secara lokal, akun pengguna Anda harus memiliki izin untuk meniru identitas akun layanan. Berikan peran Service Account Token Creator (roles/iam.serviceAccountTokenCreator) kepada akun pengguna Anda di akun layanan.

    Untuk mengetahui informasi selengkapnya, lihat Mengelola akses ke akun layanan.

  3. Beri akun layanan akses Editor ke Spreadsheet Google.

    Buka Google Spreadsheet yang ingin Anda gunakan untuk proses impor, klik Bagikan, dan tambahkan email akun layanan sebagai Editor. Izin ini memungkinkan akun layanan membaca dari atau menulis data ke spreadsheet Anda.

Membuat bucket Cloud Storage

Buat bucket Cloud Storage untuk berfungsi sebagai area penyiapan untuk file impor.

Peran yang diperlukan

Untuk memastikan bahwa akun layanan memiliki izin yang diperlukan untuk mengimpor glosarium dari Spreadsheet Google, minta administrator untuk memberikan peran IAM berikut kepada akun layanan:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Administrator Anda mungkin juga dapat memberikan izin yang diperlukan kepada akun layanan melalui peran khusus atau peran bawaan lainnya.

Mengaktifkan API

Untuk mengimpor glosarium, aktifkan API berikut di project Anda:

Peran yang diperlukan untuk mengaktifkan API

Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

Aktifkan API

Siapkan repositori git

Membuat cloning dataplex-labs repositori:

git clone https://github.com/GoogleCloudPlatform/dataplex-labs.git
cd dataplex-labs/dataplex-quickstart-labs/00-resources/scripts/python/business-glossary-import/dataplex-glossary/import

Menginstal dependensi

Instal dependensi Python yang diperlukan:

pip3 install -r requirements.txt

Jika Anda mengalami masalah saat menginstal paket, siapkan lingkungan pengembangan Python baru.

Mengautentikasi dan mengonfigurasi peniruan akun layanan

Lakukan inisialisasi Google Cloud CLI dan autentikasi menggunakan Kredensial Default Aplikasi (ADC) dengan peniruan akun layanan:

# Set your service account email address
SA_EMAIL="SERVICE_ACCOUNT_EMAIL"

# Authenticate ADC using service account impersonation and required scopes
gcloud auth application-default login \
  --impersonate-service-account="${SA_EMAIL}" \
  --scopes="https://www.googleapis.com/auth/spreadsheets"

Ganti SERVICE_ACCOUNT_EMAIL dengan ID email akun layanan. Contoh:

SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Membuat dan menyusun Spreadsheet Google untuk diimpor

Agar berhasil menjalankan impor massal, Anda harus membuat Spreadsheet Google baru menggunakan skema kolom yang tepat sehingga utilitas impor dapat berhasil mem-parsing dan memvalidasi kolom metadata Anda. Pastikan Anda telah memberikan akses Editor akun layanan ke Spreadsheet Google.

Baris pertama sheet harus berisi header skema yang peka huruf besar/kecil dan sama persis seperti berikut:

Kolom Wajib Diisi atau Opsional Deskripsi
id Wajib ID unik untuk istilah atau kategori dalam glosarium.
parent Opsional ID kategori induk. Jika kosong, item adalah turunan tingkat root dari glosarium. Perhatikan bahwa ID induk yang dirujuk harus ada di sheet dan harus termasuk dalam kategori.
display_name Wajib Nama tampilan istilah atau kategori.
description Opsional Deskripsi singkat istilah atau kategori.
overview Opsional Deskripsi teks lengkap istilah atau kategori (mendukung tag HTML).
type Wajib Jenis baris. Nilai yang valid adalah TERM atau CATEGORY.
contact1_email Opsional Alamat email pengelola data utama untuk istilah atau kategori.
contact1_name Opsional Nama pengelola data utama untuk istilah atau kategori.
contact2_email Opsional Alamat email pengelola data sekunder untuk istilah atau kategori.
contact2_name Opsional Nama pengelola data sekunder untuk istilah atau kategori.
label1_key Opsional Kunci untuk label pertama yang ditetapkan.
label1_value Opsional Nilai untuk label pertama yang ditetapkan.
label2_key Opsional Kunci untuk label kedua yang ditetapkan.
label2_value Opsional Nilai untuk label kedua yang ditetapkan.

Mengimpor glosarium dari Spreadsheet Google

Setelah menyiapkan lingkungan dan menyiapkan Spreadsheet Google, jalankan skrip glossary_import.py:

python3 bg_import/dataplex-glossary/glossary_import.py

Utilitas impor mencetak hasil eksekusi CreateMetadataJob API langsung ke terminal Anda. Pastikan status tugas menunjukkan keberhasilan.

Anda dapat meninjau log eksekusi di direktori logs/ di jalur eksekusi lokal. Log ini membantu Anda mengaudit proses transfer dan mengidentifikasi entri yang dilewati atau peringatan pemformatan.

Langkah berikutnya