Tentang mengimpor dan mengekspor glosarium dan link entri

Dokumen ini memberikan ringkasan tentang cara mengimpor dan mengekspor glosarium bisnis dan link entri di Knowledge Catalog (sebelumnya Dataplex Universal Catalog).

Glosarium bisnis Knowledge Catalog memungkinkan Anda menentukan kosakata bisnis umum dan mengaitkan istilah tersebut dengan aset data fisik. Seiring bertambahnya katalog, pengelolaan istilah ini dan hubungannya satu per satu di konsolGoogle Cloud dapat menjadi sulit.

Untuk mengelola glosarium bisnis dalam skala besar, Anda dapat mengimpor dan mengekspor glosarium (kategori dan istilah) serta link entri (asosiasi antara istilah dan aset data) secara massal.

Terminologi

Sebelum menggunakan utilitas impor dan ekspor, pahami komponen utama berikut:

  • Sumber daya glosarium: Terdiri dari kategori dan istilah yang membentuk kosakata bisnis Anda.

  • Link entri: Hubungan atau asosiasi antara resource. Knowledge Catalog mendukung tiga jenis link entri:

    • definition: mengaitkan istilah glosarium dengan aset data tertentu (misalnya, kolom BigQuery)
    • related: membuat hubungan antara dua istilah glosarium terkait
    • synonym: membuat hubungan antara dua istilah glosarium yang sinonim

Metode untuk mengimpor dan mengekspor glosarium dan link entri

Knowledge Catalog mendukung dua metode utama untuk pengelolaan glosarium massal. Pilih metode yang paling sesuai dengan kebutuhan otomatisasi dan antarmuka pilihan Anda:

  • Impor metadata berbasis JSON
  • Utilitas berbasis Google Spreadsheet untuk impor dan ekspor

Impor metadata berbasis JSON

Ini adalah mekanisme Knowledge Catalog bawaan yang terkelola sepenuhnya. Anda menggunakan Dataplex API untuk mengimpor istilah glosarium dan asosiasinya yang ditentukan dalam file metadata berformat JSON.

Contoh kasus penggunaan: Perbarui metadata Knowledge Catalog secara otomatis sebagai bagian dari pipeline data terjadwal harian—seperti menyinkronkan istilah langsung dari database perusahaan eksternal.

Untuk mengetahui informasi selengkapnya, lihat Mengimpor glosarium dan link entri menggunakan file JSON.

Utilitas berbasis Google Spreadsheet untuk impor dan ekspor

Ini adalah pendekatan berbasis skrip open source yang disediakan di repositori dataplex-labs. Fitur ini menggunakan skrip Python untuk menyinkronkan metadata glosarium antara Spreadsheet Google dan Knowledge Catalog.

Contoh kasus penggunaan: Tim tata kelola data ingin berkolaborasi dalam menyusun dan meninjau puluhan istilah bisnis baru dengan pemangku kepentingan bisnis non-teknis. Tim menggunakan metode berbasis spreadsheet ini agar semua orang dapat mengedit, mengomentari, dan menyetujui persyaratan di Spreadsheet Google sebelum administrator menjalankan skrip untuk menguploadnya ke Knowledge Catalog secara massal.

Untuk informasi selengkapnya, baca dokumen berikut:

Kasus penggunaan umum: pengeditan pulang pergi dengan Google Spreadsheet

Alur kerja administratif yang umum adalah melakukan pengeditan pulang pergi. Hal ini melibatkan penyiapan katalog yang ada, melakukan modifikasi massal, dan menerapkan perubahan tersebut kembali ke Knowledge Catalog.

Alur kerja berikut menggambarkan cara menjalankan proses ini:

  1. Mengekspor metadata yang ada dari Knowledge Catalog ke Google Spreadsheet.

    Gunakan utilitas ekspor glosarium dan ekspor link entri untuk mengekstrak struktur glosarium dan link entri yang ada ke dalam Spreadsheet Google.

  2. Ubah metadata dalam Google Spreadsheet.

    Buat perubahan yang diperlukan di Spreadsheet Google. Karena link simetris (seperti link entri synonym dan related) disederhanakan menjadi satu arah selama ekspor untuk menghindari baris duplikat, Anda hanya perlu mengelolanya satu kali.

    Anda dapat menambahkan baris baru ke sheet masing-masing dengan mengikuti skema kolom yang diperlukan. Anda juga dapat mengubah detail seperti deskripsi atau nama tampilan langsung di baris.

  3. Atur dan impor perubahan dari Google Spreadsheet kembali ke Knowledge Catalog.

    Jalankan utilitas impor glosarium terlebih dahulu. Tindakan ini memastikan bahwa istilah atau kategori baru berhasil dibuat di glosarium bisnis sebelum Anda mencoba menautkannya.

    Jalankan utilitas impor link entri. Utilitas ini membaca asosiasi yang diperbarui, menahapkannya di bucket Cloud Storage, dan menerapkan link definition, related, dan synonym ke glosarium yang baru diperbarui.

Langkah berikutnya