Tentang mengimpor dan mengekspor glosarium dan link entri

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda mengimpor dan mengekspor glosarium bisnis dan link entri secara massal untuk mengelola kosakata bisnis dalam skala besar. Seiring berkembangnya katalog, operasi massal membantu Anda memperbarui istilah dan hubungannya tanpa mengelolanya satu per satu di konsol Google Cloud .

Terminologi

Glosarium bisnis Knowledge Catalog memungkinkan Anda menentukan kosakata bisnis umum dan mengaitkan istilah tersebut dengan aset data fisik. Sebelum menggunakan utilitas impor dan ekspor, pahami komponen utama berikut:

  • Referensi glosarium: Terdiri dari kategori dan istilah yang menetapkan kosakata bisnis Anda.

  • Link entri: Hubungan atau pengaitan antara resource, seperti antara istilah glosarium dan aset data. Knowledge Catalog mendukung tiga jenis link entri:

    • definition: mengaitkan istilah glosarium dengan aset data tertentu (misalnya, kolom BigQuery)
    • related: membuat hubungan antara dua istilah glosarium yang terkait
    • synonym: membuat hubungan antara dua istilah glosarium yang bersinonim

Metode untuk mengimpor dan mengekspor glosarium dan link entri

Knowledge Catalog mendukung dua metode utama untuk pengelolaan glosarium massal. Pilih metode yang paling sesuai dengan kebutuhan otomatisasi dan antarmuka pilihan Anda:

  • Impor metadata berbasis JSON
  • Utilitas berbasis Google Spreadsheet untuk impor dan ekspor

Impor metadata berbasis JSON

Ini adalah mekanisme Knowledge Catalog bawaan yang terkelola sepenuhnya. Anda menggunakan Dataplex API untuk mengimpor istilah glosarium dan pengaitannya yang ditentukan dalam file metadata berformat JSON.

Contoh kasus penggunaan: Memperbarui metadata Knowledge Catalog Anda secara otomatis sebagai bagian dari pipeline data terjadwal harian—seperti menyinkronkan istilah langsung dari database perusahaan eksternal.

Untuk mengetahui informasi selengkapnya, lihat Mengimpor glosarium dan link entri menggunakan file JSON.

Utilitas berbasis Google Spreadsheet untuk impor dan ekspor

Ini adalah pendekatan berbasis skrip open source yang disediakan di repositori dataplex-labs. Solusi ini menggunakan skrip Python untuk menyinkronkan metadata glosarium antara Spreadsheet Google dan Knowledge Catalog.

Contoh kasus penggunaan: Tim tata kelola data ingin menyusun dan meninjau puluhan istilah bisnis baru secara kolaboratif dengan pemangku kepentingan bisnis non-teknis. Tim menggunakan metode berbasis spreadsheet ini agar semua orang dapat mengedit, mengomentari, dan menyetujui istilah di Spreadsheet Google sebelum administrator menjalankan skrip untuk menguploadnya ke Knowledge Catalog secara massal.

Untuk informasi selengkapnya, baca dokumen berikut:

Kasus penggunaan umum: pengeditan dua arah dengan Google Spreadsheet

Alur kerja administratif yang umum adalah melakukan pengeditan bolak-balik. Hal ini melibatkan pengeksporan penyiapan katalog yang ada, pembuatan modifikasi massal, dan penerapan perubahan tersebut kembali ke Knowledge Catalog.

Alur kerja berikut menggambarkan cara menjalankan proses ini:

  1. Mengekspor metadata yang ada dari Knowledge Catalog ke Google Spreadsheet.

    Gunakan utilitas ekspor glosarium dan ekspor link entri untuk mengekstrak struktur glosarium dan link entri yang ada ke Spreadsheet Google.

  2. Ubah metadata dalam Google Spreadsheet.

    Buat perubahan yang diperlukan di Spreadsheet Google. Karena link simetris (seperti link entri synonym dan related) disederhanakan menjadi satu arah selama ekspor untuk menghindari baris duplikat, Anda hanya perlu mengelolanya sekali.

    Anda dapat menambahkan baris baru ke sheet yang sesuai dengan mengikuti skema kolom yang diperlukan. Anda juga dapat mengubah detail seperti deskripsi atau nama tampilan langsung di baris.

  3. Menyiapkan dan mengimpor perubahan dari Google Spreadsheet kembali ke Knowledge Catalog.

    Jalankan utilitas impor glosarium terlebih dahulu. Hal ini memastikan bahwa istilah atau kategori baru berhasil dibuat dalam glosarium bisnis sebelum Anda mencoba menautkannya.

    Jalankan utilitas impor link entri. Utilitas ini membaca pengaitan yang diperbarui, menampilkannya di bucket Cloud Storage, dan menerapkan link definition, related, dan synonym ke glosarium yang baru diperbarui.

Langkah berikutnya