Tentang mengimpor dan mengekspor glosarium dan link entri

Dokumen ini memberikan ringkasan tentang cara mengimpor dan mengekspor glosarium bisnis dan link entri di Knowledge Catalog (sebelumnya bernama Dataplex Universal Catalog).

Glosarium bisnis Knowledge Catalog memungkinkan Anda menentukan kosakata bisnis umum dan mengaitkan istilah tersebut dengan aset data fisik. Seiring bertambahnya katalog, pengelolaan istilah dan hubungannya secara individual di Google Cloud konsol dapat menjadi sulit.

Untuk mengelola glosarium bisnis dalam skala besar, Anda dapat mengimpor dan mengekspor glosarium (kategori dan istilah) serta link entri (hubungan antara istilah dan aset data) secara massal.

Terminologi

Sebelum menggunakan utilitas impor dan ekspor, pahami komponen utama berikut:

  • Resource glosarium: Terdiri dari kategori dan istilah yang menentukan kosakata bisnis Anda.

  • Link entri: Hubungan atau kaitan antara resource. Knowledge Catalog mendukung tiga jenis link entri:

    • definition: mengaitkan istilah glosarium dengan aset data tertentu (misalnya, kolom BigQuery)
    • related: membuat hubungan antara dua istilah glosarium terkait
    • synonym: membuat hubungan antara dua istilah glosarium yang sinonim

Metode untuk mengimpor dan mengekspor glosarium dan link entri

Knowledge Catalog mendukung dua metode utama untuk pengelolaan glosarium massal. Pilih metode yang paling sesuai dengan kebutuhan otomatisasi dan antarmuka pilihan Anda:

  • Impor metadata berbasis JSON
  • Utilitas berbasis Google Spreadsheet untuk impor dan ekspor

Impor metadata berbasis JSON

Ini adalah mekanisme Knowledge Catalog bawaan yang terkelola sepenuhnya. Anda menggunakan Dataplex API untuk mengimpor istilah glosarium dan kaitannya yang ditentukan dalam file metadata berformat JSON.

Contoh kasus penggunaan: Otomatis memperbarui metadata Knowledge Catalog sebagai bagian dari pipeline data terjadwal harian—seperti menyinkronkan istilah langsung dari database perusahaan eksternal.

Untuk mengetahui informasi selengkapnya, lihat Mengimpor glosarium dan link entri menggunakan file JSON.

Utilitas berbasis Google Spreadsheet untuk impor dan ekspor

Ini adalah pendekatan berbasis skrip open source yang disediakan di repositori dataplex-labs. Metode ini menggunakan skrip Python untuk menyinkronkan metadata glosarium antara Google Spreadsheet dan Knowledge Catalog.

Contoh kasus penggunaan: Tim tata kelola data ingin berkolaborasi dalam menyusun dan meninjau puluhan istilah bisnis baru dengan pemangku kepentingan bisnis non-teknis. Tim menggunakan metode berbasis spreadsheet ini sehingga semua orang dapat mengedit, mengomentari, dan menyetujui istilah di Google Spreadsheet sebelum administrator menjalankan skrip untuk menguploadnya ke Knowledge Catalog secara massal.

Untuk mengetahui informasi selengkapnya, lihat dokumen berikut:

Kasus penggunaan umum: pengeditan dua arah dengan Google Spreadsheet

Alur kerja administratif yang umum adalah melakukan pengeditan dua arah. Hal ini melibatkan pengeksportan penyiapan katalog yang ada, melakukan modifikasi massal, dan menerapkan perubahan tersebut kembali ke Knowledge Catalog.

Alur kerja berikut mengilustrasikan cara menjalankan proses ini:

  1. Mengekspor metadata yang ada dari Knowledge Catalog ke Google Spreadsheet.

    Gunakan utilitas ekspor glosarium dan ekspor link entri untuk mengekstrak struktur glosarium dan link entri yang ada ke Google Spreadsheet.

  2. Mengubah metadata dalam Google Spreadsheet.

    Buat perubahan yang diperlukan di Google Spreadsheet. Karena link simetris (seperti link entri synonym dan related) disederhanakan menjadi satu arah selama ekspor untuk menghindari baris duplikat, Anda hanya perlu mengelolanya satu kali.

    Anda dapat menambahkan baris baru ke spreadsheet masing-masing dengan mengikuti skema kolom yang diperlukan. Anda juga dapat mengubah detail seperti deskripsi atau nama tampilan langsung di baris.

  3. Menyiapkan dan mengimpor perubahan dari Google Spreadsheet kembali ke Knowledge Catalog.

    Jalankan utilitas impor glosarium terlebih dahulu. Hal ini memastikan bahwa istilah atau kategori baru berhasil dibuat di glosarium bisnis sebelum Anda mencoba menautkannya.

    Jalankan utilitas impor link entri . Utilitas ini membaca kaitan yang diperbarui, menyiapkannya di bucket Cloud Storage, dan menerapkan link definition, related, dan synonym ke glosarium yang baru diperbarui.

Langkah berikutnya