用語集とエントリリンクのインポートとエクスポートについて

このドキュメントでは、Knowledge Catalog（以前の Dataplex Universal Catalog）でビジネス用語集とエントリリンクをインポートおよびエクスポートする方法の概要について説明します。

Knowledge Catalog のビジネス用語集を使用すると、共通のビジネス語彙を定義し、それらの用語を物理データアセットに関連付けることができます。カタログが大きくなると、 コンソールGoogle Cloud でこれらの用語とその関係を個別に管理することが難しくなる可能性があります。

ビジネス用語集を大規模に管理するには、用語集（カテゴリと用語）とエントリリンク（用語とデータアセットの関連付け）を一括でインポートおよびエクスポートします。

用語

インポート ユーティリティとエクスポート ユーティリティを使用する前に、次の主要コンポーネントを理解しておいてください。

  • 用語集リソース: ビジネス語彙を確立するカテゴリと用語で構成されます。

  • エントリリンク: リソース間の関係または関連付け。 Knowledge Catalog は、次の 3 種類のエントリリンクをサポートしています。

    • definition: 用語集の用語を特定のデータアセット（BigQuery 列など）に関連付けます
    • related: 2 つの関連する用語集の用語間の関係を確立します
    • synonym: 2 つの同義語の用語集の用語間の関係を確立します

用語集とエントリリンクをインポートおよびエクスポートする方法

Knowledge Catalog は、用語集の一括管理に 2 つの主要な方法をサポートしています。自動化のニーズと優先するインターフェースに最も適した方法を選択してください。

  • JSON ベースのメタデータのインポート
  • インポートとエクスポート用の Google スプレッドシート ベースのユーティリティ

JSON ベースのメタデータのインポート

これは、組み込みのフルマネージド Knowledge Catalog メカニズムです。Dataplex API を使用して、JSON 形式のメタデータ ファイルで定義された用語集の用語とその関連付けをインポートします。

ユースケースの例: 外部エンタープライズ データベースから用語を直接同期するなど、毎日スケジュールされたデータ パイプラインの一部として、Knowledge Catalog メタデータを自動的に更新します。

詳細については、 JSON ファイルを使用して用語集とエントリリンクをインポートするをご覧ください。

インポートとエクスポート用の Google スプレッドシート ベースのユーティリティ

これは、dataplex-labs リポジトリで提供されるオープンソースのスクリプトベースのアプローチです。Python スクリプトを使用して、Google スプレッドシートと Knowledge Catalog 間で用語集のメタデータを同期します。

ユースケースの例: データガバナンス チームは、技術者以外のビジネス ステークホルダーと協力して、数十の新しいビジネス用語のドラフト作成とレビューを行いたいと考えています。 このチームは、このスプレッドシート ベースの方法を使用して、管理者がスクリプトを実行して用語を Knowledge Catalog に一括アップロードする前に、全員が Google スプレッドシートで用語を編集、コメント、承認できるようにします。

詳細については、次のドキュメントをご覧ください。

一般的なユースケース: Google スプレッドシートを使用したラウンドトリップ編集

一般的な管理ワークフローは、ラウンドトリップ編集を行うことです。これには、既存のカタログ設定のエクスポート、一括変更、それらの変更を Knowledge Catalog に適用することが含まれます。

次のワークフローは、このプロセスを実行する方法を示しています。

  1. Knowledge Catalog から既存のメタデータを Google スプレッドシートにエクスポートします。

    用語集のエクスポート ユーティリティと エントリリンクのエクスポート ユーティリティを使用して、 既存の用語集構造とエントリリンクを Google スプレッドシートに抽出します。

  2. Google スプレッドシート内でメタデータを変更します。

    Google スプレッドシートで必要な変更を行います。対称リンク（synonym エントリリンクや related エントリリンクなど）は、重複する行を避けるためにエクスポート時に単一方向に簡略化されるため、1 回だけ管理する必要があります。

    必要な列スキーマに従って、それぞれのシートに新しい行を追加できます。行で説明や表示名などの詳細を直接変更することもできます。

  3. Google スプレッドシートから Knowledge Catalog に変更をステージングしてインポートします。

    最初に用語集のインポート ユーティリティを実行します。これにより、新しい用語やカテゴリをリンクする前に、ビジネス用語集で正常に作成されます。

    エントリリンクのインポート ユーティリティを実行します。このユーティリティは、更新された関連付けを読み取り、Cloud Storage バケットにステージングして、新しく更新された用語集に definition リンク、related リンク、synonym リンクを適用します。

次のステップ