Knowledge Catalog（以前の Dataplex Universal Catalog）を使用すると、ビジネス用語集とエントリ リンクを一括でインポートおよびエクスポートして、ビジネス用語を大規模に管理できます。カタログが大きくなると、一括オペレーションを使用することで、 Google Cloud コンソールで個別に管理することなく、用語とその関係を更新できます。
用語
Knowledge Catalog のビジネス用語集を使用すると、共通のビジネス用語を定義し、それらの用語を物理データアセットに関連付けることができます。インポート / エクスポート ユーティリティを使用する前に、次の主要コンポーネントについて理解しておいてください。
- 用語集リソース: ビジネス用語を確立するカテゴリと用語で構成されます。
エントリリンク: リソース間の関係または関連付け（用語集の用語とデータアセット間など）。Knowledge Catalog は、次の 3 種類のエントリリンクをサポートしています。
definition: 用語集の用語を特定のデータアセット（BigQuery 列など）に関連付けます。related: 2 つの関連する用語集の用語間の関係を確立します。synonym: 2 つの類義語の用語集の用語間の関係を確立します。
用語集とエントリリンクをインポートおよびエクスポートする方法
Knowledge Catalog では、用語集の一括管理に 2 つの主な方法がサポートされています。自動化のニーズと希望するインターフェースに最も適した方法を選択します。
- JSON ベースのメタデータのインポート
- インポートとエクスポート用の Google スプレッドシート ベースのユーティリティ
JSON ベースのメタデータのインポート
これは、組み込みのフルマネージド Knowledge Catalog メカニズムです。Dataplex API を使用して、JSON 形式のメタデータ ファイルで定義された用語集の用語とその関連付けをインポートします。
ユースケースの例: 外部のエンタープライズ データベースから直接用語を同期するなど、毎日スケジュールされたデータ パイプラインの一部として、Knowledge Catalog のメタデータを自動的に更新します。
詳細については、JSON ファイルを使用して用語集とエントリリンクをインポートするをご覧ください。
インポートとエクスポート用の Google スプレッドシート ベースのユーティリティ
これは、dataplex-labs リポジトリで提供されるオープンソースのスクリプトベースのアプローチです。Python スクリプトを使用して、Google スプレッドシートと Knowledge Catalog の間で用語集のメタデータを同期します。
ユースケースの例: データ ガバナンス チームが、技術に詳しくないビジネス関係者と共同で、数十の新しいビジネス用語をドラフトしてレビューしたいと考えています。このチームは、このスプレッドシート ベースの方法を使用しています。これにより、管理者がスクリプトを実行して用語を一括で Knowledge Catalog にアップロードする前に、全員が Google スプレッドシートで用語を編集、コメント、承認できます。
詳細については、次のドキュメントをご覧ください。
- Google スプレッドシートからビジネス用語集をインポートする
- Google スプレッドシートからエントリリンクをインポートする
- ビジネス用語集を Google スプレッドシートにエクスポートする
- エントリリンクを Google スプレッドシートにエクスポートする
一般的なユースケース: Google スプレッドシートとのラウンドトリップ編集
一般的な管理ワークフローは、往復編集を行うことです。これには、既存のカタログ設定をエクスポートし、一括変更を行って、それらの変更を Knowledge Catalog に適用することが含まれます。
次のワークフローは、このプロセスの実行方法を示しています。
既存のメタデータを Knowledge Catalog から Google スプレッドシートにエクスポートします。
用語集のエクスポート ユーティリティとエントリリンクのエクスポート ユーティリティを使用して、既存の用語集構造とエントリリンクを Google スプレッドシートに抽出します。
Google スプレッドシート内でメタデータを変更します。
Google スプレッドシートで必要な変更を加えます。対称リンク（
synonymエントリリンクやrelatedエントリリンクなど）は、エクスポート時に単一方向に簡素化され、重複する行が回避されるため、管理する必要があるのは 1 回のみです。必要な列スキーマに沿って、それぞれのシートに新しい行を追加できます。説明や表示名などの詳細を、行で直接変更することもできます。
Google スプレッドシートから Knowledge Catalog に変更をステージングしてインポートします。
まず、用語集のインポート ユーティリティを実行します。これにより、新しい用語やカテゴリをリンクする前に、ビジネス用語集に正常に作成されます。
エントリリンクのインポート ユーティリティを実行します。このユーティリティは、更新された関連付けを読み取り、Cloud Storage バケットにステージングして、
definition、related、synonymのリンクを新しく更新された用語集に適用します。
次のステップ
- 詳しくは、ビジネス用語集の管理をご覧ください。
- JSON ファイルを使用してビジネス用語集とエントリリンクをインポートする方法を確認する。
- 詳しくは、Google スプレッドシートからビジネス用語集をインポートするをご覧ください。
- Google スプレッドシートからエントリリンクをインポートする方法を学習する。
- ビジネス用語集を Google スプレッドシートにエクスポートする方法を確認する。
- エントリリンクを Google スプレッドシートにエクスポートする方法を確認する。