Knowledge Catalog（以前の Dataplex Universal Catalog）コネクタを使用すると、サードパーティのデータソースから技術メタデータ、運用メタデータ、ビジネス メタデータ、セマンティック メタデータをカタログにインポートできます。定期的な実行をスケジュールして、カタログとソースシステムの同期を維持できるため、外部アセットを 1 か所で検出、検索、管理できます。
サポートされるデータソース
Knowledge Catalog コネクタを使用して、次のソースからメタデータをインポートできます。
- dbt Core
- Oracle
- MySQL
- PostgreSQL
- SQL Server
データ ガバナンス パートナーとの統合
Knowledge Catalog を他のエンタープライズ データ カタログとガバナンス プラットフォームに統合できます。これらの統合により、組織のデータ ランドスケープ全体でメタデータを検出可能にし、一貫性を保つことができます。これにより、Knowledge Catalog でメタデータを補完したり、サードパーティ ツール内で Knowledge Catalog メタデータを表示したりできます。
次のパートナーは、Knowledge Catalog の統合を提供しています。
仕組み
Knowledge Catalog コネクタは、BigQuery Data Transfer Service で管理される事前構築済みの統合と転送構成を使用してデータソースに接続し、メタデータを自動的に抽出して、指定した Knowledge Catalog エントリ グループ内のエントリにマッピングします。
コネクタは次の種類のメタデータを抽出します。
- 技術メタデータ: スキーマ、データ型、列名の定義。
- 運用メタデータ: 作成タイムスタンプと変更タイムスタンプ、リネージ、使用状況 統計、データ品質の結果。
- ビジネス メタデータ: タグ、オーナー、アノテーション。
- セマンティック メタデータ: ディメンション、指標、メジャー、ゴールデン クエリ、 リレーションシップ。
コネクタを構成すると、Knowledge Catalog は指定したスケジュールでメタデータのインポート ジョブをスケジュールし、カタログとソースシステムの同期を維持します。メタデータのインポート ジョブが実行されるたびに、その構成で管理される宛先エントリ グループ内のエントリが完全に上書き されます。ソースに存在しなくなったメタデータ オブジェクトはエントリ グループから削除され、新しいオブジェクトが追加されます。コネクタ構成によってインポートされないエントリ グループ内のオブジェクトは影響を受けません。
これらの構成は、コンソールの Knowledge Catalog セクションの Google Cloud [コネクタ] ページ で構成および管理できます。
用語
このドキュメントでは、次の用語を使用します。
- メタデータ インポート構成: BigQuery Data Transfer Service を使用してソースからメタデータを抽出し、Knowledge Catalog に読み込む、スケジュールされたタスクまたは オンデマンド タスクの設定。
- 実行: メタデータ インポート構成の単一の実行インスタンス。
- エントリ グループ: メタデータ エントリを含む Knowledge Catalog のリソース。コネクタを構成するときに、インポートされたメタデータの宛先としてエントリ グループを指定します。
- エントリ: テーブルやビューなどのデータ アセットを表す Knowledge Catalog のリソース。
料金
コネクタを使用してメタデータをインポートする場合、Knowledge Catalog または BigQuery Data Transfer Service から追加料金は発生しません。
その他の Knowledge Catalog の使用（メタデータの保存など）には、標準料金が適用されます。詳細については、 Knowledge Catalog の料金をご覧ください。
制限事項
- メタデータのみがインポートされ、ソーステーブルまたはビューの基盤となるデータはインポートされません。基盤となるデータを転送するには、 BigQuery Data Transfer Service を使用します。
- 実行ごとに、宛先エントリ グループ内のコネクタ管理エントリが完全に上書きされます。増分メタデータの更新はサポートされていません。
- 実行履歴は 90 日間保持されます。
次のステップ
- dbt Core からメタデータをインポートする方法を学習する。
- Oracle からメタデータをインポートする方法を学習する。
- MySQL からメタデータをインポートする方法を学習する。
- PostgreSQL からメタデータをインポートする方法を学習する。
- SQL Server からメタデータをインポートする方法を学習する。
- コネクタ構成を管理する方法を学習する。