Knowledge Catalog（旧称 Dataplex Universal Catalog）コネクタを使用すると、サードパーティのデータソースから技術、運用、ビジネス、セマンティックのメタデータをカタログにインポートできます。定期的な実行をスケジュールして、カタログとソースシステムの同期を維持することで、外部アセットを 1 か所で検出、検索、管理できます。
サポートされるデータソース
Knowledge Catalog コネクタを使用して、次のソースからメタデータをインポートできます。
- dbt Core
- Oracle
- MySQL
- PostgreSQL
- SQL Server
データ ガバナンス パートナーとの統合
Knowledge Catalog は、他のエンタープライズ データ カタログ プラットフォームやガバナンス プラットフォームと統合できます。これらの統合により、組織のデータ ランドスケープ全体でメタデータの検出可能性と整合性が確保されます。これにより、Knowledge Catalog でメタデータを拡充したり、サードパーティ ツール内で Knowledge Catalog メタデータを表示したりできます。
次のパートナーが Knowledge Catalog の統合を提供しています。
仕組み
Knowledge Catalog コネクタは、BigQuery Data Transfer Service によって管理される事前構築済みの統合と転送構成を使用して、データソースに接続し、メタデータを自動的に抽出して、指定した Knowledge Catalog エントリ グループ内のエントリにマッピングします。
コネクタは、次の種類のメタデータを抽出します。
- テクニカル メタデータ: スキーマ、データ型、列名の定義。
- 運用メタデータ: 作成および変更されたタイムスタンプ、リネージ、使用統計情報、データ品質の結果。
- ビジネス メタデータ: タグ、オーナー、アノテーション。
- セマンティック メタデータ: ディメンション、メジャー、指標、ゴールデン クエリ、関係。
コネクタを構成すると、Knowledge Catalog は指定したスケジュールでメタデータのインポート実行をスケジュールし、カタログがソースシステムと同期された状態を維持します。メタデータのインポートが実行されるたびに、その構成で管理されている宛先エントリ グループのエントリが完全に上書きされます。ソースに存在しなくなったメタデータ オブジェクトはエントリ グループから削除され、新しいオブジェクトが追加されます。コネクタ構成によってインポートされないエントリ グループ内のオブジェクトは影響を受けません。
これらの構成は、 Google Cloud コンソールの [Knowledge Catalog] セクションの [コネクタ] ページで構成および管理できます。
用語
このドキュメントでは、次の用語を使用します。
- メタデータのインポート構成: BigQuery Data Transfer Service を使用してソースからメタデータを抽出し、Knowledge Catalog に読み込む、スケジュール設定されたタスクまたはオンデマンド タスクの設定。
- 実行: メタデータ インポート構成の単一の実行インスタンス。
- エントリ グループ: メタデータ エントリを含む Knowledge Catalog のリソース。コネクタを構成するときに、インポートされたメタデータの宛先としてエントリ グループを指定します。
- エントリ: テーブルやビューなどのデータアセットを表す Knowledge Catalog のリソース。
料金
コネクタを使用してメタデータをインポートする場合、Knowledge Catalog または BigQuery Data Transfer Service からの追加料金は発生しません。
他の Knowledge Catalog の使用（メタデータ ストレージなど）には、標準料金が適用されます。詳細については、Knowledge Catalog の料金をご覧ください。
制限事項
- インポートされるのはメタデータのみで、ソーステーブルまたはビューの基になるデータはインポートされません。基盤となるデータを転送するには、BigQuery Data Transfer Service を使用します。
- 実行するたびに、宛先エントリ グループ内のコネクタ管理エントリが完全に上書きされます。メタデータの増分更新はサポートされていません。
- 実行履歴は 90 日間保持されます。
次のステップ
- dbt Core からメタデータをインポートする方法を確認する。
- Oracle からメタデータをインポートする方法を確認する。
- MySQL からメタデータをインポートする方法を学習する。
- PostgreSQL からメタデータをインポートする方法を学習する。
- SQL Server からメタデータをインポートする方法を学習する。
- コネクタ構成を管理する方法を学習する。