Knowledge Catalog（以前の Dataplex Universal Catalog）は Data Catalog に代わるもので、より複雑なメタデータ管理、高度なデータ ガバナンス機能、より優れたデータ検索、複雑さの軽減されたアクセス制御、開発を容易にする統合 API を提供します。このドキュメントでは、Data Catalog のコンテンツと使用状況を Knowledge Catalog に移行する方法について説明します。
カタログの使用が初めての場合は、Knowledge Catalog をデフォルトのカタログ エクスペリエンスとして構成して、まず Knowledge Catalog から始めます。
Knowledge Catalog には、統合されたウェブ インターフェースと API があります。Knowledge Catalog に移行すると、既存および将来のワークロードとユーザーは、強化された機能と性能のメリットを享受できます。詳細については、Knowledge Catalog のメタデータについてをご覧ください。
Knowledge Catalog と Data Catalog の比較については、Knowledge Catalog と Data Catalog の比較をご覧ください。
始める前に
移行を開始する前に、Knowledge Catalog でサポートされていないメタデータ管理機能を確認してください。
移行の概要
Google Cloud コンソールの [Knowledge Catalog への移行の管理] ページには、移行を管理するための単一のアクセス ポイントがあります。
このセクションでは、さまざまな移行シナリオと、各シナリオの移行プロセスの概要について説明します。
Data Catalog にカスタム メタデータがない場合、または Data Catalog を使用したことがない場合
Data Catalog を使用しているときに、タグ、タグ テンプレート、カスタム エントリ、エントリ グループなどのカスタム メタデータがない場合、または Data Catalog を使用したことがない場合は、デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定して移行を完了します。
Data Catalog のカスタム メタデータまたはプログラムによるワークロードがある場合
カスタム メタデータ（タグ、タグ テンプレート、カスタム エントリ、エントリ グループなど）で Data Catalog を使用している場合、Knowledge Catalog は、このカスタム メタデータを read-only として自動的にインポートできます。この機能を有効にするには、準備フェーズで説明されているように構成を変更する必要があります。
2 つ目のフェーズはアップグレード フェーズです。このフェーズでは、カスタム メタデータのアクティブな状態（read-write）が Knowledge Catalog に移動されます。このフェーズでは、Knowledge Catalog を操作するプログラムによるワークロード（API、クライアント ライブラリ、Terraform モジュール、Google Cloud CLI コマンドなど）も更新する必要があります。
移行プロセスの各フェーズについて詳しく説明します。
準備フェーズ: Data Catalog コンテンツを Knowledge Catalog で
read-onlyとして同時に使用できるように、必要な構成タスクを実行します。このフェーズでは、Data Catalog はメタデータ コンテンツの信頼できるソースのままです。準備フェーズには、次のタスクが含まれます。
- Data Catalog の非公開タグ テンプレートを公開に更新します。
- カスタム メタデータに Knowledge Catalog の IAM 権限を構成します。
詳細については、準備フェーズをご覧ください。
アップグレード フェーズ: カタログの使用状況とカスタム メタデータのアクティブ状態（
read-write）を Knowledge Catalog に移動します。アップグレード フェーズには、次のタスクが含まれます。
- デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定します。
- Data Catalog のカスタム メタデータを Knowledge Catalog にアップグレードします。
- プログラマティック ワークロードを更新します。
アップグレード フェーズが完了すると、Knowledge Catalog がすべてのメタデータの信頼できるソースになり、Data Catalog を使用する必要がなくなります。
詳細については、アップグレード フェーズをご覧ください。
必要なロール
Data Catalog から Knowledge Catalog に移行するために必要な権限を取得するには、リソースに次の IAM ロールを付与します。
非公開タグ テンプレートを公開に更新する: Data Catalog TagTemplate オーナー（
roles/datacatalog.tagTemplateOwner）この事前定義ロールには、非公開タグ テンプレートを公開に更新するために必要な
datacatalog.tagTemplates.update権限が含まれています。デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定する: DataCatalog 移行構成の管理者（
roles/datacatalog.migrationConfigAdmin）この事前定義ロールには、デフォルトのカタログ UI エクスペリエンスを設定するために必要な
datacatalog.migrationConfig.set権限が含まれています。Data Catalog の公開タグ テンプレートを Knowledge Catalog にアップグレードする: Data Catalog TagTemplate オーナー（
roles/datacatalog.tagTemplateOwner）この事前定義ロールには、公開タグ テンプレートのアップグレードに必要な
datacatalog.tagTemplates.update権限が含まれています。Data Catalog エントリ グループを Knowledge Catalog にアップグレードする: DataCatalog EntryGroup オーナー（
roles/datacatalog.entryGroupOwner）この事前定義ロールには、エントリ グループのアップグレードに必要な
datacatalog.entryGroups.update権限が含まれています。
ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールを使用して取得することもできます。
準備段階
このフェーズでは、Data Catalog メタデータ コンテンツを Knowledge Catalog の read-only モードで同時に利用できるようにするタスクが含まれます。
準備フェーズで留意すべき主なポイントは次のとおりです。
- Data Catalog は、カスタム メタデータの信頼できるソースであり続けます。
- 準備段階が完了するまで、Knowledge Catalog 検索に Data Catalog の公開タグ テンプレートとタグがすべて含まれない場合があります。
Knowledge Catalog で Data Catalog メタデータを同時に利用可能にする方法を学習する
Data Catalog のカスタム エントリ グループ、エントリ、タグ、公開タグ テンプレートは、Knowledge Catalog で read-only リソースとして自動的に使用できます。
次のテーブルに、Data Catalog リソースが Knowledge Catalog で同時に使用可能になった場合の、Data Catalog リソースと Knowledge Catalog リソースのマッピングを示します。
| Data Catalog リソース | 対応する Knowledge Catalog リソース | 説明 |
|---|---|---|
| タグ テンプレート | アスペクト タイプ（グローバル） | Data Catalog のタグ テンプレートはリージョン リソースです。そのコンテンツは、Knowledge Catalog でグローバル アスペクト タイプとして同時に使用できるようになります。これは、タグとタグ テンプレート間のリージョン間参照を保持するためです。グローバル アスペクト タイプの定義は、すべての Google Cloud リージョンに複製されます。
|
| タグ | オプションのアスペクト | タグは Knowledge Catalog でオプションのアスペクトとして同時に使用できるようになります。詳細については、アスペクトのカテゴリをご覧ください。 |
| エントリ グループ | エントリ グループ | システム エントリのエントリ グループは、Knowledge Catalog でプロジェクトごと、リージョンごとに設定されます。Data Catalog で作成されたエントリ グループは、Knowledge Catalog で同時に使用できるようになります。 |
| カスタム エントリ | カスタム エントリ | Data Catalog のすべてのカスタム エントリは、Knowledge Catalog の GenericEntryType のエントリとして同時に使用できるようになります。詳細については、エントリタイプのカテゴリをご覧ください。 |
| システム エントリ（Google Cloud） | システム エントリの必須アスペクト | BigQuery テーブルの Schema など、システム エントリを記述するメタデータは、システム定義のアスペクト タイプの必須アスペクトでキャプチャされます。 |
Data Catalog の非公開タグ テンプレートを公開に更新する
Knowledge Catalog は、非公開アスペクト（非公開タグに対応）のコンセプトをサポートしていません。そのため、非公開タグ テンプレートとタグは、Knowledge Catalog で同時に使用することはできません。Knowledge Catalog で非公開タグ テンプレートとタグを伝播するには、それらを公開に更新する必要があります。
続行する前に、非公開タグ テンプレートの構造を確認し、その構造とメタデータが公開タグの公開設定と一致していることを検証します。
非公開タグ テンプレートとタグを公開に更新する手順は次のとおりです。
コンソール
Google Cloud コンソールで、[タグ テンプレート] ページに移動します。
[Knowledge Catalog への移行の管理] をクリックします。
[非公開タグ テンプレート] タブをクリックします。
[タグ テンプレートを管理する] をクリックします。
[タグ テンプレート] ページで、更新する非公開タグ テンプレートをクリックします。
[テンプレートの詳細] ページで、[編集] をクリックします。
[公開設定] セクションで、[公開] を選択します。
[更新] をクリックします。
REST
非公開タグ テンプレートを公開に更新するには、tagTemplates.patch メソッドを使用します。
カスタム メタデータに Knowledge Catalog の IAM 権限を構成する
Data Catalog のタグ テンプレートとエントリ グループを表す Knowledge Catalog のアスペクト タイプとカスタム エントリ グループは、元の Data Catalog IAM 権限を継承しません。必要な特定の IAM 権限も、Knowledge Catalog と Data Catalog で異なります。
たとえば、伝播されたアスペクト タイプ（Data Catalog タグ テンプレートを表す）を使用してアスペクトを作成する場合は、そのアスペクト タイプに必要な IAM 権限を構成する必要があります。同様に、カスタム メタデータを取り込むときに、伝播されたカスタム エントリ グループ内にカスタム エントリを作成するには、そのエントリ グループに必要な IAM 権限を構成する必要があります。
Data Catalog IAM ロールを使用して、プロジェクト レベル以上で Data Catalog のアクセスを管理している場合、必要な Knowledge Catalog 権限が自動的に含まれます。ただし、カスタムロールを使用している場合や、特定の IAM ロールを特定のリソースに直接割り当てている場合は、これらの特定のアスペクトとカスタム エントリ グループの Knowledge Catalog 権限を手動で構成する必要があります。
Data Catalog の IAM 権限と Knowledge Catalog の IAM 権限の関係の詳細については、Data Catalog と Knowledge Catalog 間の IAM 権限のマッピングをご覧ください。
アスペクト タイプとカスタム エントリ グループに必要な Knowledge Catalog IAM 権限を構成する手順は次のとおりです。
コンソール
Google Cloud コンソールで、[タグ テンプレート] ページに移動します。
[Knowledge Catalog への移行の管理] をクリックします。
[Dataplex の IAM 権限] タブをクリックします。
アスペクト タイプの Knowledge Catalog IAM 権限を構成するには、[アスペクト タイプとタグ テンプレート] をクリックします。
Data Catalog から伝播されたタグ テンプレートで、 > [権限] をクリックします。
[プリンシパルを追加] をクリックします。
新しいプリンシパルを追加し、必要なロールを割り当てます。
[保存] をクリックします。
エントリ グループの Knowledge Catalog IAM 権限を構成するには、[エントリ グループ] をクリックします。
Data Catalog から伝播されたエントリ グループの場合は、 > [権限] をクリックします。
[プリンシパルを追加] をクリックします。
新しいプリンシパルを追加し、必要なロールを割り当てます。
[保存] をクリックします。
REST
アスペクト タイプの Knowledge Catalog IAM 権限を構成するには、aspectTypes.setIamPolicy メソッドを使用します。
エントリ グループの Knowledge Catalog IAM 権限を構成するには、entryGroups.setIamPolicy メソッドを使用します。
アップグレード フェーズ
このフェーズでは、Data Catalog カスタム メタデータのアクティブ状態（read-write）を Knowledge Catalog に移動するタスクが含まれます。
アップグレード フェーズで留意すべき主なポイントは次のとおりです。
- Knowledge Catalog では、Data Catalog メタデータと Knowledge Catalog メタデータの両方を検出して読み取ることができます。
- Google Cloud コンソールでメタデータを更新すると、ソースにリダイレクトされます。たとえば、Data Catalog タグ テンプレートを更新すると、Data Catalog のタグ テンプレート ページにリダイレクトされます。
デフォルトのカタログ UI を Knowledge Catalog に設定する
デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定すると、次のようになります。
ウェブ インターフェースでは、Knowledge Catalog に新しいリソースを作成することをおすすめします。たとえば、デフォルトでは [タグ テンプレートを作成する] ではなく [アスペクト タイプを作成する] になり、[エントリ グループを作成する（Data Catalog）] ではなく [エントリ グループを作成する（Knowledge Catalog）] になります。
デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定することは、通常は一方通行のオペレーションです。ただし、Knowledge Catalog では、デフォルトのカタログ UI エクスペリエンスを Data Catalog に戻す場合など、例外的な場合に変更を元に戻すことができます。変更を元に戻すと、Knowledge Catalog で作成されたコンテンツに Data Catalog ウェブ インターフェースからアクセスできなくなります。
デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定する手順は次のとおりです。
コンソール
Google Cloud コンソールで、[タグ テンプレート] ページに移動します。
[Knowledge Catalog への移行の管理] をクリックします。
[デフォルトのカタログ UI エクスペリエンス] タブをクリックします。
[デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定する] をクリックします。
REST
デフォルトのカタログ UI エクスペリエンスを Knowledge Catalog に設定するには、setConfig メソッドを使用します。
Data Catalog のカスタム メタデータを Knowledge Catalog にアップグレードする
Data Catalog の公開タグ テンプレートとカスタム エントリ グループは、Knowledge Catalog にアップグレードできます。各タグ テンプレートとカスタム エントリ グループを個別にアップグレードしてください。
アップグレード プロセスの概要は次のとおりです。
効果
- リソースのアクティブな状態を Data Catalog から Knowledge Catalog に転送します。アップグレード後にリソースを変更したり現在の状態を確認したりするには、Knowledge Catalog を使用する必要があります。
データの内容とフローへの変更
- Data Catalog でリソースを
read-onlyとしてマークします。 - Knowledge Catalog でリソースを
read-writeとしてマークします。 - このリソースの同時利用を停止します。
- Data Catalog でリソースを
依存関係
- タグ テンプレートをアップグレードすると、そのテンプレートを使用しているタグもすべてアップグレードされます。
- エントリ グループをアップグレードすると、そのグループ内のすべてのエントリもアップグレードされます。
- エントリをアップグレードしても、タグやそれぞれのタグ テンプレートのアップグレード ステータスには影響しません。
アップグレード前にエントリのビジネス コンテキスト（overview、contacts など）を変更するには、Data Catalog API と Dataplex API の両方を使用できます。アップグレード後は、Dataplex API のみを使用する必要があります。
以下では、タグ付けされたカスタム Data Catalog エントリに対して許可されるオペレーションは、関連するカスタム エントリ グループとタグ テンプレートのアップグレード ステータスによって異なることを説明します。
- Data Catalog でタグ テンプレートがアクティブになっている場合は、そのタグ テンプレートを使用してタグを作成できます。タグ テンプレートを Knowledge Catalog にアップグレードした後、そのテンプレートを使用して Data Catalog でタグを作成することはできません。
- Data Catalog タグ テンプレートから伝播されたアスペクト タイプを使用してアスペクトを作成できるのは、タグ テンプレートをアップグレードした後のみです。
Data Catalog のタグ テンプレートとカスタム エントリ グループを Knowledge Catalog にアップグレードする手順は次のとおりです。
コンソール
Google Cloud コンソールで、[タグ テンプレート] ページに移動します。
[Knowledge Catalog への移行の管理] をクリックします。
[Knowledge Catalog にアップグレード] タブをクリックします。
Data Catalog のタグ テンプレートを Knowledge Catalog にアップグレードするには、[アスペクト タイプとタグ テンプレートを表示] をクリックします。
アップグレードするタグ テンプレートを選択します。
[アップグレード] をクリックします。
確認のダイアログで [確認] をクリックします。
Data Catalog カスタム エントリ グループを Knowledge Catalog にアップグレードするには、[エントリ グループを表示] をクリックします。
アップグレードするエントリ グループを選択します。
[アップグレード] をクリックします。
確認のダイアログで [確認] をクリックします。
REST
Data Catalog のタグ テンプレートとカスタム エントリ グループを Knowledge Catalog にアップグレードするには、tagTemplates.patch メソッドを使用します。
アップグレード フェーズが完了すると、Knowledge Catalog がすべてのメタデータの信頼できるソースになり、Data Catalog を使用する必要がなくなります。
プログラマティック ワークロードを更新する
Knowledge Catalog には、新しい API、クライアント ライブラリ、Terraform モジュール、Google Cloud CLI コマンドが付属しています。したがって、Data Catalog をプログラムで使用している既存のワークロードは、Knowledge Catalog に更新する必要があります。Knowledge Catalog のコードサンプルをご覧ください。
プログラマティック ワークロードの更新を、タグ テンプレートやカスタム エントリ グループなどの依存リソースのアップグレードと調整してください。これは、アップグレードによってリソースのアクティブな状態（read-write）が Data Catalog から Knowledge Catalog に移動するために必要です。
次に、依存リソースのアップグレードと調整して、Knowledge Catalog を操作するようにプログラマティック ワークロードを更新するシーケンスの例を示します。
ワークロードが結果整合性を許容できる場合は、ワークロードの
readオペレーションを Knowledge Catalog に移動します。タグ付け
writeオペレーションを実行するワークロードを、対応するタグ テンプレートのアップグレードと調整して Knowledge Catalog に移動します。カスタム取り込み
writeオペレーションを実行するワークロードを、それぞれのカスタム エントリ グループのアップグレードと調整して Knowledge Catalog に移動します。
更新ワークロードと対応するリソースのアップグレードを分離する必要がある場合は、リソースのアップグレード ステータスに基づいて read-write を Data Catalog または Knowledge Catalog にルーティングするロジックをワークロード内に実装することを検討してください。したがって、ワークロードは関連リソースのアップグレード ステータスとは独立して動作します。
次のステップ
- Knowledge Catalog のメタデータの詳細を確認する。
- Data Catalog API メソッドを Knowledge Catalog にマッピングするをご覧ください。
- Knowledge Catalog でリソースを検索する方法を確認する。
- アスペクトを管理してメタデータを拡充する方法を確認する。
- エントリの管理方法とカスタムソースを取り込む方法を確認する。
- Dataplex API リファレンスを参照する。