アスペクトを管理してメタデータを拡充する

メタデータは、データアセットを整理して理解するうえで不可欠です。たとえば、規制対象の業界では、名前、住所、政府発行の ID 番号などの個人情報（PII）を保護する必要があります。このデータは、分散データシステム全体で多数のインスタンスで発生する可能性があります。Dataplex Universal Catalog を使用すると、分散データアセットをすばやく検出してカタログに登録できます。その後、データを PII として分類できます。

データ エントリに有意義なコンテキストを追加することで、データの検出可能性と有用性を高めることができます。Dataplex Universal Catalog は、次の方法でコンテキストを有効にします。

• アスペクト タイプ: 関連データを定義する JSON テンプレート。たとえば、コンプライアンス情報には、PII の分類と GDPR 準拠が含まれる場合があります。
• アスペクト: アスペクト タイプのインスタンス。たとえば、{"pii_classification": "confidential", "gdpr_compliant": true}。アスペクトは、テーブル全体または個々のテーブル列に適用できます。

データを分類したら、データ品質ポリシーまたはアクセス ポリシーをデータに適用できます。

詳細については、Dataplex Universal Catalog のメタデータ管理についてをご覧ください。

ヒント: Dataplex Universal Catalog メタデータを初めて使用する場合は、BigQuery テーブルにメタデータを追加するクイックスタートをご覧ください。

アスペクト

アスペクトを使用すると、エントリ内のメタデータをキャプチャして、有意義なコンテキストを提供できます。アスペクトを使用して、次のものを保存できます。

• ビジネス メタデータ: データ分類など、ビジネス コンテキストを提供する情報。

• 技術メタデータ: データアセットに関する技術的な詳細（スキーマなど）。

• データから派生したメタデータ: BigQuery テーブルの統計情報など、データ自体から生成された情報。

アスペクトは、個別のリソースではなく、エントリ リソースの一部とみなされます。アスペクトを変更する場合は、アスペクトを含むエントリを変更する必要があります。

エントリの説明にはエントリレベルで、エントリ内の列の説明には列レベルでアスペクトを指定できます。

すべてのアスペクトは、アスペクト タイプのインスタンスです。アスペクト タイプは、アスペクトのテンプレートを定義します。すべてのアスペクト タイプには、一連のフィールドが含まれています。アスペクトを作成するときに、これらのフィールドの値を指定する必要があります。

特定のエントリには、アスペクト タイプごとに 1 つのアスペクトを関連付けることができます。エントリ列には、アスペクト タイプごとに複数のアスペクトを関連付けることができます。

注: アスペクト タイプとエントリが異なる Google Cloud 組織にあるエントリで、アスペクトを作成して使用することはできません。

アスペクトのカテゴリ

アスペクトは次のカテゴリに分類されます。

• 必須アスペクト: エントリの作成時に必須のアスペクト。このようなアスペクトは、特定のエントリのエントリタイプによって定義されます。エントリタイプに属するすべてのエントリには、そのエントリタイプで定義されているすべての必須アスペクトが常に存在する必要があります。

  Dataplex Universal Catalog は、システム エントリに必要なアスペクト（スキーマなど）を管理します。

  次の点にご注意ください。

  • 必須アスペクトはエントリにのみ関連付けることができ、エントリの列には関連付けられません。

  • エントリから必須アスペクトを削除することはできません。

  • システム エントリの必須アスペクトは読み取れますが、変更はできません。

  • データ アスペクトは必須アスペクトにできません。

• オプションのアスペクト: オプションのアスペクトは、エントリまたはエントリ列に関連付けることができます。オプションのアスペクトは、エントリの作成時に入力するか、後でエントリを更新して入力できます。

  オプションのアスペクトは、入力した後に削除できます。

データ アスペクト

アスペクトには、データ プロファイルやサンプル クエリの結果など、データから派生した情報を含めることができます。これらはデータ アスペクトと呼ばれます。

アスペクト タイプ

アスペクト タイプは、アスペクトのテンプレートを提供する再利用可能なリソースです。

アスペクト タイプのカテゴリ

アスペクト タイプは次のカテゴリに分類されます。

• カスタム アスペクト タイプ: Dataplex Universal Catalog で作成するアスペクト タイプ。

• システム アスペクト タイプ: Dataplex Universal Catalog が指定、使用、管理するアスペクト タイプ。

  システム アスペクト タイプは、再利用可能と制限付きにさらに分類されます。次の表に、システム アスペクト タイプのカテゴリと、各カテゴリに Dataplex Universal Catalog が提供するアスペクト タイプのリストを示します。

  システム アスペクト タイプのカテゴリ	説明	Dataplex Universal Catalog が提供するアスペクト タイプ
  再利用可能なシステム アスペクト タイプ	これらのアスペクト タイプを使用して、アスペクトを作成または変更できます。	contacts data-quality-scorecard generic overview schema usage
  制限付きシステム アスペクト タイプ	これらのアスペクト タイプは Dataplex Universal Catalog によって管理されます。 これらのアスペクト タイプではアスペクトを読み取ることができますが、アスペクトの作成や編集はできません。	以下を含みます（ただしこれらに限定されません）。 analytics-hub aspecttype-aspect bigquery-dataset bigquery-table cloudsql-database cloudsql-instance cloudsql-table entrygroup-aspect entrytype-aspect sensitive-data-protection-profile storage storage-bucket storage-folder

カスタム アスペクト タイプは、グローバルまたはリージョンにできます。カスタム アスペクト タイプは、特定のリージョン ロケーションで、またはグローバル リソースとして作成できます。

グローバル アスペクト タイプは、任意のリージョンのエントリのアスペクトを作成するために使用されます。グローバル アスペクト タイプのコンテンツは、すべてのリージョンに複製されます。リージョン アスペクト タイプは、同じリージョン内のエントリのアスペクトを作成するために使用されます。

アスペクト タイプのロケーションは、適用範囲に影響します。詳細については、プロジェクトとロケーションの制約をご覧ください。

システム アスペクト タイプは常にグローバルです。システム アスペクト タイプは、プロジェクト ID 655216118709 の Google マネージド プロジェクトに保存されます。例: projects/655216118709/locations/global/aspectTypes/schema

始める前に

アスペクト タイプとアスペクトを作成し、管理する前に、このセクションで説明するタスクを完了してください。

必要なロール

アスペクト タイプとアスペクトを作成して管理するために必要な権限を取得するには、リソースに対する次の IAM ロールの付与を管理者に依頼してください。

• アスペクト タイプやデータ アスペクトなど、Dataplex Universal Catalog のメタデータ リソースに対する完全な権限セット: Dataplex Catalog 管理者 （roles/dataplex.catalogAdmin）
• アスペクト タイプやデータ アスペクトなど、Dataplex Universal Catalog でメタデータ リソースを作成、管理する: Dataplex Catalog 編集者 （roles/dataplex.catalogEditor）
• カスタム アスペクト タイプに対するすべての権限（アスペクト タイプを使用してエントリを作成または編集する権限を除く）: Dataplex アスペクト タイプ オーナー（roles/dataplex.aspectTypeOwner）
• アスペクト タイプとそれに関連付けられた IAM ポリシーを表示する: Dataplex Catalog 閲覧者 （roles/dataplex.catalogViewer）
• アスペクト タイプを使用して、対応するアスペクトを持つエントリを作成および変更する: Dataplex アスペクト タイプ ユーザー （roles/dataplex.aspectTypeUser）
• schema、overview、contacts などのシステム アスペクト タイプのアスペクトを追加する: Dataplex エントリと EntryLink オーナー（roles/dataplex.entryOwner）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

詳細については、Dataplex Universal Catalog IAM ロールをご覧ください。

API を有効にする

Dataplex Universal Catalog プロジェクトで Dataplex API を有効にします。

API を有効にする

アスペクト タイプを作成する

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。

   カタログに移動

2. [アスペクト タイプとタグ テンプレート] > [カスタム] タブをクリックします。

3. [アスペクト タイプを作成する] をクリックします。

4. [アスペクト タイプを作成する] ウィンドウで、次のように入力します。

   1. 省略可: [表示名] フィールドに、アスペクト タイプの名前を入力します。
   2. [アスペクト タイプ ID] フィールドに、アスペクト タイプの一意の ID を入力します。
   3. 省略可: [説明] フィールドに、アスペクト タイプの説明を入力します。
   4. [ロケーション] フィールドで、アスペクト タイプのロケーションを選択します。作成後にアスペクト タイプのロケーションを変更することはできません。

5. 省略可: アスペクト タイプのテンプレートを定義します。

   [テンプレート] セクションで、[フィールドを追加] をクリックします。[新規フィールド] セクションに、次の情報を入力します。

   1. [名前] フィールドに名前を入力します。
   2. 省略可: [表示名] フィールドに表示名を入力します。
   3. 省略可: [説明] フィールドに説明を入力します。

   4. [型] フィールドで、フィールドのデータ型を選択します。選択内容に応じて、次のフィールドとオプションが表示されます。

      • データ型として [テキスト] を選択した場合は、次の手順を行います。

        1. [テキスト型] フィールドで、テキストの型を選択します。
        2. [テキスト値] フィールドに、テキスト フィールドのヒントを指定します。これを行うには、[値を追加] をクリックしてヒントを入力します。テキスト フィールドには複数のヒントを追加できます。
        3. [完了] をクリックします。

      • データ型として [列挙型] を選択した場合は、列挙値を追加します。

        1. [列挙値を追加] をクリックします。
        2. [値] フィールドに列挙値を入力します。複数の列挙値を追加できます。
        3. [完了] をクリックします。

      • データ型として [配列] を選択した場合は、[配列項目] セクションで、配列に存在する項目の型を定義します。

        1. [配列項目を追加] をクリックします。
        2. [名前] フィールドに、配列項目の名前を入力します。
        3. 省略可: [表示名] フィールドに、配列項目の表示名を入力します。
        4. 省略可: [説明] フィールドに、配列項目の説明を入力します。

        5. [型] フィールドで、配列項目のデータ型を選択します。

           選択内容に応じて、次の一連のフィールドとオプションが表示されます。これらのオプションは、このセクションの他の箇所で説明されているデータ型であるテキスト、列挙型、マップ、配列、レコードのオプションと類似しています。

        6. [完了] をクリックします。

      • データ型として [マップ] を選択した場合は、[マップ値] セクションで、マップに存在する値の型を定義します。

        1. [マップ値を追加] をクリックします。
        2. [名前] フィールドに、マップの名前を入力します。
        3. 省略可: [表示名] フィールドに、マップの表示名を入力します。
        4. 省略可: [説明] フィールドに、マップの説明を入力します。

        5. [型] フィールドで、マップのデータ型を選択します。

           選択内容に応じて、次の一連のフィールドとオプションが表示されます。これらのオプションは、このセクションの他の箇所で説明されているデータ型であるテキスト、列挙型、マップ、配列、レコードのオプションと類似しています。

        6. [完了] をクリックします。

      • データ型として [記録] を選択した場合は、次のように入力します。

        1. [レコード ID] フィールドに、他のレコード フィールドがこのレコードを参照するために使用できる一意の ID を入力します。このドキュメントのレコード ID フィールドとレコード参照フィールドの使用例をご覧ください。
        2. 省略可: このテンプレートの別のレコードへの参照を追加する場合は、[レコード参照] フィールドを使用します。アスペクト タイプを作成した後にこの値を変更することはできません。このドキュメントのレコード ID フィールドとレコード参照フィールドの使用例をご覧ください。

        3. [レコード フィールド] セクションでは、複数のネストされたフィールドを持つ複雑なオブジェクトを定義できます。これを行うには、[レコード フィールド項目の追加] をクリックして、次の値を指定します。

        4. [名前] フィールドに、レコード フィールドの名前を入力します。

        5. 省略可: [表示名] フィールドに、レコード フィールドの表示名を入力します。

        6. 省略可: [説明] フィールドにレコード フィールドの説明を入力します。

        7. [型] フィールドでデータ型を選択します。

           選択内容に応じて、次の一連のフィールドとオプションが表示されます。これらのオプションは、このセクションで前述したデータ型であるテキスト、列挙型、マップ、配列、レコードのオプションに類似しています。

        8. [完了] をクリックします。

   5. このタイプのアスペクトでフィールドを必須にするには、[必須] を選択します。必須アスペクトとオプションのアスペクトの詳細については、このドキュメントのアスペクトのカテゴリ セクションをご覧ください。

   6. [完了] をクリックします。

   7. 複数のフィールドを追加するには、[フィールドを追加] をクリックして、前の手順を繰り返します。

6. 省略可: [ラベル] セクションで、任意のラベルを Key-Value ペアとしてリソースに追加します。

   1. [ラベルを追加] をクリックします。
   2. [キー] フィールドにキーを入力します。
   3. [値] フィールドにキーの値を入力します。
   4. ラベルをさらに追加するには、[ラベルを追加] をクリックしてこの手順を繰り返します。

7. [保存] をクリックします。

gcloud

アスペクト タイプを作成するには、gcloud dataplex aspect-types create コマンドを使用します。

REST

アスペクト タイプを作成するには、aspectType.create メソッドを使用します。

アスペクト タイプを作成したら、エントリにアスペクトを追加できます。

レコード ID フィールドとレコード参照フィールドの使用例

再帰参照には、[レコード ID] フィールドと [レコード参照] フィールドを使用できます。次の例では、これらのフィールドの使用方法を示します。

次のフィールドを持つ Employee というアスペクト タイプについて考えてみましょう。

• 名前（タイプ: Text）
• 開始日（タイプ: Date & time）
• 申告（タイプ: Text）
• 現在のアドレス（タイプ: Record）
• 永続的なアドレス（タイプ: Record）

2 つのアドレス フィールド（[現在のアドレス] と [永続的なアドレス]）は同じデータタイプ Record です。重複を回避するには、これらのフィールドを定義するときに [レコード ID] と [レコード参照] の値を設定します。

[現在のアドレス] フィールドを定義するときに、レコード ID を address-field として指定できます。[永続的なアドレス] には、[レコード参照] と同じ値（address-field）を指定できます。例:

• 名前（タイプ: Text）
• 開始日（タイプ: Date & time）
• 申告（タイプ: Text）
• 現在のアドレス（タイプ: Record、レコード ID: address-field）
• 永続的なアドレス（タイプ: Record、レコード参照: address-field）

これにより、別の住所のフィールドを複製する必要がなくなります。

エントリにアスペクトを追加する

アスペクト タイプを作成したら、そのタイプのアスペクトを作成できます。アスペクトはエントリ内に保存されるため、エントリにアスペクトを追加するには、エントリを更新する必要があります。

次の点にご注意ください。

• アスペクトはエントリまたはエントリの列に追加できます。
• 必須アスペクトを編集できるのは、カスタム エントリの場合のみです。必須アスペクトは削除できません。
• カスタム エントリとシステム エントリの両方で、オプションのアスペクトを編集および削除できます。

注: CREATE OR REPLACE TABLE ステートメントを使用して BigQuery テーブルを置き換える場合、元のテーブルに関連付けられたメタデータ（アスペクトを含む）は新しいテーブルに適用されません。メタデータを保持する場合は、テーブルの BigQuery ビューを作成して、メタデータをビューに追加できます。

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [検索] ページに移動します。

   検索に移動

2. [検索プラットフォームの選択] で、検索モードとして [Dataplex Universal Catalog] を選択します。

3. アスペクトを追加するエントリを検索し、そのエントリをクリックします。[エントリの詳細] ページが開きます。

4. エントリにアスペクトを追加する手順は次のとおりです。

   1. [詳細] タブをクリックします。
   2. エントリに必須アスペクトまたはオプションのアスペクトを追加するには、[タグとアスペクト] セクションで、該当するカテゴリの [追加] をクリックします。
      選択したエントリのエントリタイプに必須アスペクトが定義されていない場合、必須アスペクトを追加することはできません。
      
   3. 追加するアスペクトを検索して選択します。
   4. [アスペクトを追加] ウィンドウで、フィールドの値を入力します。
   5. [保存] をクリックします。

5. エントリの列にアスペクトを追加する手順は次のとおりです。

   1. [エントリの詳細] ページで [スキーマ] タブをクリックします。
   2. アスペクトを追加する列を選択します。
   3. [アスペクトを追加] をクリックします。
   4. 追加するアスペクトを検索して選択します。
   5. [アスペクトを追加] ウィンドウで、フィールドの値を入力します。
   6. [保存] をクリックします。

gcloud

エントリまたはエントリの列にアスペクトを追加するには、gcloud dataplex entries update コマンドを使用します。

REST

エントリまたはエントリの列にアスペクトを追加するには、entry.patch メソッドを使用します。

それぞれのアスペクト タイプとエントリが異なる Google Cloud 組織にあるエントリでアスペクトを作成して使用することはできません。

エントリの既存のアスペクトを管理する

このセクションでは、エントリの既存のアスペクトを更新および削除する方法について説明します。

アスペクトを更新する

オプションのアスペクトは、カスタム エントリとシステム エントリの両方で編集できます。必須アスペクトを編集できるのは、カスタム エントリの場合のみです。

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [検索] ページに移動します。

   検索に移動

2. [検索プラットフォームの選択] で、検索モードとして [Dataplex Universal Catalog] を選択します。

3. アスペクトを更新するエントリを検索して、そのエントリをクリックします。

   [エントリの詳細] ページが開きます。

4. [詳細] タブをクリックします。

5. [タグとアスペクト] セクションで、更新するアスペクトまたはタグを展開し、[ 編集] をクリックします。

6. [アスペクトの編集] ウィンドウで、必須フィールドを更新します。

7. [保存] をクリックします。

gcloud

エントリまたはエントリの列のアスペクトを更新するには、gcloud dataplex entries update コマンドを使用します。

REST

エントリまたはエントリの列のアスペクトを更新するには、entry.update メソッドを使用します。

アスペクトを削除する

注: エントリのオプションのアスペクトは削除できますが、必須アスペクトは削除できません。

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [検索] ページに移動します。

   検索に移動

2. [検索プラットフォームの選択] で、検索モードとして [Dataplex Universal Catalog] を選択します。

3. 削除するアスペクトを含むエントリを検索して、そのエントリをクリックします。

   [エントリの詳細] ページが開きます。

4. [詳細] タブをクリックします。

5. [タグとアスペクト] セクションで、削除するアスペクトまたはタグを展開し、 [削除] をクリックします。

6. [確認] をクリックします。

gcloud

エントリのアスペクトを削除するには、gcloud dataplex entries update コマンドを使用します。

REST

エントリのアスペクトを削除するには、entry.update メソッドを使用します。

アスペクト タイプを管理する

このセクションでは、アスペクト タイプを表示、更新、削除する方法について説明します。

注: システム アスペクト タイプの権限は編集、削除、変更できません。

使用可能なアスペクト タイプとタグ テンプレートのリストを表示する

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。

   カタログに移動

2. [アスペクト タイプとタグ テンプレート] タブをクリックします。

   このページでは、使用可能な Dataplex Universal Catalog アスペクト タイプと Data Catalog タグ テンプレートをすべて示します。

3. カスタム アスペクト タイプとタグ テンプレートを表示するには、[カスタム] タブをクリックします。[カスタム] タブの [カタログソース] 列に、リソースが存在する場所（Dataplex Universal Catalog または Data Catalog）が表示されます。

   システム アスペクト タイプを表示するには、[システム] タブをクリックします。

   カスタム アスペクト タイプとシステム アスペクト タイプの詳細については、このドキュメントのアスペクト タイプのカテゴリをご覧ください。

4. 省略可: 選択したプロジェクトのアスペクト タイプとタグ テンプレートのリストを表示するには、[カスタム] タブをクリックし、[すべてのプロジェクトから表示] をクリックしてオフに切り替えます。

   [すべてのプロジェクトから表示] 切り替えボタンはデフォルトでオンになっています。リストには、選択した組織の Dataplex Universal Catalog リソースと、アクセスできるすべての組織の Data Catalog リソースが含まれます。

   注: [すべてのプロジェクトから表示] 切り替えボタンがオンになっている場合、エントリタイプを直接編集または削除することはできません。代わりに、アスペクト タイプをクリックして [アスペクト タイプの詳細] ページを開き、編集または削除します。

gcloud

使用可能なすべてのアスペクト タイプを一覧表示するには、gcloud dataplex aspect-types list コマンドを使用します。

REST

使用可能なアスペクト タイプをすべて一覧表示するには、aspectTypes.list メソッドを使用します。

アスペクト タイプまたはタグ テンプレートの詳細を表示する

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。

   カタログに移動

2. [アスペクト タイプとタグ テンプレート] タブをクリックします。

3. Dataplex Universal Catalog のアスペクト タイプの詳細を表示するには、アスペクト タイプをクリックします。アスペクト タイプの詳細ページが開きます。ここでは、表示名、アスペクト タイプ ID、説明、プロジェクト ID、ロケーション、ラベル、作成日、最終更新日などの詳細にアクセスできます。

   • 選択したアスペクト タイプの構造を表示するには、[テンプレート] タブをクリックします。
   • 最近作成された関連エントリのリスト（10 件）を表示するには、[サンプル エントリ] タブをクリックします。
   • 関連するすべてのエントリを検索するには、[検索結果の関連エントリをすべて表示] をクリックします。このボタンは、関連するエントリが 1 つ以上ある場合にのみ表示されます。

4. Data Catalog タグ テンプレートの詳細を表示するには、タグ テンプレートをクリックします。Data Catalog でタグ テンプレートの詳細ページが開きます。ここで、表示名、テンプレート ID、プロジェクト ID、ロケーション、公開設定、ラベルなどの詳細にアクセスできます。

gcloud

アスペクト タイプの詳細を取得するには、gcloud dataplex aspect-types describe コマンドを使用します。

REST

アスペクト タイプの詳細を取得するには、aspectTypes.get メソッドを使用します。

アスペクト タイプを更新する

アスペクト タイプの表示名、説明、テンプレート フィールド、ラベルを更新できます。テンプレートの既存のフィールドは削除できません。

アスペクト タイプの作成後に、アスペクト タイプの ID とロケーションを更新することはできません。

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。

   カタログに移動

2. [アスペクト タイプとタグ テンプレート] タブをクリックします。

3. 更新するアスペクト タイプをクリックします。

4. [アスペクト タイプの詳細] ページで、[編集] をクリックします。

5. 必要に応じて、表示名、説明、テンプレート フィールド、ラベルを編集します。

6. 省略可: アスペクト タイプのフィールドを非推奨としてマークするには、次の操作を行います。

   1. [テンプレート] セクションで、フィールドを開きます。
   2. [非推奨] を選択します。
   3. [非推奨の理由] フィールドに、選択したフィールドを非推奨にする理由を入力します。
   4. [完了] をクリックします。

7. [保存] をクリックします。

gcloud

アスペクト タイプを更新するには、gcloud dataplex aspect-types update コマンドを使用します。

REST

アスペクト タイプを更新するには、aspectTypes.patch メソッドを使用します。

アスペクト タイプを削除する

注意: アスペクト タイプを削除すると、そのアスペクト タイプに関連付けられているすべてのアスペクトが削除されます。

コンソール

1. Google Cloud コンソールで、Dataplex Universal Catalog の [カタログ] ページに移動します。

   カタログに移動

2. [アスペクト タイプとタグ テンプレート] タブをクリックします。

3. 削除するアスペクト タイプをクリックします。

4. [アスペクト タイプの詳細] ページで、[削除] をクリックします。表示されるメッセージを確認します。

gcloud

アスペクト タイプを削除するには、gcloud dataplex aspect-types delete コマンドを使用します。

REST

既存のアスペクト タイプを削除するには、aspectTypes.delete メソッドを使用します。

次のステップ

• Dataplex Universal Catalog でデータアセットを検索する方法を確認する。
• エントリの管理方法とカスタムソースを取り込む方法を確認する。
• Dataplex Universal Catalog にメタデータをインポートする方法を確認する。
• Dataplex Universal Catalog のメタデータ管理の詳細を確認する。
• Data Catalog から Dataplex Universal Catalog への移行の詳細を確認する。