BigQuery テーブルにメタデータを追加する

BigQuery テーブルにメタデータを追加する

Knowledge Catalog（以前の Dataplex Universal Catalog）を使用すると、ビジネス メタデータとテクニカル メタデータをデータアセットに関連付けて、データを整理、検出、管理できます。Knowledge Catalog では、各データアセットはエントリとして表されます。メタデータをアタッチするには、アスペクト（アスペクト タイプと呼ばれる再利用可能なテンプレートで定義された関連するメタデータ フィールドのセット）を追加します。

このクイックスタートでは、一般公開されている BigQuery データセットから BigQuery データセットとテーブルを作成し、アスペクト タイプを作成して、テーブル エントリにアスペクトを追加します。

始める前に

Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、 アカウントを作成して、実際のシナリオで Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分も差し上げます。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex and BigQuery APIs, if any are not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

必要なロール

BigQuery テーブルにメタデータを追加するために必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼します。

• Dataplex Catalog 管理者 （roles/dataplex.catalogAdmin）
• BigQuery データオーナー （roles/bigquery.dataOwner）
• BigQuery ジョブユーザー （roles/bigquery.jobUser）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

データセットとテーブルを作成する

1. Google Cloud コンソールで、[BigQuery Studio] ページに移動します。

   BigQuery Studio に移動

2. データセットを作成します。

   1. 左側のペインで、 エクスプローラをクリックします。

      

      左側のペインが表示されていない場合は、 左ペインを開くをクリックしてペインを開きます。

   2. [エクスプローラ] ペインでプロジェクトを探します。（アクションを表示）をクリックしてから、[データセットを作成] をクリックします。

   3. [データセット ID] フィールドに「catalog_demo_dataset」と入力します。

      他のフィールドはデフォルト値をそのまま使用します。

   4. [データセットを作成] をクリックします。

3. 一般公開テーブルをデータセットにコピーします。

   1. [エクスプローラ] ペインで、bigquery-public-data.new_york_citibike.citibike_stations という名前のテーブルを検索します。検索範囲に bigquery-public-data プロジェクトを含むよう設定が必要になる場合があります。

      このテーブルは、シェアサイクル プログラムに関するデータを含む一般公開データセットである NYC Citi Bike Trips データセットの一部です。

   2. citibike_stations テーブルを選択します。

   3. [コピー] をクリックします。次の情報を入力します。

      • プロジェクト: 該当プロジェクトを選択します。
      • データセット: catalog_demo_dataset を選択します。
      • テーブル: 「bike_stations」と入力します。

   4. [コピー] をクリックします。

4. [エクスプローラ] ペインで、catalog_demo_dataset データセットを見つけ、bike_stations テーブルがデータセットに表示されていることを確認します。

メタデータ テンプレートを定義する: アスペクト タイプを作成する

1. Google Cloud コンソールで、Knowledge Catalog の [メタデータのタイプ] ページに移動します。

   [メタデータのタイプ] に移動

2. [アスペクト タイプ] タブをクリックしてから、[カスタム] タブをクリックします。

3. [アスペクト タイプを作成する] をクリックします。

4. [アスペクト タイプ ID] フィールドに「data-governance-demo」と入力します。

5. [場所] で [global] を選択します。

6. [テンプレート] セクションで、[フィールドを追加] をクリックします。次の表の情報を使用して、アスペクト タイプに複数のフィールドを追加します。

   名前	タイプ	必須	説明
   source-of-data-asset	テキスト	いいえ	-
   retention-date	日時	いいえ	-
   data-classification	列挙型 値 Public、Sensitive、Confidential を追加します。	はい	-
   has-pii	ブール値	はい	Whether the data asset has personally identifiable information

7. [保存] をクリックします。

テーブルにメタデータを追加する: エントリにアスペクトを追加する

1. Google Cloud コンソールで、Knowledge Catalog の [検索] ページに移動します。

   検索に移動

2. [検索] ボックスに「catalog_demo_dataset」と入力します。

3. [bike_stations] テーブルを選択します。

4. エントリにカスタム アスペクトを追加します。

   1. [アスペクト] セクションで、[オプションのアスペクト] の横にある [追加] をクリックします。

   2. data-governance-demo アスペクト タイプを選択します。

      これにより、アスペクト タイプをテンプレートとして使用するアスペクトが作成されます。

   3. 次の値を入力します。

      • データアセットのソース: Copied from NYC Citi Bike Trips public dataset
      • 保持日: 日付を入力します。
      • データ分類: Public
      • 個人情報（PII）あり: False

   4. [保存] をクリックします。

5. 追加したメタデータ値を確認するには、[アスペクト] セクションで data-governance-demo アスペクトを選択します。

クリーンアップ

このページで使用したリソースについて、 Google Cloud アカウントに課金されないようにするには、次の手順を実施します。

プロジェクトを削除する

課金を停止する最も簡単な方法は、このクイックスタート用に作成したプロジェクトを削除することです。

注意: プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。既存のプロジェクトを使用してこのドキュメントのタスクを行った場合、そのプロジェクトを削除すると、プロジェクト内で行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（例: appspot.com）を保持するには、プロジェクト全体ではなく、プロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て上限を超えないようにすることができます。

1. Google Cloud コンソールで [リソースの管理] ページに移動します。

   [リソースの管理] に移動

2. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
3. ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

リソースを個別に削除する

プロジェクトを再利用する場合は、作成したリソースを削除します。

1. データセットを削除する:

   1. Google Cloud コンソールで、[BigQuery Studio] ページに移動します。

      BigQuery Studio に移動

   2. 左側のペインで、 [エクスプローラ] をクリックします。

      

   3. [エクスプローラ] ペインで、catalog_demo_dataset データセットを検索します。

   4. [アクションを表示] をクリックし、[削除] をクリックします。表示されるメッセージを確認します。

2. アスペクト タイプを削除する:

   1. Google Cloud コンソールで、Knowledge Catalog の [メタデータのタイプ] ページに移動します。

      [メタデータのタイプ] に移動

   2. [アスペクト タイプ] タブをクリックしてから、[カスタム] タブをクリックします。

   3. data-governance-demo アスペクト タイプをクリックします。

   4. [削除] をクリックします。表示されるメッセージを確認します。

次のステップ

• メタデータ管理 について詳細を確認する。
• リソースを検索する方法を学習する。
• アスペクトとアスペクト タイプを操作する方法を学習する。
• Knowledge Catalog のユースケースを試す。