Knowledge Catalog を使用してデータアセットを管理する

Knowledge Catalog は、Bigtable リソースに関するメタデータを自動的にカタログ化します。この機能は、Bigtable データアセットの検索と管理に役立ちます。

以下の Bigtable リソースについて、メタデータが Bigtable から Knowledge Catalog へ自動的に同期されます。

  • インスタンス
  • クラスタ
  • テーブル（列ファミリーの詳細を含む）

Knowledge Catalog は、フルマネージドのメタデータ管理サービスです。 技術とビジネス関連のメタデータの全体像とタグ付けメカニズムを提供します。Knowledge Catalog の詳細やおすすめする理由については、 Knowledge Catalog の概要をご覧ください。

Bigtable で Knowledge Catalog を使用するメリット

データに関する Knowledge Catalog の情報を使用すると、分析、データの再利用、アプリケーション開発、データ マネジメントを容易に行うことができます。

Knowledge Catalog のエントリは、リソース名などの詳細で検索できます。たとえば、インスタンス名を検索してインスタンスのエントリを検索したり、列ファミリーを検索してテーブルのエントリを検索できます。ファセット検索でフィルタを適用して、検索を絞り込むこともできます。詳細については、 Knowledge Catalog でリソースを検索するをご覧ください。

データアセットにタグを付けると、Bigtable テーブルで利用可能データを把握し、カタログ化が容易になります。これにより、Knowledge Catalog ユーザーがデータを見つけやすくなったり、検索しやすくなります。また、さらに大きなデータ資産の一部として検索する場合にも役立ちます。アスペクトを使用して、カタログ化されたメタデータに独自のメタデータを追加すると、そのアスペクトを使用して検索ができます。

Knowledge Catalog のスタートガイド

Knowledge Catalog を使用して Bigtable データアセットの管理を始めるには、次のタスクを行います。

  1. Dataplex API を有効にする。

  2. IAM のロールを付与します。Knowledge Catalog の Bigtable エントリに アクセスする必要があるプリンシパルに。

  3. データアセットを検索する方法を確認する。

  4. メタデータを見つける方法については、Knowledge Catalog の検索構文 をご覧ください。

  5. Knowledge Catalog エントリにタグ付けするコンセプトを確認する。詳細については、 Knowledge Catalog の メタデータ管理についてをご覧ください。

Bigtable メタデータを検索する方法

Knowledge Catalog を使用して、同期された Bigtable メタデータを検索できます。

修飾述語に加えて、次のメタデータ フィールドを使用して Bigtable リソースを検索できます。

  • インスタンス

    • Bigtable インスタンス名
    • Bigtable インスタンスの ID
    • クラスタのロケーション
    • クラスタ ID

  • テーブル

    • テーブル ID
    • 列ファミリー名
    • Bigtable インスタンス名
    • Bigtable インスタンスの ID

必要なロール

Knowledge Catalog で Bigtable リソースを表示、タグ付け、検索するには、異なる権限が必要です。一般に、組織のプリンシパルに、タスクの実行に必要な最小限のロールを付与します。

公開アスペクトと非公開アスペクトを表示する権限

Bigtable リソースの公開アスペクトと非公開アスペクトを表示するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

これらの事前定義ロールには、公開アスペクトと非公開アスペクトの表示に必要な権限が含まれています。必要となる正確な権限は次のとおりです。

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Bigtable リソースを検索する権限

Knowledge Catalog で Bigtable リソースを検索するために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

これらの事前定義ロールには、Bigtable リソースの検索に必要な権限が含まれています。必要となる正確な権限は次のとおりです。

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Bigtable リソースにアスペクトを付ける権限

Knowledge Catalog の Bigtable リソースにアスペクトを付けるために必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。

これらの事前定義ロールには、公開アスペクトと非公開アスペクトの追加に必要な権限が含まれています。必要となる正確な権限は次のとおりです。

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

省略可: カスタムロールを作成する

カスタムロールを作成して、プロジェクトまたは組織全体で Knowledge Catalog 内のすべての Bigtable メタデータへの完全アクセス権が必要なユーザーに付与することもできます。これにより、カスタムロールのプリンシパルにアクセスする必要があるユーザーまたはサービス アカウントを作成できます。カスタムロールの詳細については、 ロールと権限をご覧ください。

ロールに意味のある名前（Bigtable Dataplex 編集者など）を選び、ロールにアクセスする必要があるプリンシパルのみを割り当てます。設定手順については、 カスタムロールの作成と管理をご覧ください。

カスタムロールに次の権限を付与します。

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

詳細については、 Knowledge Catalog の IAM 権限をご覧ください。 Bigtable の権限の詳細については、権限をご覧ください。

制限事項

次のセクションでは、Knowledge Catalog を使用して Bigtable メタデータを管理する前に考慮すべき制約を示します。

ロケーションの制約

組織でロケーション の制約が設定されている場合、 Bigtable リソースのメタデータ エントリが Knowledge Catalog と同期されない場合があります。ロケーションの制約を適用する前に作成されたエントリは、Knowledge Catalog によって保持されます。

Knowledge Catalog がリソースを取り込めるようにするには、ロケーション ポリシーに global マルチリージョンを追加することをおすすめします。

列ファミリー名の例外

リクエスト内の列ファミリー名にピリオド（.）が含まれるリクエストは Dataplex API によって拒否されます。たとえば、列ファミリー名が personal.infoの場合などです。

次のステップ