Knowledge Catalog を使用して Looker（Google Cloud コア）リソースを管理する

Knowledge Catalog を使用して、Looker（Google Cloud コア）インスタンスのメタデータを管理できます。メタデータを管理することで、データを管理し、情報に基づいた意思決定を行うことができます。

Knowledge Catalog は、メタデータを保存、管理し、アクセスを提供する Data Catalog プラットフォームです。Looker（Google Cloud コア）の本番環境の LookML、LookML プロジェクト、ダッシュボードのメタデータをインデックスに登録します。

この統合により、データリネージを含むデータアセットとその関係を 1 つのビューで確認できます。Knowledge Catalog を使用すると、影響分析、データ検出、変更管理を実行できます。これにより、データを運用ワークフローに統合し、データの新しい用途を見つけることができます。

Knowledge Catalog は、Looker から複数のエンティティ レベルをキャプチャします。これには次のものが含まれます。

  • Looker インスタンス: インスタンス ID、URL、関連するダッシュボードなど
  • エージェント: 作成者、説明、データソースなど
  • ダッシュボード: 名前、レイアウト、フィルタ、関連するダッシュボードの要素など
  • ダッシュボードの要素: タイプ、クエリ、モデル、Explore など
  • Explore: ラベル、デフォルト クエリ、外部キー、結合条件（sql_on、relationship、type）、フィルタ（always_filter、conditionally_filter、access_filter、sql_always_where、sql_always_having）、ディメンションとメジャーの定義を含むスキーマ、類義語
  • Look: 作成者のプロジェクト、Explore、モデル、フィールドを含む
  • LookML ダッシュボード: 説明、ダッシュボード名、レイアウト、フィルタ、関連する LookML ダッシュボードの要素など
  • LookML ダッシュボードの要素: 説明、クエリ、マージされたクエリなど
  • LookML プロジェクト: 説明と関連モデルを含む
  • モデル: パス、プロジェクト URL、接続、関連するビュー、Explore、LookML ダッシュボードなど
  • ビュー: 派生テーブル、クラスタキー、主キー、ディメンションとメジャーの定義を含むスキーマなど

Knowledge Catalog と Looker（Google Cloud コア）の統合では、次のような定義済みの関係も表されます。

  • Looker オブジェクト間の関係を表す reference 個のエントリリンク
  • 主キーと外部キーの関連付けを表す schema-join エントリリンク

統合の仕組み

Looker と Knowledge Catalog の統合では、メタデータの取り込みにファーストパーティ コネクタを使用します。Looker（Google Cloud コア）は、LookML メタデータをリージョン Cloud Storage リポジトリに公開し、Knowledge Catalog がライブ同期プロセスを介して使用できるようにします。

Looker（Google Cloud コア）から Knowledge Catalog へのデータ送信は、デフォルトで自動的に行われます。構成の変更は必要ありません。Looker（Google Cloud コア）は、内部サービスを使用してライブ同期を実行します。

LookML モデルを更新して本番環境に push すると、システムは主要なメタデータを Knowledge Catalog と自動的に同期します。このメタデータには、ビューと Explore の詳細、フィールド定義、モデル情報が含まれます。同様に、タイトル、オーナー権限、使用統計情報などのダッシュボード メタデータがカタログに表示されます。

Looker で Knowledge Catalog を使用するタイミング

Knowledge Catalog を使用して、Looker メタデータを検出して理解します。カタログは、次の作業に役立ちます。

  • AI とデータ エージェントの精度: インデックスに登録された LookML モデル、Explore、ビューをセマンティック定義として使用します。Knowledge Catalog の Looker エントリに対してクエリ生成をグラウンディングすることで、AI エージェントが公式のビジネス ロジック（認定されたメジャー、ディメンション、有効な結合パス）に準拠するようになります。
  • エンドツーエンドのリネージ（影響分析と来歴）: データリネージを使用して、データソース（BigQuery など）と Looker アセット間でデータがどのように流れるかを双方向で可視化します。
    • ダウンストリームの影響分析: スキーマやモデルの変更を行う前に、影響を受けるダッシュボードと Explore を予測します。
    • アップストリーム データ監査: エグゼクティブ ダッシュボードと Look に表示される指標のソース、変換、管理チェーンを監査します。
  • 検出とアセットの統合: 組織全体で認定済みのダッシュボード、Explore、ビューを検索して、レポートの重複や冗長なデータ モデリングを防止します。

Knowledge Catalog では、Looker メタデータ エントリにアスペクトを適用してメタデータをキュレートすることもできます。アスペクトを Looker アセットにアタッチすると、ビジネス メタデータをアセットに追加し、そのメタデータでアセットを検索できます。

必要な権限

Knowledge Catalog と Looker（Google Cloud コア）の統合を使用するために必要な権限を取得するには、Looker（Google Cloud コア）インスタンスが存在するプロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

  • Knowledge Catalog リソースを表示するには: Dataplex Catalog 閲覧者（roles/dataplex.catalogViewer）

  • Knowledge Catalog で Looker（Google Cloud コア）メタデータにアクセスする: Looker スキーマ閲覧者（roles/looker.schemaViewer）

    • Looker スキーマ閲覧者の事前定義ロールには、Knowledge Catalog で Looker（Google Cloud コア）メタデータにアクセスするために必要な looker.schemas.view 権限が含まれています。

  • Knowledge Catalog と Looker（Google Cloud コア）の統合を無効または有効にするには: Looker 管理者（roles/looker.admin）

  • データリネージ グラフを表示する: データリネージ閲覧者（roles/datalineage.viewer）

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を有効にする

Knowledge Catalog は、Looker（Google Cloud コア）インスタンスでデフォルトで有効になっています。統合を無効にするには、このドキュメント ページの Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にするセクションをご覧ください。

インスタンスで統合が無効になっていて、有効にする場合は、次の手順を行います。

Console

  1. Dataplex API を有効にします。取り込まれるメタデータを表示するには、Looker（Google Cloud コア）インスタンスをホストする Google Cloud プロジェクトで Cloud Dataplex API（dataplex.googleapis.com）を有効にする必要があります。

    Dataplex API を有効にする

  2. インスタンスの [インスタンス] ページの [詳細] タブで、[編集] をクリックします。
  3. [Knowledge Catalog の統合] セクションを開きます。
  4. [Knowledge Catalog 統合を無効にする] チェックボックスをオフにします。
    • 注: この設定を有効にすると、メタデータの取り込みとデータリネージの両方が有効になります（Data Lineage API が有効になっている場合）。
  5. [保存] をクリックします。

gcloud

Looker（Google Cloud コア）インスタンスをホストする Google Cloud プロジェクトで Dataplex API が有効になっていることを確認します。

--catalog-integration-enabled フラグを指定して gcloud looker instances update コマンドを使用し、統合を有効にします。

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

INSTANCE_NAME は、Looker（Google Cloud コア）インスタンスの名前に置き換えます。

統合を有効にすると、Looker データが Knowledge Catalog で利用可能になるまでに最大 1 日かかります。

Looker アセットを検索する

Knowledge Catalog で Looker（Google Cloud コア）データを表示するには、まず Dataplex API を有効にする必要があります。API を有効にするために必要な権限を取得するには、Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）IAM ロールが必要です。

Dataplex API を有効にする

Google Cloud コンソールの Knowledge Catalog の [検索] ページを使用して、Looker（Google Cloud コア）アセットを検索します。

[検索] に移動

[フィルタ] パネルでは、[プロジェクト]、[システム]、[タイプ エイリアス] セクションを使用して、Looker（Google Cloud コア）アセットをフィルタできます。[システム] セクションで、[Looker] をフィルタできます。[タイプ エイリアス] で、特定のアセットタイプで検索結果をフィルタできます。

[システム] フィルタを [Looker] に設定している場合は、[タイプ エイリアス] セクションで次のいずれかを選択して、特定のタイプの Looker アセットをフィルタできます。

  • エージェント
  • ダッシュボード
  • ダッシュボードの要素
  • 探索
  • インスタンス
  • Look
  • LookML プロジェクト
  • モデル
  • 表示
  • その他

キーワードまたは自然言語構文を使用して、検索フィールドに検索クエリを直接入力することもできます。たとえば、すべての Looker アセットを表示するには、「system=Looker」と入力します。すべての Looker ダッシュボードを表示するには、「system=Looker AND type=dashboard」と入力します。

type 修飾子では、次の値を使用できます。

  • agent
  • dashboard
  • dashboard_element
  • explore
  • instance
  • look
  • lookml_project
  • model
  • view

lookupEntryLinks メソッドを使用して、Looker 関連の BigQuery エントリを検索することもできます。reference エントリリンクは、BigQuery テーブル エントリから Looker ビュー エントリへのリンクを表します。

リソースの検索の詳細については、Knowledge Catalog でリソースを検索するをご覧ください。検索フィールドで使用できる式の詳細については、Knowledge Catalog の検索構文をご覧ください。

Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にする

Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にするには、次の手順を完了します。

Console

  1. インスタンスの [インスタンス] ページの [詳細] タブで、[編集] をクリックします。
  2. [Knowledge Catalog の統合] セクションを開きます。
  3. [Opt out of Knowledge Catalog integration] チェックボックスをオンにします。
    • 注: この設定を無効にすると、メタデータの取り込みとデータリネージ（Data Lineage API が有効になっている場合）の両方が無効になります。
  4. [保存] をクリックします。

gcloud

--no-catalog-integration-enabled フラグを指定して gcloud looker instances update コマンドを使用し、統合を有効にします。

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

INSTANCE_NAME は、Looker（Google Cloud コア）インスタンスの名前に置き換えます。

有効にした後に統合を無効にすると、Knowledge Catalog にすでに存在する Looker メタデータは Knowledge Catalog に残りますが、新しいメタデータで更新されることはありません。

VPC Service Controls

Looker（Google Cloud コア）と Knowledge Catalog の統合は、VPC Service Controls をサポートしています。

Looker（Google Cloud コア）インスタンスまたは Knowledge Catalog リソースが VPC Service Controls のサービス境界内にある場合は、Dataplex API（dataplex.googleapis.com）が境界内で制限付きサービスとして構成されていることを確認する必要があります。

料金

Knowledge Catalog への Looker（Google Cloud コア）テクニカル メタデータの保存は無料です。API 呼び出しと追加のビジネス メタデータの拡張には、Knowledge Catalog の標準の料金が適用されます。詳細については、Knowledge Catalog の料金ページをご覧ください。

次のステップ