Knowledge Catalog を使用して Looker（Google Cloud コア）リソースを管理する

このページでは、Knowledge Catalog を使用して Looker（Google Cloud core）メタデータ リソースを検索して管理する方法について説明します。

Knowledge Catalog は、メタデータを保存、管理し、メタデータへのアクセスを提供するプラットフォームです。これは、Looker（Google Cloud コア）から本番環境の LookML、LookML プロジェクト、ダッシュボードのメタデータをインデックス登録するカタログ ツールとして機能します。この統合により、データ リネージを含むデータアセットとその関係を包括的に一元管理できます。

Knowledge Catalog は、Looker から次のものを含む複数のエンティティ レベルをキャプチャします。

  • Looker インスタンス
  • ダッシュボード
  • ダッシュボードの要素
  • Look
  • LookML プロジェクト
  • モデル
  • 探索
  • ビュー（ディメンションとメジャーを含む）

統合の仕組み

Looker と Knowledge Catalog の統合では、メタデータの取り込みにファーストパーティ コネクタが使用されます。Looker（Google Cloud core）は、バッチ同期プロセスで Knowledge Catalog が使用できるように、LookML メタデータをリージョン Cloud Storage リポジトリに公開します。

Looker（Google Cloud core）から Knowledge Catalog へのデータ送信は、デフォルトで自動的に行われ、構成の変更は必要ありません。Looker（Google Cloud コア）は、内部サービスを使用して同期を実行します。内部バッチ同期プロセスは約 4 時間ごとに実行され、Looker のデータは約 1 時間ごとに Knowledge Catalog に更新されます。

LookML モデルを更新して本番環境に push すると、システムは主要なメタデータを Knowledge Catalog と自動的に同期します。このメタデータには、ビューと Explore の詳細、フィールド定義、モデル情報が含まれます。同様に、タイトル、所有権、使用状況の統計情報などのダッシュボード メタデータがカタログに表示されます。

Looker で Knowledge Catalog を使用するタイミング

Knowledge Catalog を使用して、Looker メタデータを検出して理解します。カタログは、次の作業に役立ちます。

  • インパクト分析: データ リネージを使用して、BigQuery から Looker ダッシュボードへのデータの流れを可視化します。
  • 検出: 組織全体のダッシュボード、Explore、ビューを検索します。
  • 変更管理: 変更を行う前に依存関係を理解します。
  • データ移動パイプライン: データの出所を追跡します。

Knowledge Catalog では、Looker メタデータ エントリにアスペクトを適用してメタデータをキュレートすることもできます。アスペクトを Looker アセットに関連付けると、アセットにビジネス メタデータを追加し、そのメタデータでアセットを検索できます。

必要な権限

Knowledge Catalog と Looker（Google Cloud コア）の統合を使用するために必要な権限を取得するには、Looker（Google Cloud コア）インスタンスが存在するプロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。

  • Knowledge Catalog リソースを表示する: Dataplex 閲覧者（roles/dataplex.viewer）

  • Knowledge Catalog で Looker（Google Cloud コア）のメタデータにアクセスするには: Looker スキーマ閲覧者（roles/looker.schemaViewer）

    • Looker スキーマ閲覧者の事前定義ロールには、Knowledge Catalog で Looker（Google Cloud コア）メタデータにアクセスするために必要な looker.schemas.view 権限が含まれています。

  • Knowledge Catalog と Looker（Google Cloud コア）の統合を無効または有効にする: Looker 管理者（roles/looker.admin）

  • データリネージ グラフを表示する: データリネージ閲覧者（roles/datalineage.viewer）

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を有効にする

Knowledge Catalog は、Looker（Google Cloud コア）インスタンスでデフォルトで有効になっています。統合を無効にするには、このドキュメント ページの Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にするセクションをご覧ください。

インスタンスで統合が無効になっていて、有効にする場合は、次の手順を行います。

Console

  1. Dataplex API を有効にします。取り込まれたメタデータを表示するには、Looker（Google Cloud コア）インスタンスをホストする Google Cloud プロジェクトで Cloud Dataplex API（dataplex.googleapis.com）を有効にする必要があります。

    Dataplex API を有効にする

  2. インスタンスの [インスタンス] ページの [詳細] タブで、[編集] をクリックします。
  3. [Knowledge Catalog の統合] セクションを開きます。
  4. [Knowledge Catalog 統合を無効にする] チェックボックスをオフにします。
    • 注: この設定を有効にすると、メタデータの取り込みとデータリネージの両方が有効になります（Data Lineage API が有効になっている場合）。
  5. [保存] をクリックします。

gcloud

Looker（Google Cloud コア）インスタンスをホストする Google Cloud プロジェクトで Dataplex API が有効になっていることを確認します。

--catalog-integration-enabled フラグを指定して gcloud looker instances update コマンドを使用し、統合を有効にします。

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

INSTANCE_NAME は、Looker（Google Cloud コア）インスタンスの名前に置き換えます。

統合を有効にすると、Looker データが Knowledge Catalog で使用可能になるまでに 1 日ほどかかります。

Looker アセットを検索する

Knowledge Catalog で Looker（Google Cloud core）データを表示するには、まず Dataplex API を有効にする必要があります。API を有効にするために必要な権限を取得するには、Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）IAM ロールが必要です。

Dataplex API を有効にする

Google Cloud コンソールの Knowledge Catalog の [検索] ページを使用して、Looker（Google Cloud core）アセットを検索します。

検索に移動

[フィルタ] パネルで、[プロジェクト]、[システム]、[タイプ エイリアス] の各セクションを使用して、Looker（Google Cloud core）アセットをフィルタできます。[システム] セクションで、Looker をフィルタできます。[タイプ エイリアス] で、次のいずれかを選択すると、特定のタイプの Looker アセットで検索結果をフィルタできます。

  • ダッシュボード
  • ダッシュボードの要素
  • 探索
  • LookML プロジェクト
  • モデル
  • インスタンス
  • 表示
  • その他

検索フィールドを使用して検索クエリを実行することもできます。キーワード検索または自然言語検索を実行できます。たとえば、キーワード検索ですべての Looker アセットを表示するには、「system=Looker」と入力します。すべての Looker ダッシュボードを表示するには、クエリ system=Looker AND type=DASHBOARD を入力します。type キーワードで検索できるアセットは次のとおりです。

  • ダッシュボード
  • dashboard_element
  • explore
  • インスタンス
  • look
  • lookml_project
  • モデル
  • 表示

リソースの検索の詳細については、Knowledge Catalog でリソースを検索するのドキュメント ページをご覧ください。検索フィールドで使用できる式の詳細については、Knowledge Catalog の検索構文のドキュメント ページをご覧ください。

Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にする

Knowledge Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にするには、次の手順を行います。

Console

  1. インスタンスの [インスタンス] ページの [詳細] タブで、[編集] をクリックします。
  2. [Knowledge Catalog の統合] セクションを開きます。
  3. [Knowledge Catalog 統合を無効にする] チェックボックスをオンにします。
    • 注: この設定を無効にすると、メタデータの取り込みとデータリネージ（Data Lineage API が有効になっている場合）の両方が無効になります。
  4. [保存] をクリックします。

gcloud

--no-catalog-integration-enabled フラグを指定して gcloud looker instances update コマンドを使用し、統合を有効にします。

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

INSTANCE_NAME は、Looker（Google Cloud コア）インスタンスの名前に置き換えます。

統合を有効にした後に無効にすると、Knowledge Catalog にすでに存在する Looker メタデータは Knowledge Catalog に残りますが、新しいメタデータで更新されなくなります。

VPC Service Controls

Looker（Google Cloud コア）と Knowledge Catalog の統合では、VPC Service Controls がサポートされています。

Looker（Google Cloud コア）インスタンスまたは Knowledge Catalog リソースが VPC Service Controls のサービス境界内にある場合は、メタデータのエクスポートに必要なサービスにアクセスできることを確認する必要があります。

  • Dataplex API（dataplex.googleapis.com）が境界内の制限付きサービスとして構成されていることを確認します。
  • この統合では、内部 Cloud Storage バケットを使用してメタデータを転送します。サービス境界で、必要な Cloud Storage リソースへのアクセスが許可されていることを確認します。メタデータのエクスポートに関連する PERMISSION_DENIED エラーが発生した場合は、 Google Cloud アカウント チームまたはサポートにお問い合わせください。

料金

Knowledge Catalog への Looker（Google Cloud core）テクニカル メタデータの保存は無料です。API 呼び出しと追加のビジネス メタデータの拡充には、Knowledge Catalog の標準の料金が適用されます。詳細については、Knowledge Catalog の料金ページをご覧ください。

制限事項

このセクションでは、Looker（Google Cloud core）と Knowledge Catalog の使用に関する制限事項について説明します。

  • Looker のメタデータは、カタログですぐに利用できるわけではありません。バッチ同期プロセスは一定の間隔で実行され、データ更新は約 1 時間ごとに行われます。
  • この統合用に公開 API はありません。
  • データリネージの制限事項については、Knowledge Catalog でデータリネージを追跡するをご覧ください。

次のステップ