Dataplex Universal Catalog を使用して Looker（Google Cloud コア）リソースを管理する

このページでは、Dataplex Universal Catalog を使用して Looker（Google Cloud コア）メタデータ リソースを検索して管理する方法について説明します。

Dataplex Universal Catalog は、メタデータを保存、管理し、それにアクセスするためのプラットフォームです。これは、Looker（Google Cloud コア）から本番環境の LookML、LookML プロジェクト、ダッシュボードのメタデータをインデックス登録するカタログ作成ツールとして機能します。この統合により、データリネージなど、データアセットとその関係を包括的に統合して表示できます。

Dataplex Universal Catalog は、Looker から次の複数のエンティティ レベルを取得します。

  • Looker インスタンス
  • ダッシュボード
  • ダッシュボードの要素
  • Look
  • LookML プロジェクト
  • モデル
  • 探索
  • ビュー（ディメンションと measure を含む）

統合の仕組み

Looker と Dataplex Universal Catalog の統合では、メタデータの取り込みにファーストパーティ コネクタを使用します。Looker（Google Cloud コア）は、バッチ同期プロセスを通じて Dataplex Universal Catalog が使用できるように、LookML メタデータをリージョン Cloud Storage リポジトリに公開します。

Looker（Google Cloud コア）から Dataplex Universal Catalog へのデータ転送は、デフォルトで自動的に行われ、構成の変更は必要ありません。Looker（Google Cloud コア）は、内部サービスを使用して同期を実行します。内部バッチ同期プロセスは約 4 時間ごとに実行され、Looker のデータは約 1 時間ごとに Dataplex Universal Catalog に更新されます。

LookML モデルを更新して本番環境に push すると、主要なメタデータが Dataplex Universal Catalog と自動的に同期されます。このメタデータには、ビューと Explore の詳細、フィールド定義、モデル情報が含まれます。同様に、タイトル、オーナー権限、使用状況の統計情報などのダッシュボード メタデータがカタログに表示されます。

Looker で Dataplex Universal Catalog を使用する場合

Dataplex Universal Catalog を使用して、Looker メタデータを検出して把握します。 カタログは、次のアクティビティに役立ちます。

  • インパクト分析: データリネージを使用して、BigQuery から Looker ダッシュボードへのデータの流れを可視化します。
  • 検出: 組織全体のダッシュボード、Explore、ビューを検索します。
  • チェンジ マネジメント: 変更を行う前に依存関係を把握します。
  • データ移動パイプライン: データの来歴を追跡します。

Dataplex Universal Catalog を使用すると、Looker メタデータエントリに アスペクト を適用してメタデータをキュレートすることもできます。Looker アセットにアスペクトを適用すると、アセットにビジネス メタデータを追加し、そのメタデータでアセットを検索できます。

必要な権限

Dataplex Universal Catalog と Looker（Google Cloud コア）の統合を使用するために必要な権限を取得するには、Looker（Google Cloud コア）インスタンスが存在するプロジェクトに対する次の IAM ロールの付与を管理者に依頼してください。

  • Dataplex Universal Catalog リソースを表示する: Dataplex 閲覧者（roles/dataplex.viewer）
  • Dataplex Universal Catalog で Looker（Google Cloud コア）メタデータにアクセスする: Looker スキーマ閲覧者（roles/looker.schemaViewer）
    • Looker スキーマ閲覧者の事前定義ロールには、Dataplex Universal Catalog で Looker（Google Cloud コア）メタデータにアクセスするために必要な looker.schemas.view 権限が含まれています。
  • Dataplex Universal Catalog と Looker（Google Cloud コア）間の統合を無効または有効にする: Looker 管理者（roles/looker.admin）
  • データリネージ グラフを表示する: データリネージ閲覧者（roles/datalineage.viewer）

ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Dataplex Universal Catalog と Looker（Google Cloud コア）インスタンスの統合を有効にする

Dataplex Universal Catalog は、デフォルトで Looker（Google Cloud コア）インスタンスで有効になっています。統合を無効にするには、このドキュメント ページの Dataplex Universal Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にする をご覧ください。

インスタンスで統合が無効になっていて、有効にする場合は、次の操作を行います。

Console

  1. Dataplex API を有効にする。取り込まれるメタデータを表示するには、Looker（Google Cloud コア）インスタンスをホストするプロジェクトで Cloud Dataplex API（dataplex.googleapis.com）を有効にする必要があります。 Google Cloud

    Dataplex API を有効にする

  2. インスタンスの [インスタンス] ページの [詳細] タブで、[編集] をクリックします。
  3. [ユニバーサル カタログの統合] セクションを開きます。
  4. [Dataplex Catalog 統合をオプトアウトする] チェックボックスをオフにします。
    • 注: この設定を有効にすると、メタデータの取り込みとデータリネージの両方が有効になります（Data Lineage API が有効になっている場合）。
  5. [保存] をクリックします。

gcloud

Looker（Google Cloud コア）インスタンスをホストするプロジェクトで Dataplex API が有効になっていることを確認します Google Cloud 。

gcloud looker instances update コマンドに --catalog-integration-enabled フラグを指定して、統合を有効にします。

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

INSTANCE_NAME は、Looker（Google Cloud コア）インスタンスの名前に置き換えます。

統合が有効になると、Looker のデータが Dataplex Universal Catalog で使用できるようになるまでに最大で 1 日かかります。

Looker アセットを検索する

Dataplex Universal Catalog で Looker（Google Cloud コア）データを表示するには、まず Dataplex API を有効にする必要があります。API を有効にするために必要な権限を取得するには、Service Usage 管理者（roles/serviceusage.serviceUsageAdmin）IAM ロールが必要です。

Dataplex API を有効にする

コンソールの Dataplex Universal Catalog の [Search] ページを使用して、Looker（Google Cloud core）アセットを検索します。 Google Cloud

検索に移動

[**フィルタ**] パネルで、[**プロジェクト**]、[**システム**]、[**タイプ エイリアス**] セクションを使用して、Looker（コア）アセットをフィルタできます。Google Cloud [システム] セクションで、[Looker] でフィルタできます。[タイプ エイリアス] で、次のいずれかを選択すると、特定のタイプの Looker アセットで検索結果をフィルタできます。

  • ダッシュボード
  • ダッシュボードの要素
  • 探索
  • LookML プロジェクト
  • モデル
  • インスタンス
  • 表示
  • その他

検索フィールドを使用して検索クエリを実行することもできます。キーワードまたは自然言語で検索できます。たとえば、キーワード検索ですべての Looker アセットを表示するには、system=Looker と入力します。すべての Looker ダッシュボードを表示するには、クエリ system=Looker AND type=DASHBOARD を入力します。type キーワードで検索できるアセットは次のとおりです。

  • ダッシュボード
  • dashboard_element
  • 探索
  • インスタンス
  • look
  • lookml_project
  • モデル
  • 表示

リソースの検索の詳細については、Dataplex Universal Catalog でリソースを検索するをご覧ください。検索フィールドで使用できる式の詳細については、Dataplex Universal Catalog の検索構文をご覧ください。

Dataplex Universal Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にする

Dataplex Universal Catalog と Looker（Google Cloud コア）インスタンスの統合を無効にするには、次の操作を行います。

Console

  1. インスタンスの [インスタンス] ページの [詳細] タブで、[編集] をクリックします。
  2. [ユニバーサル カタログの統合] セクションを開きます。
  3. [Dataplex Catalog 統合をオプトアウトする] チェックボックスをオンにします。
    • 注: この設定を無効にすると、メタデータの取り込みとデータリネージの両方が無効になります（Data Lineage API が有効になっている場合）。
  4. [保存] をクリックします。

gcloud

gcloud looker instances update コマンドに --no-catalog-integration-enabled フラグを指定して、統合を有効にします。

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

INSTANCE_NAME は、Looker（Google Cloud コア）インスタンスの名前に置き換えます。

統合を有効にした後に無効にすると、Dataplex Universal Catalog にすでに存在する Looker メタデータは Dataplex Universal Catalog に残りますが、新しいメタデータで更新されることはありません。

VPC Service Controls

Looker（Google Cloud コア）と Dataplex Universal Catalog の統合は、VPC Service Controls をサポートしています。

Looker（Google Cloud コア）インスタンスまたは Dataplex Universal Catalog リソースが VPC Service Controls サービス境界内にある場合は、メタデータのエクスポートに必要なサービスにアクセスできることを確認する必要があります。

  • Dataplex API （dataplex.googleapis.com）が境界内の制限付きサービスとして構成されていることを確認します。
  • 統合では、内部 Cloud Storage バケットを使用してメタデータを転送します。サービス境界で、必要な Cloud Storage リソースへのアクセスが許可されていることを確認します。メタデータのエクスポートに関連する PERMISSION_DENIED エラーが発生した場合は、 Google Cloud アカウント チームまたはサポートにお問い合わせください。

料金

Dataplex Universal Catalog に Looker（Google Cloud コア）テクニカル メタデータを保存する場合、料金は発生しません。API 呼び出しと追加のビジネス メタデータの拡張には、Dataplex Universal Catalog の標準の料金が適用されます。詳細については、 Dataplex Universal Catalog の料金ページをご覧ください。

制限事項

このセクションでは、Looker（Google Cloud core）と Dataplex Universal Catalog の使用に関する制限事項について説明します。

  • Looker のメタデータは、カタログですぐに利用できるわけではありません。バッチ同期プロセスは一定の間隔で実行され、データの更新は約 1 時間ごとに行われます。
  • この統合用に公開 API はありません。
  • データリネージの制限については、Dataplex Universal Catalog でデータリネージを追跡するをご覧ください。

次のステップ