Knowledge Catalog を使用して Datastream リソースを管理する

Datastream リソースを検索して管理するには、Knowledge Catalog を使用できます。これは、メタデータを保存、管理、アクセスするためのプラットフォームです。Knowledge Catalog を使用して、以下を行うことができます。

  • Datastream メタデータの検出、分析、把握。
  • ストリーム、接続プロファイル、接続構成などの Datastream リソースの参照。
  • トラブルシューティングとデータ パイプラインの管理のための運用上の可視性の向上。
  • ライブ同期とバッチ同期を使用して、一貫したメタデータ取り込みのための準リアルタイム メカニズムと定期的なメカニズムの両方を確立する。詳細については、 同期モードをご覧ください。

Knowledge Catalog モデリング

Datastream リソースは、予約済みの Knowledge Catalog 所有のエントリ グループと特定のエントリタイプの下で Knowledge Catalog にモデル化されます。

Knowledge Catalog エンティティ リソース ID
エントリ グループ @datastream
エントリのタイプ datastream-stream
エントリのタイプ datastream-connection-profile
エントリのタイプ datastream-private-connection

メタデータ検出の種類

Knowledge Catalog メタデータ検出は、接続されたデータソース（Datastream など）をスキャンしてデータアセットを特定し、そのテクニカル メタデータを Knowledge Catalog に抽出する自動プロセスです。

このプロセスでは、リアルタイム同期と定期的な同期の両方を使用して、カタログとソースシステムの整合性を維持します。Datastream の場合、すべてのストリーム、接続プロファイル、プライベート接続構成のメタデータはデフォルトで検出されます。

リソースの種類 取得したメタデータ
ストリーム
  • 名前
  • 場所
  • 状態（例: RUNNING、PAUSED、FAILED）
  • バックフィル戦略
  • 移行元と移行先の接続プロファイル名
  • 移行元と移行先の構成
接続プロファイル
  • 名前
  • 場所
  • タイプ（例: MYSQL、ORACLE、BIGQUERY）
  • 接続オプション
  • ホスト名、ポート、データベース名
プライベート接続構成
  • 名前
  • 状態
  • 接続方法（例: Private Service Connect、VPC ピアリング）
  • VPC ネットワークとサブネットの詳細

同期モード

Datastream は、次の同期モードを使用して、Knowledge Catalog とソースシステムの整合性を維持します。

  • ライブ同期: このモードでは、メタストリームは メタデータが変更されると、Datastream は Pub/Sub トピックにイベントをパブリッシュします。これにより、Knowledge Catalog はこれらのトピックをサブスクライブして、準リアルタイムの更新を受信できます。
  • バッチ同期: このモードでは、Datastream は完全なメタデータ エクスポート（チェックポイント）を定期的に指定された Cloud Storage バケットにパブリッシュします。Knowledge Catalog は、このバケットからデータを取り込みます。

Knowledge Catalog では、キーワード検索と自然言語検索をサポートしています。

  • キーワード検索では、特定のキーワード、フィルタ、定義された構文を使用してリソースを検索できます。たとえば、「system=Datastream AND type=Stream」と入力すると、すべての Datastream ストリームが表示されます。
  • 自然言語検索（プレビュー）は、AI を使用してセマンティック クエリを理解します。普段使う言葉でリソースを検索できるため、複雑な構文を使用する必要はありません。たとえば、「List all Datastream streams with BigQuery destination」などのクエリを入力できます。

詳細については、Knowledge Catalog の検索構文をご覧ください。

始める前に

  1. アカウントにログインします。 Google Cloud を初めて使用する場合は、 アカウントを作成して、実際のシナリオで Google プロダクトのパフォーマンスを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. プロジェクトで Dataplex API を有効にします。

    Dataplex API を有効にする

  7. 必要な権限を付与されていることを確認します。

必要な IAM のロール

このセクションでは、リソースの検索と検索結果へのアクセスに必要なロールと権限について説明します。

検索結果にアクセスするために必要なロール

Knowledge Catalog で Datastream メタデータを検索して表示するには、プリンシパルに Datastream リソースを表示する権限（dataplex.projects.search 権限を含む）が必要です。

プリンシパル（ユーザー、グループ、サービス アカウントなど）にこれらの 権限を付与するには、Datastream リソースを含むプロジェクトに対する Datastream 閲覧者 （roles/datastream.viewer） IAM ロールを割り当てます。

Knowledge Catalog の操作 Datastream リソース 必要なロールまたは権限
Datastream リソースを検索する ストリーム datastream.streams.get
接続プロファイル datastream.connectionProfiles.get
プライベート接続構成 datastream.privateConnections.get

ロールの付与の詳細については、Manage accessをご覧ください。Datastream IAM ロールの詳細については、Datastream の IAM ロールと権限をご覧ください。

エントリの検索に必要なロール

エントリを検索するには、検索に使用するプロジェクトに対する次の IAM ロールが 1 つ以上必要です。

検索結果に対する権限は、選択したプロジェクトとは別にチェックされます。 詳細については、Knowledge Catalog でデータアセットを検索するをご覧ください。

Datastream アセットを検索する

コンソールの Knowledge Catalog 検索ページを使用して、Datastream アセットを検索します。 Google Cloud

  1. Knowledge Catalog の [検索] ページに移動します。

    [検索] に移動

  2. [検索プラットフォームの選択] で、[Knowledge Catalog] を選択します。

  3. [フィルタ] パネルで [システム] をクリックし、 [Datastream] を選択します。

  4. 省略可。[タイプ エイリアス] で、次のいずれかのタイプ エイリアスを選択すると、 特定のタイプの Datastream アセットで検索結果をフィルタできます。

    • データ ストリーム: Datastream ストリームを検索します。
    • 接続プロファイル: Datastream 接続プロファイルを検索します。
    • 接続: Datastream プライベート 接続構成を検索します。

Knowledge Catalog の検索フィールドを使用して、キーワード検索クエリを実行できます。たとえば、「system=Datastream AND type=Stream」と入力すると、すべての Datastream ストリームが表示されます。

詳細については、Knowledge Catalog の検索構文をご覧ください。

すべての Datastream アセットを表示するには、「system=Datastream」と入力します。

次に、特定のキーワードを入力します。たとえば、すべての Datastream ストリームを表示するには:

system=Datastream AND type=Stream

すべての接続プロファイルを表示するには、次のクエリを入力します。

system=Datastream AND type=ConnectionProfile

複雑な式では、かっこと論理演算子（AND、OR）を使用することもできます。検索フィールドで使用できる式の詳細については、Knowledge Catalog の検索構文をご覧ください。

検索フィールドに、特定の Datastream アセットの検索クエリを直接入力できます。クエリ文字列の形式は次のとおりです。

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

次のように置き換えます。

  • QUERY_STRING: 次のリストを使用して、クエリする Datastream アセットタイプに応じたクエリ文字列を特定します。

    • datastream-stream
    • datastream-connection-profile
    • datastream-private-connection

クエリの例を次に示します。

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

料金

Knowledge Catalog に Datastream テクニカル メタデータを保存する場合、料金は発生しません。API 呼び出しと追加のビジネス メタデータの拡張には、Knowledge Catalog の標準の料金が適用されます。詳細については、 Knowledge Catalog の料金ページをご覧ください。

次のステップ