カスタム パイプラインを使用してメタデータをインポートする

このドキュメントでは、メタデータ インポート API メソッドと独自のパイプラインを使用して、サードパーティ システムから Knowledge Catalog（以前の Dataplex Universal Catalog）にメタデータをインポートする方法について説明します。Knowledge Catalog メタデータは、エントリとそのアスペクトで構成されます。

Google Cloud管理のオーケストレーション パイプラインを使用してメタデータを抽出してインポートする場合は、マネージド接続パイプラインを使用することをおすすめします。マネージド接続パイプラインでは、メタデータを抽出し、メタデータ インポート API メソッド（メタデータ インポート ファイル）で入力として使用できる形式で出力を生成する独自のコネクタを用意します。次に、Workflows を使用してパイプライン タスクをオーケストレートします。

実行できるメタデータのインポート ジョブの種類は次のとおりです。

• エントリの完全同期と、そのアスペクトの増分インポート。カスタム エントリでサポートされています。
• アスペクトのみの増分インポート。カスタム エントリとシステム エントリに属するアスペクトでサポートされています。カスタム エントリの場合、オプションのアスペクトと必須のアスペクトの両方を変更できます。システム エントリの場合、オプションのアスペクトを変更できます。

手順の概要

メタデータ インポート API を使用してメタデータをインポートするには、以下のおおまかな手順を行います。

1. ジョブのスコープを決定します。

   また、Knowledge Catalog がエントリとアスペクトに比較ロジックと同期モードを適用する方法についても説明します。

2. インポートするデータを定義するメタデータのインポート ファイルを 1 つ以上作成します。

3. メタデータのインポート ファイルを Cloud Storage バケットに保存します。

4. メタデータのインポート ジョブを実行します。

このページの手順は、エントリ グループ、エントリタイプ、アスペクト タイプなど、Knowledge Catalog のコンセプトを理解していることを前提としています。詳細については、Knowledge Catalog のメタデータについてをご覧ください。

始める前に

メタデータをインポートする前に、このセクションのタスクを完了します。

必要なロール

Knowledge Catalog サービス アカウントに Cloud Storage バケットへのアクセスに必要な権限が付与されるようにするには、Knowledge Catalog サービス アカウントにバケットに対するストレージ オブジェクト閲覧者（roles/storage.objectViewer）IAM ロールと storage.buckets.get 権限を付与するよう管理者に依頼してください。

メタデータ インポート ジョブの管理に必要な権限を取得するため、次の IAM ロールを付与するように管理者に依頼してください。

• エントリとそのアスペクトを完全なエントリ同期メタデータ ジョブで変更する:
  • エントリタイプまたはエントリタイプが定義されているプロジェクトに対する Dataplex エントリタイプ ユーザー （roles/dataplex.entryTypeUser）
  • アスペクト タイプまたはアスペクト タイプが定義されているプロジェクトに対する Dataplex アスペクト タイプ ユーザー （roles/dataplex.aspectTypeUser）
• アスペクトのみのメタデータ ジョブで必要なアスペクトを変更します。
  • エントリタイプまたはエントリタイプが定義されているプロジェクトに対する Dataplex エントリタイプ ユーザー （roles/dataplex.entryTypeUser）
  • アスペクト タイプまたはアスペクト タイプが定義されているプロジェクトに対する Dataplex アスペクト タイプ ユーザー （roles/dataplex.aspectTypeUser）
• アスペクトのみのメタデータ ジョブでオプションのアスペクトを変更する: アスペクト タイプまたはアスペクト タイプが定義されているプロジェクトに対する Dataplex アスペクト タイプ ユーザー （roles/dataplex.aspectTypeUser）。アスペクトのみのメタデータ ジョブでオプションのアスペクトを変更する場合、関連するエントリタイプの権限は必要ありません。
• メタデータのインポート ジョブを作成する:
  • プロジェクトまたはリソースに対する Dataplex エントリ グループ インポータ （roles/dataplex.entryGroupImporter）
  • プロジェクトまたはリソースに対する Dataplex エントリ / エントリリンク オーナー （roles/dataplex.entryOwner）
• メタデータ ジョブを表示する: プロジェクトに対する Dataplex メタデータ ジョブ閲覧者 （roles/dataplex.metadataJobViewer）
• メタデータ ジョブを作成、表示、キャンセルする: プロジェクトに対する Dataplex メタデータ ジョブオーナー （roles/dataplex.metadataJobOwner）

ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

Google Cloud リソースを作成する

次の Google Cloud リソースを準備します。

1. インポートするエントリのエントリ グループを作成します。
2. インポートするアスペクトのアスペクト タイプを作成します。
3. インポートするエントリのエントリタイプを作成します。
4. アスペクトのみのメタデータ ジョブを実行する場合は、インポートするアスペクトのエントリを作成します。
5. メタデータのインポート ファイルを保存する Cloud Storage バケットを作成します。

メタデータ インポート ジョブのコンポーネント

メタデータをインポートする際は、メタデータ ジョブの次のコンポーネントを考慮してください。

• ジョブのスコープ: ジョブに含めるエントリ グループ、エントリタイプ、アスペクト タイプ。
• 同期モード: ジョブ内のエントリとアスペクトが更新される方法。
• メタデータ インポート ファイル: ジョブ内のエントリとアスペクトに設定する値を定義するファイル。1 つのメタデータ ジョブで複数のメタデータ インポート ファイルを指定できます。ファイルを Cloud Storage に保存します。
• 比較ロジック: Knowledge Catalog が変更するエントリとアスペクトを決定する方法。

ジョブのスコープ

ジョブのスコープでは、メタデータ インポート ジョブに含めるエントリ グループ、エントリタイプ、アスペクト タイプを定義します。メタデータをインポートした際に、ジョブのスコープ内のリソースに属するエントリとアスペクトを変更します。

ジョブのスコープを定義するには、次のガイドラインを実施してください。

• エントリ グループ: ジョブに含める 1 つ以上のエントリ グループを指定します。ジョブは、これらのエントリ グループに属するエントリとアスペクトのみを変更します。エントリ グループとジョブは同じリージョンに存在する必要があります。

• エントリタイプ: ジョブに含める 1 つ以上のエントリタイプを指定します。ジョブは、これらのエントリタイプに属するエントリとアスペクトのみを変更します。エントリタイプのロケーションは、ジョブのロケーションと一致しているか、エントリタイプがグローバルであることが必要です。

• アスペクト タイプ: ジョブに含めるアスペクト タイプを 1 つ以上指定します。ジョブはそれらのアスペクト タイプに属するアスペクトのみを変更します。アスペクト タイプのロケーションは、ジョブのロケーションと一致しているか、アスペクト タイプがグローバルであることが必要です。

  注: メタデータ ジョブから data-rules タイプと data-quality-rule-template タイプのアスペクトをインポートすることはできません。

ジョブのスコープには、メタデータ インポート ファイルで指定したエントリタイプとアスペクト タイプをすべて含める必要があります。

ジョブのスコープは、メタデータ ジョブを作成するときに指定します。

同期モード

同期モードは、メタデータ インポート ジョブ内のエントリとアスペクトの更新方法を指定します。エントリとアスペクトの両方に同期モードを指定します。インポートするリソースに応じて、次の同期モードの組み合わせがサポートされています。

目標	エントリの同期モード	アスペクトの同期モード	結果
エントリとそのアスペクトをインポートする	FULL	INCREMENTAL	ジョブのスコープのすべてのエントリが変更されます。 Knowledge Catalog にエントリが存在しても、メタデータ インポート ファイルに含まれていない場合は、メタデータ ジョブの実行時にエントリが削除されます。 アスペクトが変更されるのは、メタデータ インポート ファイルに updateMask フィールドと aspectKeys フィールドのアスペクトへの参照が含まれている場合のみです。インポート アイテムの構造をご覧ください。
アスペクトのみをインポートする	NONE	INCREMENTAL	アスペクトは、ジョブのスコープの一部であり、メタデータ インポート ファイルに aspectKeys フィールドのアスペクトへの参照が含まれている場合に変更されます。インポート アイテムの構造をご覧ください。 ジョブのスコープのエントリに属するほかのメタデータは変更されません。

同期モードは、メタデータ ジョブを作成するときに指定します。

メタデータ インポート ファイル

メタデータ インポート ファイルは、変更するエントリとアスペクトのコレクションです。これらのエントリとアスペクトに属するすべてのフィールドに設定する値を定義します。メタデータ インポート ジョブを実行する前にファイルを準備します。

次の一般的なガイドラインが適用されます。

• 1 つのメタデータ ジョブで複数のメタデータ インポート ファイルを指定できます。

• 完全なエントリ同期メタデータ ジョブを実行すると、ファイルで指定したエントリが、ジョブのスコープ内のすべてのリソースの既存のエントリに完全に置き換えられます。つまり、追加または更新する値だけでなく、ジョブ内のすべてのエントリの値を含める必要があります。開始点として使用するプロジェクト内の現在のエントリのリストを取得するには、entries.list API メソッドを使用します。

  注意: Knowledge Catalog にエントリが存在しても、メタデータ インポート ファイルに含まれていない場合は、メタデータ ジョブの実行時にエントリが削除されます。メタデータ インポート ファイルにデータが含まれていない場合は、ジョブのスコープに属するすべてのエントリとアスペクトが削除されます。

• メタデータ ジョブの一部としてメタデータ インポート ファイルを指定する必要があります。ジョブのスコープに含まれるエントリの既存のデータをすべて削除する場合は、空のメタデータ インポート ファイルを指定します。

• ファイルに含めるエントリとアスペクトはすべて、ジョブのスコープで定義したエントリ グループ、エントリタイプ、アスペクト タイプに属している必要があります。

メタデータ インポート ファイルを作成するには、次のセクションの詳細なガイドラインを使用します。

ファイルの構造

メタデータ インポート ファイルの各行には、1 つのインポート アイテムに対応する JSON オブジェクトが含まれています。インポート アイテムは、エントリとそれにアタッチされたアスペクトで変更する値を記述するオブジェクトです。

1 つのメタデータ インポート ファイルに複数のインポート アイテムを指定できます。ただし、1 つのメタデータ ジョブで同じインポート アイテムを複数回指定しないでください。各インポート アイテムは改行文字（0x0a）で区切ります。

各インポート アイテムを改行文字で区切ったメタデータ インポート ファイルは、次の例のようになります。

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

インポート アイテムの構造

メタデータ インポート ファイル内の各インポート アイテムには、次のフィールドが含まれます（ImportItem を参照）。次の例では、読みやすくするために改行文字が使用されていますが、ファイルを保存するときは、各インポート アイテムの後にのみ改行文字を含めます。1 つのインポート アイテムのフィールドの間には改行を含めないでください。

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

次のように置き換えます。

• entry: エントリとそれに関連付けられたアスペクトに関する情報。アスペクトのみのメタデータ インポート ジョブでは、Knowledge Catalog はアスペクト マップを除き、エントリの省略可能なフィールドはすべて無視します。

  • ENTRY_NAME: エントリの相対的なリソース名（projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID の形式）。
  • ENTRY_TYPE: このエントリの作成に使用されたエントリタイプの相対的なリソース名（projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID 形式）。
  • entrySource: エントリによって表されるデータリソースに関するソースシステムの情報。
    • RESOURCE: ソースシステムのリソースの名前。
    • SYSTEM: ソースシステムの名前。
    • PLATFORM: ソースシステムを含むプラットフォーム。
    • DISPLAY_NAME: ユーザー フレンドリーな表示名。
    • DESCRIPTION: エントリの説明。
    • ENTRY_CREATE_TIMESTAMP: ソースシステムでエントリが作成された時刻。
    • ENTRY_UPDATE_TIMESTAMP: ソースシステムでエントリが更新された時刻。

  • aspects: エントリにアタッチされているアスペクト。aspect オブジェクトとそのデータは、アスペクト マップと呼ばれます。

    • ASPECT: エントリにアタッチされているアスペクト。アスペクトがエントリにどのようにアタッチされているかに応じて、次のいずれかの形式を使用します。

      • アスペクトがエントリに直接アタッチされている場合は、そのアスペクト タイプの相対的なリソース名を PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID の形式で指定します。
      • アスペクトがエントリのパスにアタッチされている場合は、アスペクト タイプのパスを PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH の形式で指定します。

    • KEY と VALUE: アスペクト タイプ メタデータ テンプレートに基づくアスペクトのコンテンツ。コンテンツは UTF-8 としてエンコードする必要があります。フィールドの最大サイズは 120 KB です。data ディクショナリは、空であっても必須です。

    • ASPECT_CREATE_TIMESTAMP: ソースシステムでアスペクトが作成された時刻。

    • ASPECT_UPDATE_TIMESTAMP: ソースシステムでアスペクトが更新された時刻。

  • PARENT_ENTRY: 親エントリのリソース名。

  • FULLY_QUALIFIED_NAME: 外部システムから参照できるエントリの名前。完全修飾名をご覧ください。

• UPDATE_MASK_FIELDS: 更新するフィールド（Entry リソースを基準としたパス）。各フィールドはカンマで区切ります。

  完全なエントリ同期ジョブでは、アスペクトを含む、変更可能なエントリのすべてのフィールドのパスが Knowledge Catalog に含まれます。エントリの作成または再作成時に、updateMask フィールドは無視されます。

  アスペクトのみのメタデータ ジョブでは、この値を aspects に設定します。

• ASPECT_KEY: 変更するアスペクト。次の構文をサポートしています。

  • ASPECT_TYPE_REFERENCE: エントリに直接アタッチされているアスペクトのアスペクト タイプと一致します。
  • ASPECT_TYPE_REFERENCE@PATH: アスペクト タイプと指定されたパスと一致します。
  • ASPECT_TYPE_REFERENCE@*: すべてのパスのアスペクト タイプと一致します。
  • *@PATH: 指定されたパスのすべてのアスペクト タイプと一致します。

  ASPECT_TYPE_REFERENCE は、アスペクト タイプへの参照に置き換えます。形式は PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID です。

  エントリ全体の同期ジョブで、このフィールドを空白のままにすると、指定されたエントリ内に存在するアスペクトを正確に指定したものとして扱われます。Knowledge Catalog は、エントリに必要なすべてのアスペクトのキーを暗黙的に追加します。

ファイルの要件

メタデータ インポート ファイルには次の要件があります。

• ファイルは、改行区切りの JSON ファイルである JSON Lines ファイル形式でなければなりません。各インポート アイテムは改行文字（0x0a）で区切ります。
• ファイルは UTF-8 文字エンコードを使用する必要があります。
• サポートされているファイル拡張子は .jsonl と .json です。
• 各メタデータ インポート ファイルのファイルサイズは 1 GiB 未満にする必要があります。メタデータ ジョブ内のすべてのデータの最大合計サイズは 3 GB です。これには、ジョブに関連付けられているすべてのファイルとメタデータが含まれます。
• ファイルで指定するエントリタイプとアスペクト タイプは、メタデータ ジョブのスコープの一部である必要があります。
• ファイルは Cloud Storage バケットにアップロードする必要があります。ファイルを CLOUD_STORAGE_URI/deletions/ という名前のフォルダに保存しないでください。

比較ロジック

Knowledge Catalog は、メタデータ インポート ファイルで指定された値とタイムスタンプを、プロジェクトに存在する値とタイムスタンプと比較して、変更するエントリとアスペクトを決定します。

大まかに言うと、Knowledge Catalog は、メタデータ インポート ファイルで提案された変更が少なくとも 1 つあり、ジョブの実行時にプロジェクトの状態が変化する場合に、古いデータを使用することなくプロジェクトの値を更新します。提案された変更は、メタデータ インポート ファイルの更新マスク フィールドまたはアスペクトキー フィールドで参照する必要があります。

比較ロジックは、実行するメタデータ インポート ジョブの種類によって異なります。

完全なエントリ同期ジョブ

完全なエントリ同期メタデータ ジョブでは、ジョブのスコープに含まれるエントリごとに、Knowledge Catalog は次のいずれかの処理を行います。

• エントリとそれに関連するアスペクトを作成します。メタデータ インポート ファイルに、プロジェクトに存在しないエントリが含まれている場合、Knowledge Catalog はエントリとそれに関連するアスペクトを作成します。
• エントリとそれに関連するアスペクトを削除します。エントリがプロジェクトに存在するものの、メタデータ インポート ファイルにエントリが含まれていない場合、Knowledge Catalog はエントリとそれに関連するアスペクトをプロジェクトから削除します。

• エントリとそれに関連するアスペクトを更新します。エントリがメタデータ インポート ファイルとプロジェクトの両方に存在する場合、Knowledge Catalog はエントリのソース タイムスタンプとエントリに関連付けられているアスペクトのソース タイムスタンプを評価して、変更する値を決定します。次に、Knowledge Catalog は次の 1 つ以上の処理を行います。

  • エントリを再作成します。メタデータ インポート ファイルのエントリソースの作成タイムスタンプが、プロジェクト内の対応するタイムスタンプよりも新しい場合、Knowledge Catalog はプロジェクト内のエントリを再作成します。
  • エントリを更新します。メタデータ インポート ファイル内のエントリソースの更新タイムスタンプが、プロジェクト内の対応するタイムスタンプよりも新しい場合、Knowledge Catalog はプロジェクト内のエントリを更新します。
  • アスペクトを作成します。アスペクトがプロジェクトに存在せず、メタデータ インポート ファイルのアスペクト マップ、更新マスク フィールド、アスペクトキー フィールドに含まれている場合、Knowledge Catalog はアスペクトを作成します。
  • アスペクトを削除します。アスペクトがプロジェクトに存在し、メタデータ インポート ファイルの更新マスク フィールドとアスペクトキー フィールドに含まれていても、アスペクト マップに含まれていない場合、Knowledge Catalog はアスペクトを削除します。

  • アスペクトを更新します。アスペクトがプロジェクトに存在し、メタデータ インポート ファイルのアスペクト マップ、更新マスク フィールド、アスペクトキー フィールドに含まれており、メタデータ インポート ファイルのアスペクト ソースの更新タイムスタンプがプロジェクト内の対応するタイムスタンプよりも新しい場合、Knowledge Catalog はアスペクトを更新します。

    メタデータ インポート ファイルにアスペクト ソースの更新タイムスタンプが指定されておらず、対応するエントリが更新対象としてマークされている場合、Knowledge Catalog はアスペクトも更新します。

    ただし、メタデータ インポート ファイルの少なくとも 1 つのアスペクトにプロジェクト内の対応するタイムスタンプよりも古いタイムスタンプがある場合、Knowledge Catalog はアタッチされたエントリを更新しません。

アスペクトのみのジョブ

アスペクトのみのメタデータ ジョブでは、ジョブのスコープの一部であるアスペクトごとに、Knowledge Catalog は次のいずれかの処理を行います。

• アスペクトを作成します。アスペクトがプロジェクトに存在せず、メタデータ インポート ファイルのアスペクト マップ、更新マスク フィールド、アスペクトキー フィールドに含まれている場合、Knowledge Catalog はアスペクトを作成します。

• アスペクトを削除します。オプションのアスペクトの場合、アスペクトがプロジェクトに存在し、メタデータ インポート ファイルの更新マスク フィールドとアスペクトキー フィールドに含まれていても、アスペクト マップに含まれていない場合、Knowledge Catalog はアスペクトを削除します。

  必須のアスペクトは削除できません。

• アスペクトを更新します。アスペクトがプロジェクトに存在し、メタデータ インポート ファイルのアスペクト マップ、更新マスク フィールド、アスペクトキー フィールドに含まれており、メタデータ インポート ファイルのアスペクト ソースの更新タイムスタンプがプロジェクト内の対応するタイムスタンプよりも新しい場合、Knowledge Catalog はアスペクトを更新します。

  メタデータ インポート ファイルにアスペクト ソースの更新タイムスタンプが指定されていない場合、Knowledge Catalog はアスペクトも更新します。

  Knowledge Catalog は、対応するエントリのエントリソースの更新タイムスタンプに関係なく、アスペクト ソースの更新タイムスタンプに基づいてアスペクトを更新します。

メタデータ インポート ファイルを作成する

メタデータをインポートする前に、ジョブのメタデータ インポート ファイルを作成します。手順は次のとおりです。

1. このドキュメントで前述したガイドラインに沿って、メタデータ インポート ファイルを準備します。
2. Cloud Storage バケットにファイルをアップロードします。

1 つのメタデータ ジョブで複数のメタデータ インポート ファイルを指定できます。複数のファイルを指定するには、同じ Cloud Storage バケットにファイルを保存します。ジョブを実行するときに、特定のファイルではなくバケットを指定します。Knowledge Catalog は、サブフォルダ内のファイルを含む、バケットに保存されているすべてのファイルからメタデータをインポートします。

メタデータ インポート ジョブを実行する

メタデータ インポート ファイルを作成したら、メタデータ インポート ジョブを実行します。

REST

メタデータをインポートするには、metadataJobs.create メソッドを使用します。

リクエストのデータを使用する前に、次のように置き換えます。

• PROJECT_NUMBER: Google Cloud プロジェクト番号またはプロジェクト ID。
• LOCATION_ID: Google Cloud ロケーション（us-central1 など）。
• METADATA_JOB_ID: 省略可。メタデータ ジョブ ID。

• CLOUD_STORAGE_URI: メタデータ インポート ファイルを含む Cloud Storage バケットまたはフォルダの URI。ファイルの要件の詳細については、メタデータ インポート ファイルをご覧ください。

• ENTRY_GROUP: ジョブのスコープ内にあるエントリ グループの相対的なリソース名（projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID 形式）。詳細については、ジョブのスコープをご覧ください。

• ENTRY_TYPE: ジョブのスコープ内にあるエントリタイプの相対的なリソース名（projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID 形式）。詳細については、ジョブのスコープをご覧ください。

• ASPECT_TYPE: ジョブのスコープ内にあるアスペクト タイプの相対的なリソース名（projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID 形式）。エントリ全体の同期ジョブを作成する場合は省略可。アスペクトのみのジョブを作成する場合は必須です。詳細については、ジョブのスコープをご覧ください。
• ENTRY_SYNC_MODE: エントリの同期モード（FULL や NONE など）。詳細については、同期モードをご覧ください。
• LOG_LEVEL: キャプチャするログのレベル（INFO、DEBUG など）。詳細については、ジョブのログを表示してトラブルシューティングを行うをご覧ください。

HTTP メソッドと URL:

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

リクエストの本文（JSON）:

{
  "type": "IMPORT",
  "import_spec": {
    "source_storage_uri": "gs://CLOUD_STORAGE_URI/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP"
      ],
      "entry_types": [
        "ENTRY_TYPE"
      ],
      "aspect_types": [
        "ASPECT_TYPE"
      ]
    },
    "entry_sync_mode": "ENTRY_SYNC_MODE",
    "aspect_sync_mode": "INCREMENTAL",
    "log_level": "LOG_LEVEL"
  }
}

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザー アカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID"

PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザー アカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID" | Select-Object -Expand Content

レスポンスで長時間実行オペレーションを識別できます。

メタデータ ジョブの詳細情報を取得する

メタデータ ジョブに関する情報（ジョブのステータス、変更されたエントリの数など）を取得する手順は次のとおりです。失敗したジョブのトラブルシューティング方法の詳細については、このドキュメントのジョブのログを表示してトラブルシューティングを行うセクションをご覧ください。

C#

C#

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある C# の設定手順を行ってください。詳細については、Knowledge Catalog C# API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for GetMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        GetMetadataJobRequest request = new GetMetadataJobRequest
        {
            MetadataJobName = MetadataJobName.FromProjectLocationMetadataJob("[PROJECT]", "[LOCATION]", "[METADATAJOB]"),
        };
        // Make the request
        MetadataJob response = catalogServiceClient.GetMetadataJob(request);
    }
}

Go

Go

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Go の設定手順を行ってください。詳細については、Knowledge Catalog Go API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetMetadataJobRequest.
	}
	resp, err := c.GetMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

Java

Java

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Java の設定手順を行ってください。詳細については、Knowledge Catalog Java API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.GetMetadataJobRequest;
import com.google.cloud.dataplex.v1.MetadataJob;
import com.google.cloud.dataplex.v1.MetadataJobName;

public class SyncGetMetadataJob {

  public static void main(String[] args) throws Exception {
    syncGetMetadataJob();
  }

  public static void syncGetMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      GetMetadataJobRequest request =
          GetMetadataJobRequest.newBuilder()
              .setName(MetadataJobName.of("[PROJECT]", "[LOCATION]", "[METADATAJOB]").toString())
              .build();
      MetadataJob response = catalogServiceClient.getMetadataJob(request);
    }
  }
}

Node.js

Node.js

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Node.js の設定手順を行ってください。詳細については、Knowledge Catalog Node.js API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. The resource name of the metadata job, in the format
 *  `projects/{project_id_or_number}/locations/{location_id}/metadataJobs/{metadata_job_id}`.
 */
// const name = 'abc123'

// Imports the Dataplex library
const {CatalogServiceClient} = require('@google-cloud/dataplex').v1;

// Instantiates a client
const dataplexClient = new CatalogServiceClient();

async function callGetMetadataJob() {
  // Construct request
  const request = {
    name,
  };

  // Run request
  const response = await dataplexClient.getMetadataJob(request);
  console.log(response);
}

callGetMetadataJob();

Python

Python

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Python の設定手順を行ってください。詳細については、Knowledge Catalog Python API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetMetadataJobRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_metadata_job(request=request)

    # Handle the response
    print(response)

Ruby

Ruby

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Ruby の設定手順を行ってください。詳細については、Knowledge Catalog Ruby API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

require "google/cloud/dataplex/v1"

##
# Snippet for the get_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#get_metadata_job.
#
def get_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetMetadataJobRequest.new

  # Call the get_metadata_job method.
  result = client.get_metadata_job request

  # The returned object is of type Google::Cloud::Dataplex::V1::MetadataJob.
  p result
end

REST

メタデータ ジョブに関する情報を取得するには、metadataJobs.get メソッドを使用します。

リクエストのデータを使用する前に、次のように置き換えます。

• PROJECT_NUMBER: Google Cloud プロジェクト番号またはプロジェクト ID。
• LOCATION_ID: Google Cloud ロケーション（us-central1 など）。
• METADATA_JOB_ID: メタデータ ジョブ ID。

HTTP メソッドと URL:

GET https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザー アカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

次のコマンドを実行します。

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID"

PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザー アカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs/METADATA_JOB_ID" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
  "name": "projects/123456789012/locations/us-central1/metadataJobs/my-metadata-job",
  "uid": "a1b2c3d4-e5f6-7a8b-9c0d-1e2f3a4b5c6d",
  "createTime": "2026-07-17T16:30:15Z",
  "updateTime": "2026-07-17T16:35:15Z",
  "type": "IMPORT",
  "importSpec": {
    "sourceStorageUri": "gs://my-bucket/",
    "scope": {
      "entryGroups": [
        "projects/123456789012/locations/us-central1/entryGroups/my-entry-group"
      ],
      "entryTypes": [
        "projects/123456789012/locations/us-central1/entryTypes/my-entry-type"
      ],
      "aspectTypes": [
        "projects/123456789012/locations/us-central1/aspectTypes/my-aspect-type"
      ]
    },
    "entrySyncMode": "FULL",
    "aspectSyncMode": "INCREMENTAL",
    "logLevel": "INFO"
  },
  "status": {
    "state": "SUCCEEDED"
  },
  "importResult": {
    "deletedEntries": "2",
    "updatedEntries": "5",
    "createdEntries": "10",
    "unchangedEntries": "20",
    "updateTime": "2026-07-17T16:35:15Z"
  }
}

メタデータ ジョブのリストを取得する

最新のメタデータ ジョブのリストを取得できます。終了状態に達した古いジョブは、定期的にシステムから削除されます。

C#

C#

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある C# の設定手順を行ってください。詳細については、Knowledge Catalog C# API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

using Google.Api.Gax;
using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for ListMetadataJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListMetadataJobsRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        ListMetadataJobsRequest request = new ListMetadataJobsRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            Filter = "",
            OrderBy = "",
        };
        // Make the request
        PagedEnumerable<ListMetadataJobsResponse, MetadataJob> response = catalogServiceClient.ListMetadataJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (MetadataJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListMetadataJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (MetadataJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<MetadataJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (MetadataJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

Go

Go

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Go の設定手順を行ってください。詳細については、Knowledge Catalog Go API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListMetadataJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListMetadataJobsRequest.
	}
	it := c.ListMetadataJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListMetadataJobsResponse)
	}
}

Java

Java

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Java の設定手順を行ってください。詳細については、Knowledge Catalog Java API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.ListMetadataJobsRequest;
import com.google.cloud.dataplex.v1.LocationName;
import com.google.cloud.dataplex.v1.MetadataJob;

public class SyncListMetadataJobs {

  public static void main(String[] args) throws Exception {
    syncListMetadataJobs();
  }

  public static void syncListMetadataJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      ListMetadataJobsRequest request =
          ListMetadataJobsRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .setOrderBy("orderBy-1207110587")
              .build();
      for (MetadataJob element : catalogServiceClient.listMetadataJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

Node.js

Node.js

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Node.js の設定手順を行ってください。詳細については、Knowledge Catalog Node.js API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. The resource name of the parent location, in the format
 *  `projects/{project_id_or_number}/locations/{location_id}`
 */
// const parent = 'abc123'
/**
 *  Optional. The maximum number of metadata jobs to return. The service might
 *  return fewer jobs than this value. If unspecified, at most 10 jobs are
 *  returned. The maximum value is 1,000.
 */
// const pageSize = 1234
/**
 *  Optional. The page token received from a previous `ListMetadataJobs` call.
 *  Provide this token to retrieve the subsequent page of results. When
 *  paginating, all other parameters that are provided to the
 *  `ListMetadataJobs` request must match the call that provided the page
 *  token.
 */
// const pageToken = 'abc123'
/**
 *  Optional. Filter request. Filters are case-sensitive.
 *  The service supports the following formats:
 *  * `labels.key1 = "value1"`
 *  * `labels:key1`
 *  * `name = "value"`
 *  You can combine filters with `AND`, `OR`, and `NOT` operators.
 */
// const filter = 'abc123'
/**
 *  Optional. The field to sort the results by, either `name` or `create_time`.
 *  If not specified, the ordering is undefined.
 */
// const orderBy = 'abc123'

// Imports the Dataplex library
const {CatalogServiceClient} = require('@google-cloud/dataplex').v1;

// Instantiates a client
const dataplexClient = new CatalogServiceClient();

async function callListMetadataJobs() {
  // Construct request
  const request = {
    parent,
  };

  // Run request
  const iterable = dataplexClient.listMetadataJobsAsync(request);
  for await (const response of iterable) {
      console.log(response);
  }
}

callListMetadataJobs();

Python

Python

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Python の設定手順を行ってください。詳細については、Knowledge Catalog Python API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_metadata_jobs():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListMetadataJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_metadata_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

Ruby

Ruby

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Ruby の設定手順を行ってください。詳細については、Knowledge Catalog Ruby API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

require "google/cloud/dataplex/v1"

##
# Snippet for the list_metadata_jobs call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#list_metadata_jobs.
#
def list_metadata_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListMetadataJobsRequest.new

  # Call the list_metadata_jobs method.
  result = client.list_metadata_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::MetadataJob.
    p item
  end
end

REST

最新のメタデータ ジョブのリストを取得するには、metadataJobs.list メソッドを使用します。

メタデータ ジョブをキャンセルする

実行する必要がないメタデータ ジョブはキャンセルできます。

注意: 進行中のメタデータ インポート ジョブをキャンセルすると、ジョブの変更が部分的に適用されることがあります。キャンセルされたジョブの変更を元に戻す別のメタデータ ジョブを実行して、プロジェクト内のエントリ グループの状態をリセットすることをおすすめします。

C#

C#

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある C# の設定手順を行ってください。詳細については、Knowledge Catalog C# API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedCatalogServiceClientSnippets
{
    /// <summary>Snippet for CancelMetadataJob</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CancelMetadataJobRequestObject()
    {
        // Create client
        CatalogServiceClient catalogServiceClient = CatalogServiceClient.Create();
        // Initialize request argument(s)
        CancelMetadataJobRequest request = new CancelMetadataJobRequest
        {
            MetadataJobName = MetadataJobName.FromProjectLocationMetadataJob("[PROJECT]", "[LOCATION]", "[METADATAJOB]"),
        };
        // Make the request
        catalogServiceClient.CancelMetadataJob(request);
    }
}

Go

Go

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Go の設定手順を行ってください。詳細については、Knowledge Catalog Go API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

//go:build examples

package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewCatalogClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CancelMetadataJobRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CancelMetadataJobRequest.
	}
	err = c.CancelMetadataJob(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
}

Java

Java

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Java の設定手順を行ってください。詳細については、Knowledge Catalog Java API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

import com.google.cloud.dataplex.v1.CancelMetadataJobRequest;
import com.google.cloud.dataplex.v1.CatalogServiceClient;
import com.google.cloud.dataplex.v1.MetadataJobName;
import com.google.protobuf.Empty;

public class SyncCancelMetadataJob {

  public static void main(String[] args) throws Exception {
    syncCancelMetadataJob();
  }

  public static void syncCancelMetadataJob() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (CatalogServiceClient catalogServiceClient = CatalogServiceClient.create()) {
      CancelMetadataJobRequest request =
          CancelMetadataJobRequest.newBuilder()
              .setName(MetadataJobName.of("[PROJECT]", "[LOCATION]", "[METADATAJOB]").toString())
              .build();
      catalogServiceClient.cancelMetadataJob(request);
    }
  }
}

Node.js

Node.js

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Node.js の設定手順を行ってください。詳細については、Knowledge Catalog Node.js API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. The resource name of the job, in the format
 *  `projects/{project_id_or_number}/locations/{location_id}/metadataJobs/{metadata_job_id}`
 */
// const name = 'abc123'

// Imports the Dataplex library
const {CatalogServiceClient} = require('@google-cloud/dataplex').v1;

// Instantiates a client
const dataplexClient = new CatalogServiceClient();

async function callCancelMetadataJob() {
  // Construct request
  const request = {
    name,
  };

  // Run request
  const response = await dataplexClient.cancelMetadataJob(request);
  console.log(response);
}

callCancelMetadataJob();

Python

Python

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Python の設定手順を行ってください。詳細については、Knowledge Catalog Python API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_cancel_metadata_job():
    # Create a client
    client = dataplex_v1.CatalogServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.CancelMetadataJobRequest(
        name="name_value",
    )

    # Make the request
    client.cancel_metadata_job(request=request)

Ruby

Ruby

このサンプルを試す前に、クライアント ライブラリを使用した Knowledge Catalog のクイックスタートにある Ruby の設定手順を行ってください。詳細については、Knowledge Catalog Ruby API のリファレンス ドキュメントをご覧ください。

Knowledge Catalog への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。

require "google/cloud/dataplex/v1"

##
# Snippet for the cancel_metadata_job call in the CatalogService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::CatalogService::Client#cancel_metadata_job.
#
def cancel_metadata_job
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::CatalogService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CancelMetadataJobRequest.new

  # Call the cancel_metadata_job method.
  result = client.cancel_metadata_job request

  # The returned object is of type Google::Protobuf::Empty.
  p result
end

REST

メタデータ ジョブをキャンセルするには、metadataJobs.cancel メソッドを使用します。

ジョブのログを表示してトラブルシューティングを行う

Cloud Logging を使用して、メタデータ ジョブのログを表示します。詳細については、Knowledge Catalog ログをモニタリングするをご覧ください。

ログレベルは、メタデータ ジョブを作成するときに構成します。次のログレベルを使用できます。

• INFO: ジョブ全体のレベルでログを指定します。インポート アイテムに関する集計ログが含まれますが、エラーのあるインポート アイテムは指定されません。

• DEBUG: インポート アイテムごとに詳細なログを指定します。デバッグレベルのロギングを使用して、特定のインポート アイテムに関する問題のトラブルシューティングを行います。たとえば、デバッグレベルのロギングを使用して、ジョブスコープにないリソース、関連するエントリタイプやアスペクト タイプに準拠していないエントリやアスペクト、メタデータ インポート ファイルのその他の構成ミスを特定します。

  注: メタデータ ジョブのサイズと生成されるログの数によっては、デバッグレベルのロギングで追加費用が発生する場合があります。詳細については、Google Cloud Observability の料金をご覧ください。

検証エラー

Knowledge Catalog は、プロジェクトの現在のメタデータと照らし合わせてメタデータ インポート ファイルを検証します。検証の問題がある場合、ジョブのステータスは次のいずれかの状態を返す可能性があります。

• FAILED: メタデータ インポート ファイルにエラーがある場合に発生します。Knowledge Catalog はメタデータをインポートせず、ジョブは失敗します。メタデータ インポート ファイルのエラーの例を以下に示します。
  • ファイル内の項目を有効なインポート項目に解析できない
  • ファイル内のエントリやアスペクトが、ジョブのスコープの一部でないエントリ グループ、エントリタイプ、またはアスペクト タイプに属している
  • ジョブで同じエントリ名が複数回指定されている
  • アスペクト マップまたはアスペクトキーで指定されたアスペクト タイプが、PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH の形式を使用していない
  • 必須のアスペクトが削除対象としてマークされている
• SUCCEEDED_WITH_ERRORS: メタデータ インポート ファイルは正常に解析できるものの、ファイル内のアイテムをインポートすると、プロジェクト内のエントリが不整合状態になる場合に発生します。Knowledge Catalog はこのようなエントリを無視しますが、残りのメタデータをファイルからインポートします。

ジョブのログを使用してエラーのトラブルシューティングを行います。

次のステップ

• Knowledge Catalog でデータアセットを検索する
• アスペクトを管理してメタデータを拡充する
• エントリを管理してカスタムソースを取り込む
• メタデータをエクスポートする