Cloud Logging で高度なパイプライン ログを表示する

このページでは、Cloud Data Fusion Dataproc クラスタで Cloud Logging を有効にして、高度なパイプライン ログにアクセスする方法について説明します。

Dataproc Cloud Logging を有効にする

Cloud Logging でパイプラインとクラスタの問題を表示するには、新しい Cloud Data Fusion インスタンスまたは既存の Cloud Data Fusion インスタンスで高度なログを有効にします。既存のインスタンスで詳細ログを有効にするには、次の操作を行います。

  1. Google Cloud コンソールで、Cloud Data Fusion の [インスタンス] ページに移動します。

    [インスタンス] に移動

  2. インスタンス名をクリックします。

  3. [高度なモニタリングとロギング] セクションの [Dataproc Cloud Logging] で、 [編集] をクリックします。

  4. [Cloud Logging] ウィンドウで、[Cloud Logging を有効にする] チェックボックスをオンにします。

  5. [保存] をクリックします。

ログを表示

Cloud Data Fusion パイプラインのすべての実行には、一意の RunID が割り当てられます。パイプラインをデプロイして実行した後、その RunID を調べます。次に、Logging で RunID を使用してパイプライン ログを表示します。

パイプラインの RunID を取得する

  1. インスタンスに移動します:

    1. In the Google Cloud console, go to the Cloud Data Fusion page.

    2. To open the instance in the Cloud Data Fusion Studio, click Instances, and then click View instance.

      Go to Instances

  2. [リスト] をクリックします。
  3. 実行 ID を取得するパイプラインをクリックします。
  4. [Summary] をクリックします。
  5. [実行履歴] セクションで、[テーブル] をクリックします。
  6. 実行 ID をコピーするには、[RunID] を右クリックして [コピー] をクリックします。

ログ エクスプローラでログを表示する

  1. Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [すべてのリソース] プルダウンで、[Cloud Dataproc Cluster] > [cdap-PIPELINE_NAME-YOUR_RUNID] を選択します。

省略可: ログをフィルタする

フィルタ メニューを使用してログをフィルタします。さまざまなログの重大度レベルや、datafusion-pipeline-logs などのコンポーネントでフィルタリングできます。

省略可: ログをダウンロードする

[ログのダウンロード] をクリックします。

詳細については、ログエントリのダウンロードをご覧ください。

次のステップ