Cloud Logging で高度なパイプライン ログを表示する

このページでは、Cloud Data Fusion Managed Service for Apache Spark クラスタで Cloud Logging を有効にして、高度なパイプライン ログにアクセスする方法について説明します。

Managed Service for Apache Spark Cloud Logging を有効にする

Cloud Logging でパイプラインとクラスタの問題を表示するには、新規または既存の Cloud Data Fusion インスタンスで詳細ログを有効にします。既存のインスタンスで詳細ログを有効にするには、次の操作を行います。

  1. Google Cloud コンソールで、Cloud Data Fusion の [インスタンス] ページに移動します。

    [インスタンス] に移動

  2. インスタンス名をクリックします。

  3. [高度なモニタリングとロギング] セクションで、[Dataproc Cloud Logging] の [編集] をクリックします。

  4. [Cloud Logging] ウィンドウで、[Cloud Logging を有効にする] チェックボックスをオンにします。

  5. [保存] をクリックします。

ログを表示

Cloud Data Fusion パイプラインのすべての実行には、一意の RunID が割り当てられます。パイプラインをデプロイして実行した後、その RunID を調べます。次に、Logging で RunID を使用してパイプライン ログを表示します。

パイプラインの RunID を取得する

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックします。
  3. 実行 ID を取得するパイプラインをクリックします。
  4. [Summary] をクリックします。
  5. [実行履歴] セクションで、[テーブル] をクリックします。
  6. Run ID をコピーするには、[RunID] を右クリックして [コピー] をクリックします。

ログ エクスプローラでログを表示する

  1. Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [すべてのリソース] プルダウンで、[Cloud Dataproc クラスタ> cdap-PIPELINE_NAME-YOUR_RUNID] を選択します。

省略可: ログをフィルタする

フィルタ メニューを使用してログをフィルタします。さまざまなログの重大度レベルや、datafusion-pipeline-logs などのコンポーネントでフィルタリングできます。

省略可: ログをダウンロードする

[ログのダウンロード] をクリックします。

詳細については、ログエントリのダウンロードをご覧ください。

次のステップ