Cloud Logging で高度なパイプライン ログを表示する

このページでは、Cloud Data Fusion Dataproc クラスタで Cloud Logging を有効にして、高度なパイプライン ログにアクセスする方法について説明します。

Dataproc Cloud Logging を有効にする

Cloud Logging でパイプラインとクラスタの問題を表示するには、新しい Cloud Data Fusion インスタンスまたは既存の Cloud Data Fusion インスタンスで高度なログを有効にします。既存のインスタンスで詳細ログを有効にするには、次の操作を行います。

  1. Google Cloud コンソールで、Cloud Data Fusion の [インスタンス] ページに移動します。

    [インスタンス] に移動

  2. インスタンス名をクリックします。

  3. [高度なモニタリングとロギング] セクションの [Dataproc Cloud Logging] で、 [編集] をクリックします。

  4. [Cloud Logging] ウィンドウで、[Cloud Logging を有効にする] チェックボックスをオンにします。

  5. [保存] をクリックします。

ログを表示

Cloud Data Fusion パイプラインのすべての実行には、一意の RunID が割り当てられます。パイプラインをデプロイして実行した後、その RunID を調べます。次に、Logging で RunID を使用してパイプライン ログを表示します。

パイプラインの RunID を取得する

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックします。
  3. 実行 ID を取得するパイプラインをクリックします。
  4. [Summary] をクリックします。
  5. [実行履歴] セクションで、[テーブル] をクリックします。
  6. 実行 ID をコピーするには、[RunID] を右クリックして [コピー] をクリックします。

ログ エクスプローラでログを表示する

  1. Google Cloud コンソールで、[Cloud Logging] > [ログ エクスプローラ] ページに移動します。

    [ログ エクスプローラ] に移動

  2. [すべてのリソース] プルダウンで、[Cloud Dataproc Cluster] > [cdap-PIPELINE_NAME-YOUR_RUNID] を選択します。

省略可: ログをフィルタする

フィルタ メニューを使用してログをフィルタします。さまざまなログの重大度レベルや、datafusion-pipeline-logs などのコンポーネントでフィルタリングできます。

省略可: ログをダウンロードする

[ログのダウンロード] をクリックします。

詳細については、ログエントリのダウンロードをご覧ください。

次のステップ