Cloud Data Fusion のトラブルシューティング

このページでは、Cloud Data Fusion に関する問題を解決する方法について説明します。

失敗したパイプライン実行のエラー情報を取得する

パイプラインの実行が失敗した場合は、詳細なエラー情報を取得できます。Cloud Data Fusion 6.11.0 では、パイプライン エラーがカテゴリ、理由、メッセージ別に分類されます。この分類により、解決が迅速になり、複雑なログの検証の必要性が軽減されます。

エラーの詳細を取得する手順は次のとおりです。

コンソール

  1. Google Cloud コンソールで Cloud Data Fusion インスタンスを開き、[Studio] ページでパイプラインに移動します。

  2. エラーが発生したノードで、[エラーを表示] をクリックします。

  3. エラーの詳細(エラーカテゴリ、エラーの理由、エラー メッセージ)を確認します。

  4. 省略可: 未加工ログをダウンロードして詳細な分析を行うには、[未加工ログをダウンロード] をクリックします。

  5. 省略可: 未加工ログを表示するには、[View logs] をクリックします。

REST

次のエンドポイントに POST リクエストを送信します。

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
 -H "Content-Type: application/json" 
 ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/workflows/DataPipelineWorkflow/runs/RUN_ID/classify -X POST

次のように置き換えます。

  • NAMESPACE_ID: Namespace の ID
  • PIPELINE_NAME: パイプラインの名前
  • RUN_ID: パイプラインの実行 ID

プラグイン エラーのレスポンスの例を次に示します。

 [
    {
       "stageName": "Stage Name",
       "errorCategory": "Plugin-x",
       "errorReason": "Input path gs://x does not exist",
       "errorMessage": "Input path gs://x does not exist",
       "errorType": "SYSTEM/USER/UNKNOWN",
       "dependency": "true/false"
    }
 ]
 ```
You can also [view advanced logs for your pipelines](/data-fusion/docs/how-to/viewing-stackdriver-logs).

Cloud Data Fusion インスタンスの作成に関する問題を解決する

Cloud Data Fusion インスタンスを作成すると、次の問題が発生することがあります。

Read access to project PROJECT_ID was denied.

この問題を解決するには、Cloud Data Fusion API を無効にしてから再度有効にして、インスタンスを作成します。