Résoudre les problèmes liés à Cloud Data Fusion

Cette page explique comment résoudre les problèmes liés à Cloud Data Fusion.

Récupérer des informations sur les erreurs pour une exécution de pipeline ayant échoué

Lorsqu'une exécution de pipeline échoue, vous pouvez récupérer des informations détaillées sur l'erreur. Cloud Data Fusion 6.11.0 classe les erreurs de pipeline par catégorie, raison et message. Cette classification accélère la résolution des problèmes et réduit la nécessité d'examiner des journaux complexes.

Pour obtenir des informations détaillées sur les erreurs, procédez comme suit :

Console

  1. Dans la console Google Cloud , ouvrez votre instance Cloud Data Fusion et accédez à votre pipeline sur la page Studio.

  2. Sur le nœud où l'erreur s'est produite, cliquez sur Afficher les erreurs.

  3. Examinez les détails de l'erreur, qui incluent la catégorie, la raison et le message d'erreur.

  4. Facultatif : Pour télécharger les journaux bruts afin de les analyser plus en détail, cliquez sur Télécharger les journaux bruts.

  5. Facultatif : Pour afficher les journaux bruts, cliquez sur Afficher les journaux.

REST

Envoyez une requête POST au point de terminaison suivant :

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
 -H "Content-Type: application/json" 
 ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/workflows/DataPipelineWorkflow/runs/RUN_ID/classify -X POST

Remplacez les éléments suivants :

  • NAMESPACE_ID : ID de l'espace de noms
  • PIPELINE_NAME : nom du pipeline
  • RUN_ID : ID d'exécution du pipeline

Voici un exemple de réponse pour une erreur de plug-in :

 [
    {
       "stageName": "Stage Name",
       "errorCategory": "Plugin-x",
       "errorReason": "Input path gs://x does not exist",
       "errorMessage": "Input path gs://x does not exist",
       "errorType": "SYSTEM/USER/UNKNOWN",
       "dependency": "true/false"
    }
 ]
 ```
You can also [view advanced logs for your pipelines](/data-fusion/docs/how-to/viewing-stackdriver-logs).

Résoudre les problèmes de création d'une instance Cloud Data Fusion

Lorsque vous créez une instance Cloud Data Fusion, vous pouvez rencontrer le problème suivant :

Read access to project PROJECT_ID was denied.

Pour résoudre ce problème, désactivez et réactivez l'API Cloud Data Fusion, puis créez l'instance.