פתרון בעיות ב-Cloud Data Fusion

בדף הזה מוסבר איך לפתור בעיות ב-Cloud Data Fusion.

אחזור מידע על שגיאה בהרצת צינור עיבוד נתונים שנכשלה

אם הפעלת צינור נכשלת, אפשר לאחזר מידע מפורט על השגיאה. ב-Cloud Data Fusion 6.11.0, שגיאות בצינורות מסווגות לפי קטגוריה, סיבה והודעה. הסיווג הזה מזרז את הפתרון ומפחית את הצורך לבדוק יומנים מורכבים.

כדי לקבל פרטים על השגיאה, מבצעים את השלבים הבאים:

המסוף

  1. במסוף Google Cloud , פותחים את מופע Cloud Data Fusion ועוברים לצנרת בדף Studio.

  2. בצומת שבו התרחשה השגיאה, לוחצים על הצגת שגיאות.

  3. בודקים את פרטי השגיאה, שכוללים את קטגוריית השגיאה, סיבת השגיאה והודעת השגיאה.

  4. אופציונלי: כדי להוריד יומנים לא מעובדים לניתוח נוסף, לוחצים על הורדת יומנים לא מעובדים.

  5. אופציונלי: כדי לראות את היומנים הגולמיים, לוחצים על הצגת היומנים.

REST

שליחת בקשת POST לנקודת הקצה הבאה:

 curl -H "Authorization: Bearer $(gcloud auth print-access-token)"
 -H "Content-Type: application/json" 
 ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps/PIPELINE_NAME/workflows/DataPipelineWorkflow/runs/RUN_ID/classify -X POST

מחליפים את מה שכתוב בשדות הבאים:

  • ‫NAMESPACE_ID: מזהה מרחב השמות
  • ‫PIPELINE_NAME: השם של הפייפליין
  • ‫RUN_ID: מזהה ההרצה של הפייפליין

זוהי דוגמה לתגובה על שגיאה בפלאגין:

 [
    {
       "stageName": "Stage Name",
       "errorCategory": "Plugin-x",
       "errorReason": "Input path gs://x does not exist",
       "errorMessage": "Input path gs://x does not exist",
       "errorType": "SYSTEM/USER/UNKNOWN",
       "dependency": "true/false"
    }
 ]
 ```
You can also [view advanced logs for your pipelines](/data-fusion/docs/how-to/viewing-stackdriver-logs).

פתרון בעיות שקשורות ליצירת מכונת Cloud Data Fusion

כשיוצרים מכונת Cloud Data Fusion, יכול להיות שתיתקלו בבעיה הבאה:

Read access to project PROJECT_ID was denied.

כדי לפתור את הבעיה, צריך להשבית ואז להפעיל מחדש את Cloud Data Fusion API, ואז ליצור את המכונה.