שליחת רשומות לשגיאה

בדף הזה מוסבר איך להסיר שגיאות נפוצות ממערך נתונים כשמכינים נתונים בסביבת העבודה של Wrangler ב-Cloud Data Fusion Studio.

סוגי השגיאות הבאים מתרחשים במערכי נתונים:

  • שגיאות מערכתיות, כמו כשלים בשירות או במופע
  • שגיאות לוגיות, כמו כשלים בהרצת צינור עיבוד נתונים
  • שגיאות בנתונים, כמו מספרי כרטיסי אשראי לא תקינים, פורמטים לא תקינים של תאריכים או מיקודים לא תקינים

ב-Wrangler יש יותר מ-50 הנחיות שיעזרו לכם להסיר שגיאות נפוצות ממערך נתונים.

כדי לשלוח רשומות לשגיאה, פועלים לפי השלבים הבאים:

  1. עוברים לסביבת העבודה של Wrangler ב-Cloud Data Fusion.
  2. בכרטיסייה נתונים, עוברים לשם של עמודה ולוחצים על החץ להרחבה arrow_drop_down.
  3. בוחרים באפשרות שליחה לשגיאה, ואז בוחרים את התנאי ששולח רשומות פגומות לשגיאה.

‫Wrangler מסיר מהמדגם ערכים שתואמים לתנאי שצוין ומוסיף את ההנחיה send to error למתכון. כשמריצים את צינור הנתונים, השינוי חל על כל הערכים בעמודה.

הוספת פלאגין לאיסוף שגיאות לצינור נתונים

כשמוסיפים טרנספורמציה של Wrangler עם מתכון שכולל את ההנחיה send to error לצינור נתונים, אפשר לקשר אותה לתוסף Error Collector. בדרך כלל, התוסף Error Collector מחובר לתוסף יעד במורד הזרם, כמו BigQuery sink.

כשמריצים את צינור הנתונים, הרשומות שסומנו על ידי ההנחיה send to error עוברות משלב השינוי של Wrangler בצינור הנתונים לשלב של Error Collector, ואז לשלב של היעד. בסיום ההרצה, אפשר לבדוק את הרשומות שסומנו ונכתבו ליעד.

אם המתכון כולל את טרנספורמציית send to error, אבל צינור הנתונים לא כולל את התוסף Error Collector, הרשומות שסומנו על ידי ההוראה send to error מושמטות במהלך ההרצה של צינור הנתונים.

המאמרים הבאים