ניתוח קבצים

בדף הזה מוסבר איך לנתח קבצים כשמכינים נתונים בסביבת העבודה של Wrangler ב-Cloud Data Fusion Studio. בעזרת Wrangler אפשר לנתח קובץ לפני שטוענים אותו לסביבת העבודה של Wrangler:

  • הכלי Wrangler מסיק את סוגי הנתונים וממפה כל עמודה לסוג הנתונים שהוסק, באותו אופן שבו תוספים של מקור קובץ עושים זאת ב-Pipeline Studio.
  • אם אי אפשר להסיק את הסכימה, אפשר לייבא את הסכימה של פורמט קובץ, כמו JSON.
  • המתכון לא כולל את הוראת הניתוח, וכך מצטמצם היקף הלוגיקה של השינוי במהלך הרצת צינורות.
  • כשיוצרים צינור מ-Wrangler, פלאגין המקור כולל את כל מאפייני הניתוח והערכים שהגדרתם ב-Wrangler.

יצירת חיבור לקובץ

כדי לנתח קובץ לפני שמעלים אותו ל-Wrangler, צריך להשתמש בחיבור לקובץ, כמו File,‏ Cloud Storage או Amazon S3.

  1. עוברים לסביבת העבודה של Wrangler ב-Cloud Data Fusion.
  2. לוחצים על החץ להרחבת האפשרות בחירת נתונים כדי לראות את החיבורים הזמינים.
  3. מוסיפים חיבור לקובץ, ל-Cloud Storage או ל-S3. מידע נוסף מופיע במאמר בנושא יצירה וניהול של חיבורים.
  4. כדי לפתוח את תיבת הדו-שיח של אפשרויות הניתוח, עוברים לחלונית בחירת נתונים ולוחצים על שם הקובץ.

  5. בתיבת הדו-שיח Parsing options, מזינים את הפרטים הבאים:

    1. בשדה פורמט, בוחרים את פורמט הקובץ של הנתונים שנקראים – לדוגמה, csv. מידע נוסף זמין במאמר בנושא פורמטים נתמכים.

      • אם בוחרים בפורמט מופרד, בשדה Delimiter שמופיע, מזינים את פרטי התו המפריד.
      • אם בוחרים בפורמט CSV,‏ TSV או מפריד, מופיע השדה הפעלת ערכים שמוקפים במירכאות. אם הנתונים שלכם מוקפים במירכאות, בוחרים באפשרות True. ההגדרה הזו מסירה את סימני המירכאות מהפלט המנותח. לדוגמה, הקלט הבא, 1, "a, b, c", מנותח לשני שדות. הערך בשדה הראשון הוא: 1. השדה השני מכיל את הערך: a, b, c. תו המעבר לשורה לא יכול להיות בתוך מרכאות.
      • אם בחרתם בפורמט טקסט, CSV,‏ TSV או תו מפריד, יופיע השדה השתמש בשורה הראשונה ככותרת. כדי להשתמש בשורה הראשונה של כל קובץ ככותרת של עמודה, בוחרים באפשרות True.

    2. בשדה File encoding (קידוד קובץ), בוחרים את סוג הקידוד של קובץ המקור – לדוגמה, UTF-8.

    3. אופציונלי: כדי לייבא את הסכימה או לבטל את הסכימה שהמערכת הסיקה עבור הקובץ, לוחצים על ייבוא סכימה. מייבאים את הסכימה לפורמטים כמו JSON ולחלק מקובצי Avro, שבהם אי אפשר להסיק את הסכימה. הסכימה חייבת להיות בפורמט Avro.

    4. לוחצים על אישור. הקובץ המנותח מופיע בסביבת העבודה של Wrangler.

פורמטים נתמכים

הפורמטים הבאים נתמכים בניתוח קבצים:

  • Avro
  • ‫Blob (פורמט ה-Blob דורש סכימה שמכילה שדה בשם body מסוג bytes)
  • CSV
  • מופרד
  • JSON
  • Parquet
  • טקסט (פורמט הטקסט מחייב סכימה שמכילה שדה בשם body מסוג string)
  • TSV

המאמרים הבאים