משימה של כלי טרנספורמציה של נתונים

המשימה Data Transformer מספקת שני מצבים – Diagram ו-Script – להמרת הנתונים. במצב Diagram, משתמשים באזור ציור למיפוי חזותי, שנקרא Data Transformer editor (כלי לעריכת שינוי נתונים), כדי לבצע הקצאות ומיפויים של נתונים בשילוב. בנוסף, אתם יכולים להשתמש בטרנספורמציות הנתמכות כדי להפוך את הנתונים למשתנים ולפורמטים משמעותיים, וכך להפוך אותם לנגישים למשימות או לטריגרים אחרים בשילוב. במצב Script, אתם יכולים לכתוב, לערוך ולהעריך תבניות Jsonnet בהתאמה אישית כדי לבצע מיפוי נתונים בשילוב.

מידע על מיפוי נתונים ב-Application Integration זמין במאמר סקירה כללית על מיפוי נתונים.

הגדרת המשימה Data Transformer

כדי להוסיף משימת Data Transformer לשילוב, מבצעים את השלבים הבאים:

  1. נכנסים לדף Application Integration במסוף Google Cloud .

    מעבר אל Application Integration

  2. בתפריט הניווט, לוחצים על Integrations (שילובים).

    מוצג הדף Integrations (שילובים) עם רשימה של כל השילובים שזמינים בפרויקט בענן של Google.

  3. בוחרים שילוב קיים או לוחצים על יצירת שילוב כדי ליצור שילוב חדש.

    אם יוצרים שילוב חדש:

    1. מזינים שם ותיאור בחלונית יצירת שילוב.
    2. בוחרים אזור לשילוב.
    3. בוחרים חשבון שירות לאינטגרציה. אפשר לשנות או לעדכן את פרטי חשבון השירות של שילוב בכל שלב מחלונית סיכום השילוב בסרגל הכלים של השילוב.
    4. לוחצים על יצירה. השילוב החדש שנוצר ייפתח בכלי השילובים.

  4. בסרגל הניווט של כלי העריכה של השילוב, לוחצים על משימות כדי לראות את רשימת המשימות והמחברים הזמינים.
  5. לוחצים על הרכיב Data Transformer וממקמים אותו בכלי לעריכת שילובים.
  6. לוחצים על הרכיב Data Transformer (כלי להמרת נתונים) כדי להציג את חלונית הגדרת המשימה.
  7. לוחצים על פתיחת הכלי לעריכת טרנספורמציות של נתונים. בדף Data Transformer (preview) Task Editor (כלי לשינוי נתונים (גרסת Preview) – עורך המשימות), בוחרים באחת מהאפשרויות הבאות:
    • כברירת מחדל, נפתח מצב הדיאגרמה. מצב תרשים מספק חוויה מבוססת-מסוף לבחירת משתני הקלט והפלט ולביצוע טרנספורמציות בכלי לעריכת טרנספורמציות של נתונים.

      במצב Diagram, אפשר לבצע מיפוי נתונים בין משתני קלט ופלט באופן חזותי.

    • כדי לבצע טרנספורמציות של נתונים בשילוב באמצעות כתיבה, עריכה והערכה של תבניות Jsonnet מותאמות אישית, עוברים אל מצב התסריט על ידי לחיצה על תסריט. אפשר להשתמש במצב Script אם יש לכם דרישות מורכבות להמרת נתונים ואם אתם רוצים להשתמש בפונקציות Jsonnet.

      יופיע הכלי לעריכת Data Transformer עם דוגמה לתבנית Jsonnet שמופיעה כהערה כברירת מחדל. כותבים את קוד ה-Jsonnet וסוגרים את העורך כשמסיימים. כל השינויים יישמרו אוטומטית.

    לשלבים מפורטים להוספת מיפוי, אפשר לעיין במאמר הוספת מיפוי.

הוספת מיפוי

כדי להוסיף מיפוי, אפשר להשתמש במצב תרשים או במצב סקריפט.

שימוש במצב דיאגרמה

מצב תרשים מספק חוויה מבוססת-מסוף לבחירת משתני הקלט והפלט ולביצוע טרנספורמציות בכלי לעריכת טרנספורמציות של נתונים. כדי להוסיף מיפוי באמצעות מצב דיאגרמה:

  1. בחלונית ההגדרות של המשימה Data Transformer, לוחצים על Open Data Transformer Editor (פתיחת הכלי לעריכת Data Transformer).

    מצב התרשים פתוח כברירת מחדל.

    תמונה שבה מוצג מצב התרשים תמונה שבה מוצג מצב התרשים

  2. כדי להוסיף את משתנה הקלט למיפוי, לוחצים על + הוספת קלט. מופיעה תיבת הדו-שיח Choose Input Variable or Value (בחירת משתנה או ערך קלט). הכרטיסייה משתנה מסומנת כברירת מחדל.

    תמונה שבה מוצגת תיבת הדו-שיח להוספת קלט תמונה שבה מוצגת תיבת הדו-שיח להוספת קלט

    לאחר מכן, מבצעים את הפעולות הבאות:

    1. ברשימה Select Variable(s)(בחירת משתנים), בוחרים את משתני הקלט. אם רוצים ליצור משתנה חדש, לוחצים על + הוספת משתנה חדש.
    2. לוחצים על שליחה.

    אם רוצים להוסיף קבוע, לוחצים על הכרטיסייה קבוע.

    בניגוד למשתנים, לקבועים אין גישה למשימות או לטריגרים אחרים בשילוב, והם מוגבלים לשימוש רק במשימה Data Transformation שבה הם נוצרו. לדוגמה, אפשר להשתמש בקבועים כדי להוסיף תווי הפרדה או כדי למפות ערך קבוע למשתנה.

    תמונה שמציגה את תיבת הדו-שיח להוספת קבוע תמונה שמציגה את תיבת הדו-שיח להוספת קבוע

    לאחר מכן, מבצעים את הפעולות הבאות:

    1. בשדה מזהה קבוע, מזינים את שם הקבוע.
    2. ברשימה סוג נתונים, בוחרים אחד מסוגי הנתונים הבאים:
      • מחרוזת
      • בוליאני
      • מספר
    3. בשדה Enter the constant value (הזנת ערך הקבוע), מזינים את הערך.
    4. לוחצים על שליחה.
  3. כדי להוסיף את משתנה הפלט למיפוי, לוחצים על + הוספת פלט ובוחרים את משתנה הפלט או יוצרים משתנה חדש.

    תמונה שבה מוצגת תיבת הדו-שיח להוספת פלט תמונה שבה מוצגת תיבת הדו-שיח להוספת פלט

  4. מגדירים את המיפוי:
    1. מוסיפים מיפוי ממשתנה או משדה המשנה שלו מהרשימה משתנים בקטע קלט למשתנה או לשדה המשנה שלו מהרשימה משתנים בקטע פלט.

      תמונה שרואים בה דיאגרמה של מצב העיצוב של הכלי לשינוי נתונים תמונה שרואים בה דיאגרמה של מצב העיצוב של הכלי לשינוי נתונים

    2. כדי להוסיף פונקציית טרנספורמציה, מעבירים את העכבר מעל קו המיפוי ולוחצים על כדי להוסיף את פונקציית טרנספורמציית הנתונים. הלחצן Transformation מופיע באזור העריכה.

      אפשר גם ללחוץ על הוספת פונקציית טרנספורמציה כדי להוסיף את פונקציית הטרנספורמציה.

      לאחר מכן, מבצעים את הפעולות הבאות:

      1. כדי להוסיף את הטרנספורמציה, לוחצים על הלחצן טרנספורמציה. החלונית Transformation (שינוי) מופיעה.

        תמונה שבה מוצגת טרנספורמציה של נתונים תמונה שבה מוצגת טרנספורמציה של נתונים

        לאחר מכן, מבצעים את הפעולות הבאות:

        1. לוחצים על + הוספת פעולה. מופיעה תיבת הדו-שיח Add Operation (הוספת פעולה).

          תמונה שמציגה פעולות של טרנספורמציה של נתונים תמונה שבה רואים פעולות של טרנספורמציה של נתונים

        2. בשדה פעולות חיפוש, מזינים את הפעולה שרוצים להוסיף. אפשר גם לבחור את הפעולה מתוך רשימת הפעולות.

          אם רוצים להוסיף פעולה מותאמת אישית, בוחרים באפשרות ביטוי פונקציה ומזינים את ביטוי הפונקציה. כדי להעתיק את המשתנים, לוחצים על ברשימה משתנים ומדביקים אותם בכלי לעריכת ביטויים.

          תמונה שבה מוצג ביטוי של פונקציה תמונה שבה מוצג ביטוי של פונקציה

        3. לוחצים על סיום.
      2. בהתאם לפעולה, ממלאים את הפרטים הנדרשים. אפשר גם להוסיף כמה פעולות בהמרה. אם רוצים לבחור את התוצאה של הפעולה הקודמת בפעולה הבאה, בוחרים את המשתנה Previous Operation Result (תוצאת הפעולה הקודמת) כמו שמוצג בתמונה הבאה:

        תמונה שמוצגות בה כמה פעולות טרנספורמציה תמונה שמוצגות בה כמה פעולות טרנספורמציה

      3. כדי להסיר את הפעולה, לוחצים על מחיקה לצד הפעולה.
    3. אפשר גם להוסיף מיפוי מכמה משתני קלט לפונקציית טרנספורמציה. עם זאת, אפשר להוסיף רק מיפוי אחד לכל משתנה פלט מפונקציית טרנספורמציה.
    4. כדי להסיר את משתני הקלט והפלט, לוחצים על > מחיקה.
    5. אפשר גם למחוק שורת מיפוי או טרנספורמציה. כדי לעשות זאת, בוחרים את המיפוי ומקישים על Delete.
    6. אחרי שמשלימים את המיפוי, סוגרים את הכלי למיפוי נתונים. כל השינויים יישמרו אוטומטית.

    דוגמה: מיפוי של מערכת ישנה לניהול פניות לתמיכה בנושא באגים למערכת חדשה לניהול פניות לתמיכה

    נניח שיש לכם מערכת ישנה לניהול פניות לתמיכה שאתם רוצים להעביר למערכת חדשה. אפשר להשתמש באפשרות דיאגרמה כדי למפות את השדות מהמערכת הישנה לחדשה, כמו שמוצג בתמונה הבאה:

    תמונה שרואים בה דיאגרמה של מצב העיצוב של הכלי לשינוי נתונים תמונה שרואים בה דיאגרמה של מצב העיצוב של הכלי לשינוי נתונים

    כדי להוסיף ערך קבוע לאחד מהשדות, לוחצים על הוספת קלט ומוסיפים קבוע חדש. אפשר למפות את הקבוע החדש שנוסף מהקטע קלט לשדה בקטע פלט.

    תמונה שבה רואים את הכלי לשינוי נתונים מוסיף קבוע תמונה שבה רואים את הכלי לשינוי נתונים מוסיף קבוע

    כדי להוסיף את הטרנספורמציה לשדות שלא ניתן למפות ישירות, לוחצים על טרנספורמציה ומוסיפים את פעולת הטרנספורמציה על ידי לחיצה על + הוספת פעולה:

    תמונה שבה רואים את הכלי לשינוי נתונים מוסיף טרנספורמציה תמונה שבה רואים את הכלי לשינוי נתונים מוסיף טרנספורמציה

    אחרי שההמרה תושלם, תוכלו להפעיל את השילוב כדי למפות את מערכת הכרטיסים הישנה למערכת החדשה.

    שימוש במצב סקריפט

    אתם יכולים להשתמש בהכלי לעריכת סקריפטים של הכלי לשינוי נתונים כדי לגשת למשתני השילוב, לבצע הקצאות של משתנים ולהוסיף או לשנות משתנים בשילוב. הכלי לעריכת סקריפטים של Data Transformer כולל את התכונות הבאות שיעזרו לכם לכתוב סקריפטים:

    • הדגשת תחביר/קוד, הזחה ומספור שורות כדי שיהיה קל יותר לקרוא את הקוד ולזהות את המבנה שלו.
    • מפה קטנה שמציגה סקירה כללית של קוד הסקריפט ועוזרת בניווט מהיר.
    • אפשרות לחיצה להעתקה כדי להעתיק את קוד הסקריפט ללוח.

    כדי לפתוח את העורך, עוברים לחלונית ההגדרות של המשימה Data Transformer Script ולוחצים על Open Data Transformer Script Editor (פתיחת העורך של סקריפט Data Transformer).

    הכלי לעריכת סקריפטים של Data Transformer מייבא כברירת מחדל את functions, ספרייה מותאמת אישית מוגדרת מראש שמכילה קבוצה של פונקציות Jsonnet למיפוי נתונים ב-Application Integration. מידע נוסף על הפונקציות הזמינות בהתאמה אישית מופיע במאמר פונקציות של הכלי לשינוי נתונים.

    בתמונה הבאה מוצג פריסה לדוגמה של הכלי לעריכת סקריפטים של הכלי לשינוי נתונים:

    תמונה שבה מוצג הכלי לעריכת סקריפטים של הכלי לשינוי נתונים תמונה שבה מוצג הכלי לעריכת סקריפטים של כלי לשינוי נתונים

    גישה למשתני שילוב

    כדי לקרוא משתנה שילוב קיים מהכלי לעריכת סקריפטים של Data Transformer, משתמשים בפונקציה extVar מהספרייה המוגדרת מראש functions.

    דוגמה: קריאה ועדכון של משתני אינטגרציה קיימים באמצעות הכלי לעריכת סקריפטים של Data Transformer.

    סקריפט Jsonnet

    local f = import "functions"; // Import predefined Data Transformer function library

local str1 = f.extVar("inputVar1"); // Access integration input variable "Inputstr1" with value "Hello"
local str2 = f.extVar("inputVar2"); // Access integration input variable "Inputstr2" with value "World"
{
  OutputVar: str1 + " " + str2 + "!", // Write to Jsonnet output variable "OutputVar"
  "output-str-var": str1 + " Integration " + str2 + "!", // Write to Jsonnet output variable "output-str-var"
}

    תשובה

    תמונה שבה מוצגת דוגמה לסקריפט של כלי לשינוי נתונים תמונה שבה מוצגת דוגמה לסקריפט של כלי לשינוי נתונים

    מאמרי עזרה על השימוש ב-Jsonnet

    ‫Jsonnet היא שפה פונקציונלית טהורה, והתוכניות שלה מורכבות מביטויים. מידע על אופן יצירת הביטויים האלה זמין במאמר ביטויי Jsonnet.

    אסטרטגיה לטיפול בשגיאות

    אסטרטגיה לטיפול בשגיאות במשימה מציינת את הפעולה שיש לבצע אם המשימה נכשלת בגלל שגיאה זמנית. מידע על שימוש באסטרטגיה לטיפול בשגיאות ועל סוגים שונים של אסטרטגיות לטיפול בשגיאות זמין במאמר אסטרטגיות לטיפול בשגיאות.

    מכסות ומגבלות

    מידע על מכסות השימוש שחלות על המשימה Data Transformer זמין במאמר מכסות שימוש.

    המאמרים הבאים