משימת מיפוי נתונים

המשימה מיפוי נתונים מאפשרת להקצות משתנים בשילוב, לקבל ולהגדיר מאפיינים של אובייקטים מסוג JSON ולהחיל פונקציות טרנספורמציה מקוננות על ערכים. המשתנים יכולים להיות משתני שילוב או משתני משימה.

לדוגמה, אפשר להקצות ערכים ממשתנה שילוב X למשתנה משימה Y או ממשתנה משימה Y למשתנה שילוב X. מידע נוסף על משתנים ב-Application Integration זמין במאמר שימוש במשתנים ב-Application Integration.

הגדרת המשימה 'מיפוי נתונים'

כדי להגדיר משימת מיפוי נתונים:

1. נכנסים לדף Application Integration במסוף Google Cloud .

   מעבר אל Application Integration

2. בתפריט הניווט, לוחצים על Integrations (שילובים).

   מוצג הדף Integrations (שילובים) עם רשימה של כל השילובים שזמינים בפרויקט בענן של Google.

3. בוחרים שילוב קיים או לוחצים על יצירת שילוב כדי ליצור שילוב חדש.

   אם יוצרים שילוב חדש:

   1. מזינים שם ותיאור בחלונית יצירת שילוב.
   2. בוחרים אזור לשילוב.
      הערה: בתפריט הנפתח Regions (אזורים) מופיעים רק האזורים שהוקצו בפרויקט בענן שלכם ב-Google Cloud. כדי להקצות אזור חדש, לוחצים על הפעלת אזור. מידע נוסף מופיע במאמר בנושא הפעלת אזור חדש.
   3. בוחרים חשבון שירות לאינטגרציה. אפשר לשנות או לעדכן את פרטי חשבון השירות של שילוב בכל שלב מחלונית סיכום השילוב בסרגל הכלים של השילוב.
      הערה: האפשרות לבחור חשבון שירות מוצגת רק אם הפעלתם את האפשרות 'שליטה בשילובים' באזור שנבחר.
   4. לוחצים על יצירה. השילוב החדש שנוצר ייפתח בכלי השילובים.

4. בסרגל הניווט של כלי העריכה של השילוב, לוחצים על משימות כדי לראות את רשימת המשימות והמחברים הזמינים.
5. לוחצים על הרכיב מיפוי נתונים וממקמים אותו בכלי לעריכת שילובים.
6. לוחצים על הרכיב מיפוי נתונים בכלי העיצוב כדי להציג את חלונית ההגדרות של המשימה מיפוי נתונים.
7. לוחצים על פתיחת הכלי לעריכת מיפוי נתונים כדי לראות את ערכי ברירת המחדל של המשימה ולהוסיף מיפוי חדש. לשלבים מפורטים להוספת מיפוי, אפשר לעיין במאמר הוספת מיפוי.

   מידע נוסף על הפריסה של כלי מיפוי הנתונים זמין במאמר סקירה כללית על מיפוי נתונים.

הוספת מיפוי

כדי להוסיף מיפוי:

1. בחלונית ההגדרות של המשימה 'מיפוי נתונים', לוחצים על פתיחת הכלי לעריכת מיפוי נתונים.
2. מגדירים את המיפוי קלט:
   קלט: המקור של קלט מיפוי הנתונים. הערך של המקור יכול להיות ערך מילולי, פונקציית בסיס או משתנה קלט, עם פונקציות מיפוי.
   1. גוררים משתנה או שדה משנה שלו מהרשימה משתנים לשורה קלט. כדי לראות את שדות המשנה הזמינים של משתנה, לוחצים על (הרחבה) לצד המשתנה ברשימה משתנים.
   2. לחלופין, בשורה Input (קלט), לוחצים על Variable or Value (משתנה או ערך) ומבצעים את הפעולות הבאות:
      • בוחרים באפשרות משתנה כדי לחפש משתנה קיים ולהשתמש בו. כדי ליצור משתנה חדש, לוחצים על + הוספת משתנה חדש ומזינים את השם ואת סוג הנתונים של המשתנה החדש.
      • בוחרים באפשרות ערך כדי להזין ערך מילולי מסוג string,‏ integer,‏ double או Boolean).
      • בוחרים באפשרות פונקציה כדי לחפש ולהשתמש בפונקציית בסיס.

        פונקציית בסיס משמשת לאחזור או ליצירה של ערכים במהלך ההפעלה של שילוב. לדוגמה, יצירת UUID אקראי או אחזור האזור הנוכחי של השילוב. מידע על פונקציות הבסיס הנתמכות זמין במאמר פונקציות בסיס נתמכות.

      • לוחצים על Save.
   3. לוחצים על + (הוספת פונקציה) בכל משתנה קלט, ערך או פונקציית בסיס בשורה קלט כדי להוסיף פונקציית מיפוי מהרשימה של פונקציות המיפוי הזמינות. פונקציית מיפוי יכולה לכלול פרמטר אחד או יותר. לכל פרמטר יכול להיות ערך, משתנה או פונקציית בסיס, ואחריהם שרשרת של פונקציות מיפוי.
      • כדי להוסיף פונקציה מקוננת, לוחצים על + (הוספת פונקציה) לצד הפרמטר של הפונקציה. באופן דומה, כדי להסיר או למחוק את הפונקציה שנוספה לאחרונה, לוחצים על - (מחיקת הפונקציה הקודמת).
      • כדי להוסיף, להסיר או לשנות פונקציה בין ביטוי מיפוי, לוחצים על פונקציה ובוחרים באפשרות הוספת פונקציה, הסרת פונקציה או שינוי פונקציה מהתפריט הנפתח.

      מידע נוסף על פונקציות מיפוי זמין במאמר פונקציות מיפוי.

      מידע על פונקציות המיפוי הנתמכות מופיע במאמר סוגי נתונים נתמכים ופונקציות מיפוי.

      • כדי להסיר משתנה בתוך ביטוי מיפוי, לוחצים על (הסרה) לצד שורת המשתנה.
      • כדי להסיר את כל השורה קלט, לוחצים על (ניקוי) בשורה.
3. מגדירים את המיפוי פלט:
   פלט: משתנה היעד של פלט מיפוי הנתונים. אפשר להשתמש במשתני יעד למיפוי בשורות קלט עוקבות.
   1. גוררים משתנה מהרשימה משתנים לשורה פלט. אם המשתנה לא זמין, לוחצים על יצירת משתנה חדש כדי להגדיר את השם ואת סוג הנתונים של המשתנה החדש. אופציונלי, אפשר ללחוץ על משתנה הפלט ולבחור אם להשתמש במשתנה הזה כפלט של השילוב, או כקלט לשילוב אחר.
   2. כדי להסיר את משתנה הפלט, לוחצים על (ניקוי).
4. (אופציונלי) כדי למחוק שורת מיפוי, לוחצים על (מחיקת המיפוי הזה).
5. אחרי שמשלימים את המיפוי, סוגרים את הכלי למיפוי נתונים. כל השינויים יישמרו אוטומטית.

מיפוי הנתונים שהושלם זמין לצפייה בחלונית ההגדרות של המשימה מיפוי נתונים, כמו שמוצג בתמונה הבאה:

סוגי נתונים נתמכים ופונקציות מיפוי

Application Integration תומכת בסוגי הנתונים הבאים למשתנים במשימה מיפוי נתונים:

• מחרוזת ומערך מחרוזות
• מספר שלם ומערך של מספרים שלמים
• Double ו-Double array
• ערך בוליאני ומערך בוליאני
• JSON

בטבלה הבאה מפורטות פונקציות מיפוי הנתונים שזמינות לכל אחד מסוגי הנתונים.

סוג נתונים	פונקציות מיפוי נתמכות
בוליאני	‫AND, EQUALS, NAND, NOR, NOT, OR, TO_JSON, TO_STRING, XNOR, XOR
מערך בוליאני	‫APPEND, APPEND_ALL, CONTAINS, FILTER, FOR_EACH, GET, REMOVE, REMOVE_AT, SET, SIZE, TO_JSON, TO_SET
כפול	‫ADD, DIVIDE, CEIL, EQUALS, EXPONENT, GREATER_THAN, GREATER_THAN_EQUAL_TO, FLOOR, LESS_THAN, LESS_THAN_EQUAL_TO, MOD, MULTIPLY, ROUND, SUBTRACT, TO_JSON, TO_STRING
מערך כפול	APPEND, APPEND_ALL, AVG, CONTAINS, FILTER, FOR_EACH, GET, MAX, MIN, REMOVE, REMOVE_AT, SET, SIZE, SUM, TO_JSON, TO_SET
מספר שלם	‫ADD, DIVIDE, EPOCH_TO_HUMAN_READABLE_TIME, EQUALS, EXPONENT, GREATER_THAN, GREATER_THAN_EQUAL_TO, LESS_THAN, LESS_THAN_EQUAL_TO, MOD, MULTIPLY, SUBTRACT, TO_DOUBLE, TO_JSON, TO_STRING
מערך של מספרים שלמים	APPEND, APPEND_ALL, AVG, CONTAINS, FILTER, FOR_EACH, GET, MAX, MIN, REMOVE, REMOVE_AT, SET, SIZE, SUM, TO_JSON, TO_SET
JSON	APPEND_ELEMENT, FLATTEN, FILTER, FOR_EACH, GET_ELEMENT, GET_PROPERTY, MERGE, REMOVE_PROPERTY, RESOLVE_TEMPLATE, SET_PROPERTY, SIZE, TO_BOOLEAN, TO_BOOLEAN_ARRAY, TO_DOUBLE, TO_DOUBLE_ARRAY, TO_INT, TO_INT_ARRAY, TO_STRING, TO_STRING_ARRAY
String	CONCAT, CONTAINS, DECODE_BASE64_STRING, EQUALS, EQUALS_IGNORE_CASE, LENGTH, REPLACE_ALL, RESOLVE_TEMPLATE, SPLIT, SUBSTRING, TO_BASE_64, TO_BOOLEAN, TO_DOUBLE, TO_INT, TO_JSON, TO_LOWERCASE, TO_UPPERCASE
מערך מחרוזות	‫APPEND, APPEND_ALL, CONTAINS, FILTER, FOR_EACH, GET, REMOVE, REMOVE_AT, SET, SIZE, TO_JSON, TO_SET

מידע נוסף על כל אחת מהפונקציות למיפוי נתונים זמין במאמר חומר עזר בנושא פונקציות למיפוי נתונים.

פונקציות בסיס נתמכות

בטבלה הבאה מפורטות פונקציות הבסיס למיפוי נתונים שזמינות:

סוג נתונים	פונקציות בסיס נתמכות
מספר שלם	NOW_IN_MILLIS
מערך של מספרים שלמים	INT_LIST
String	GENERATE_UUID, GET_EXECUTION_ID, GET_INTEGRATION_NAME, GET_INTEGRATION_REGION, GET_PROJECT_ID

מידע נוסף על כל אחת מהפונקציות הבסיסיות למיפוי נתונים זמין במאמר הסבר על פונקציות למיפוי נתונים.

שיטות מומלצות

שימוש במשימה מיפוי נתונים יכול להיות דרך יעילה להמיר משתני מפתח ולהעביר אותם למשימות שונות בשילוב. הנה כמה טיפים שכדאי לזכור כשמפתחים את האינטגרציה:

• המיפויים מופעלים ברצף מלמעלה למטה. כלומר, אם משתנה הקלט A ממופה למשתנה הפלט B בשורה הראשונה, המשתנה B זמין למיפוי בשורות הבאות.
• בכל שורה, סוג הנתונים של השורה Input צריך להיות זהה לסוג הנתונים של השורה Output. כדי לבצע המרה בין סוגים, משתמשים בפונקציות טרנספורמציה כמו TO_STRING ו-TO_INT.
• אין הגבלות על אורך השרשור של טרנספורמציות. עם זאת, יכול להיות שיהיה קשה לבצע ניפוי באגים בהמרות גדולות שמשורשרות זו לזו. מומלץ לשמור על קריאות של טרנספורמציות הקלט ולפצל טרנספורמציות מורכבות למיפויים מרובים.
• אם מיפוי מסוים דורש ערך חלופי, צריך להגדיר ערך חלופי למיפוי. אם לא תספקו ערך ברירת מחדל, המיפוי יחזיר שגיאה כשערך הקלט או ההמרה יחזירו null.
• כשמוחקים משתנה, חשוב לוודא שמוחקים גם את כל המיפויים שמכילים אותו.

מידע על מכסות השימוש שחלות על המשימה מיפוי נתונים זמין במאמר מכסות שימוש.

לתשומת ליבכם

למשתני JSON, על סמך סכימת JSON, Application Integration מפרש את מאפיין הצאצא של המשתנה כסוג JSON במקרים הבאים:

• אם הסוג של מאפיין הצאצא מציין null. לדוגמה:

  {
    "properties": {
      "PersonID": {
        "type": [
          "double",
          "null"
        ],
        "readOnly": false
      }
    }
  }

• אם סוג מאפיין הצאצא מציין כמה סוגי נתונים. לדוגמה:

  {
    "properties": {
      "PersonID": {
        "type": [
          "integer",
          "string",
          "number"
        ],
        "readOnly": false
      }
    }
  }

במקרים כאלה, צריך להשתמש בפונקציות למיפוי נתונים כדי להמיר במפורש את משתני הצאצא לסוג הרצוי.

בדוגמאות הבאות מודגמים הסוגים השונים של הצהרות על מאפיינים, ומוסבר איך להשתמש בפונקציות של מיפוי נתונים כדי לקבל את הסוג הרצוי:

דוגמה 1

‫

{
  "type": "object",
  "properties": {
    "dbIntegers": {
      "type": "array",
      "items": {
        "type": [
          "integer",
          "null"
        ]
      }
    },
    "dbBooleans": {
      "type": [
        "array"
      ],
      "items": {
        "type": "boolean"
      }
    }
  }
}

Application Integration מפרש את dbIntegers כסוג JSON ואת dbBooleans כסוג BOOLEAN_ARRAY.

כדי להמיר dbIntegers, משתמשים ב:

dbIntegers.TO_INT_ARRAY()

דוגמה 2

‫

{
  "type": "object",
  "properties": {
    "dbId": {
      "type": [
        "number",
        "null"
      ],
      "readOnly": false
    },
    "dbStatus": {
      "type": [
        "boolean",
        "null"
      ],
      "readOnly": false
    }
  }
}

Application Integration מזהה את dbId ואת dbStatus כסוגי JSON, אבל dbId הוא פרמטר שיכול לקבל ערך כפול יחיד או ערך null, ו-dbStatus הוא פרמטר שיכול לקבל ערך בוליאני יחיד או ערך null.

כדי להמיר בין dbId לבין dbStatus, משתמשים בפקודה:

dbId.TO_DOUBLE()

dbStatus.TO_BOOLEAN()

דוגמה 3

{
  "type": "object",
  "properties": {
    "dbString": {
      "type": [
        "string"
      ],
      "readOnly": false
    }
  }
}

Application Integration מזהה את dbString כמחרוזת.

אסטרטגיה לטיפול בשגיאות

אסטרטגיה לטיפול בשגיאות במשימה מציינת את הפעולה שיש לבצע אם המשימה נכשלת בגלל שגיאה זמנית. מידע על שימוש באסטרטגיה לטיפול בשגיאות ועל סוגים שונים של אסטרטגיות לטיפול בשגיאות זמין במאמר אסטרטגיות לטיפול בשגיאות.

מכסות ומגבלות

מידע על מכסות ומגבלות זמין במאמר מכסות ומגבלות.

המאמרים הבאים

• מידע על כל המשימות והטריגרים
• מידע על פונקציות של משימת מיפוי נתונים
• איך בודקים ומפרסמים שילוב
• מידע נוסף על טיפול בשגיאות
• מידע נוסף על יומני ביצוע של שילובים