מיפוי נתונים

נתונים ארגוניים עשויים להיות מאוחסנים במקורות ובפורמטים שונים, ולכן קשה לשלב אותם במודל נתונים מאוחד או בצינור נתונים. מיפוי נתונים הוא תהליך של חילוץ נתונים ממקורות שונים והפיכתם לסטנדרטיים, כדי ליצור קשר ביניהם לבין שדות נתוני היעד הרלוונטיים ביעד. דוגמאות לשימוש במיפוי נתונים בשילוב:

  • חילוץ שדות ממבנה נתונים מורכב כמו JSON.
  • מיפוי של מקור הנתונים לסכימת היעד.
  • טרנספורמציה של נתונים באמצעות פונקציות טרנספורמציה.
  • יצירת ערכי פלט ואחסון שלהם או שימוש בהם כמשתני שילוב.

בעזרת Application Integration אתם יכולים לבצע מיפוי נתונים באמצעות המשימות הבאות:

משימה של כלי טרנספורמציה של נתונים

המשימה Data Transformer היא תכונה למיפוי נתונים שמבוססת על מנוע תבניות וזמינה ב-Application Integration. הוא משתמש בשפת ההגדרה Jsonnet של Google כדי ליצור ולערוך תבניות Jsonnet שמגדירות את יחסי המיפוי עבור משתני שילוב ספציפיים של מקור ויעד בשילוב. המשימה Data Transformer מספקת גם בד ציור למיפוי חזותי (מצב דיאגרמה) כדי לבצע הקצאות ומיפויים של נתונים בשילובים.

מצב דיאגרמה

מצב התרשים מספק קנבס חזותי שמכיל את רכיבי השילוב הבאים:

  • קלט. הצגה של משתני הקלט של טרנספורמציית הנתונים. המקור יכול להיות משתנים או קבועים. כדי להקצות משתנה קלט, אפשר לבחור משתנה קיים או ליצור משתנה חדש. כדי למפות את המשתנים האלה עם משתני הפלט הקשורים, לוחצים על רכיב הקלט וגוררים את הקו כדי למפות אותו עם משתנה הפלט הקשור.
  • פלט. המשתנים שמוצגים הם משתני הפלט של טרנספורמציית הנתונים. אפשר להשתמש במשתני יעד למיפוי בשורות קלט עוקבות. כדי להקצות משתנה פלט, אפשר לבחור משתנה קיים או ליצור משתנה חדש.
  • לוח הציור. לוח הקנבס משמש למיפוי חזותי של משתני הקלט והפלט.

מידע נוסף על משתנים ב-Application Integration זמין במאמר שימוש במשתנים ב-Application Integration.

בתמונה הבאה מוצגת פריסה לדוגמה של מצב הדיאגרמה של הכלי לשינוי נתונים:

תמונה שרואים בה דיאגרמה של כלי לטרנספורמציה של נתונים תמונה שרואים בה דיאגרמה של כלי לטרנספורמציה של נתונים

פעולות טרנספורמציה

אתם יכולים להשתמש בפעולות ההמרה המוגדרות מראש כדי להמיר את נתוני המיפוי ולשנות אותם לפורמט סטנדרטי בשילוב. לפעולות טרנספורמציה יכולים להיות פרמטר קלט אחד או יותר, כאשר כל פרמטר יכול להכיל ערך מילולי או משתנה. אפשר להשתמש בכמה פונקציות מיפוי למקור קלט יחיד, וכך ליצור ביטוי להמרת מיפוי.

סוג הנתונים הסופי של מקור קלט מבוסס על סוג ההחזרה של ביטוי הטרנספורמציה שהוגדר בשורת הקלט של מיפוי הנתונים הרלוונטי.

מצב סקריפט

באמצעות הכלי לעריכת סקריפטים של Data Transformer והפונקציות הנתמכות של Data Transformer, אתם יכולים לכתוב לוגיקה מותאמת אישית למיפוי נתונים, לבצע הקצאות של משתנים ולהוסיף או לשנות משתני שילוב.

בתמונה הבאה מוצג פריסה לדוגמה של הכלי לעריכת סקריפטים של הכלי לשינוי נתונים:

תמונה שבה מוצג הכלי לעריכת סקריפטים של הכלי לשינוי נתונים תמונה שבה מוצג הכלי לעריכת סקריפטים של הכלי לשינוי נתונים

במאמר Data Transformer task (המשימה Data Transformer) מוסבר איך להוסיף ולהגדיר את המשימה Data Transformer.

משימת מיפוי נתונים

המשימה מיפוי נתונים היא תכונה של Application Integration שמאפשרת לבצע מיפויים והקצאות של נתונים בשילובים שלכם. התכונה הזו לא דורשת כתיבת קוד ועם תכנות מינימלי, ומספקת בד ציור חזותי למיפוי – כלי לעריכת מיפוי נתונים. בנוסף, אפשר להשתמש בפונקציות המיפוי הנתמכות כדי להמיר את הנתונים למשתנים או לפורמטים משמעותיים, וכך להפוך אותם לזמינים למשימות או לטריגרים אחרים בשילוב.

בעזרת המשימה מיפוי נתונים, אפשר:

  • אפשר להשתמש בכלי לעריכת מיפוי נתונים כדי להמחיש ולהגדיר מיפוי משתנים למשתנים בודדים או למשתנים מקוננים.
  • המרת משתנים מסוג נתונים אחד לסוג נתונים אחר. המשימה מיפוי נתונים מאפשרת להחיל כמה פונקציות מיפוי (כולל פונקציות מקוננות) כדי לשנות את נתוני המשתנים.
מידע על הוספה והגדרה של המשימה מיפוי נתונים זמין במאמר המשימה 'מיפוי נתונים'.

הפריסה והעורך של מיפוי הנתונים

הכלי למיפוי נתונים מספק בד ציור חזותי שמכיל את רכיבי השילוב הבאים:

  • בחלונית משתנים מוצגים סוגי המשתנים השונים שזמינים לשילוב:
    • מקורות מידע. משתני הקלט של השילוב.
    • תשובות. משתני הפלט של השילוב.
    • משתנים מקומיים. משתנים שקיימים בהיקף השילוב.

    אם לא מופיעים משתנים, לוחצים על הוספה + כדי להגדיר משתנה חדש.

    לוחצים על (הרחבה) כדי להרחיב כל משתנה ולהציג את שדות המשנה הזמינים של אותו משתנה. כדי לחפש משתנה כלשהו או שדה משנה שלו מתוך רשימת המשתנים הזמינים, לוחצים על (חיפוש משתנים).

    מידע נוסף על משתנים ב-Application Integration זמין במאמר משתנים.

  • עמודת קלט: מציגה שורות של מיפוי קלט שמכילות את המקור של קלט מיפוי הנתונים. הפרמטר source יכול להיות ערך מילולי, פונקציית בסיס או משתנה קלט, עם פונקציות מיפוי. לוחצים על משתנה או ערך בשורה של מיפוי קלט כדי להוסיף מקור.
  • העמודה פלט: מציגה את שורות מיפוי הפלט שמכילות את משתני היעד הקשורים לשורת מיפוי הקלט הרלוונטית. אפשר להשתמש במשתני יעד למיפוי בשורות קלט עוקבות. כדי להקצות משתנה פלט, אפשר ליצור משתנה חדש או לגרור ולשחרר ישירות משתנה פלט קיים מהעמודה משתנים.
בתמונה הבאה מוצג פריסה לדוגמה של הכלי לעריכת מיפוי נתונים:

תמונה שמציגה את עורך מיפוי הנתונים תמונה שמציגה את עורך מיפוי הנתונים

פונקציות מיפוי

המשימה מיפוי נתונים מספקת מגוון פונקציות מיפוי מוגדרות מראש כדי לבצע טרנספורמציה של נתוני המיפוי באינטגרציה ולתקנן אותם. פונקציית מיפוי יכולה לכלול פרמטר קלט אחד או יותר, כאשר כל פרמטר יכול להכיל ערך מילולי, משתנה או פונקציית בסיס עם פונקציות מיפוי שהוחלו עליה. אפשר להשתמש בכמה פונקציות מיפוי למקור קלט יחיד, וכך ליצור ביטוי טרנספורמציה של מיפוי.

סוג הנתונים הסופי של מקור קלט מבוסס על סוג ההחזרה של ביטוי הטרנספורמציה שהוגדר בשורת הקלט של מיפוי הנתונים הרלוונטי. בכלי לעריכת מיפוי נתונים מוצגת שגיאת אימות בשורת הקלט של מיפוי הנתונים הרלוונטי אם סוג ההחזרה של מקור הקלט לא תואם לסוג ההחזרה של משתנה היעד המתאים במיפוי הפלט.

טרנספורמציה של ביטוי

ביטוי טרנספורמציה הוא שילוב של כמה פונקציות מיפוי שמשורשרות יחד בסדרה או במבנה מקונן. באמצעות הכלי לעריכת מיפוי נתונים, אפשר להוסיף, לשנות או להסיר בקלות פונקציה או פרמטר של פונקציה בביטוי טרנספורמציה מוגדר. אם ביטוי ההמרה שהוגדר לא תקין, בכלי לעריכת מיפוי נתונים מוצגת שגיאת אימות לצד הפונקציה או פרמטר הפונקציה שגורמים לשגיאה בביטוי. כדי לראות את הודעת השגיאה המלאה, מעבירים את הסמן מעל סמל שגיאת האימות .

בתמונה הבאה מוצגת מיפוי לדוגמה עם שגיאות אימות בכלי מיפוי הנתונים:

תמונה שמוצגת בה שגיאה באימות מיפוי הנתונים תמונה שמוצגת בה שגיאה באימות מיפוי הנתונים

מידע נוסף על הגדרת מיפוי במשימה מיפוי נתונים זמין במאמר הוספת מיפוי.

מידע על פונקציות המיפוי המוגדרות מראש שנתמכות ב-Application Integration זמין במאמר סוגי נתונים ופונקציות מיפוי נתמכים.

סדר המיפוי

מיפויי הנתונים שצוינו בכלי לעריכת מיפוי נתונים מופעלים ברצף מלמעלה למטה. לדוגמה, בתמונה שלמעלה, Num1 ממופה ל-Num1ToInt בשורה הראשונה, ולכן Num1ToInt זמין למיפוי בשורות הבאות.

מכסות ומגבלות

מידע על מכסות ומגבלות זמין במאמר מכסות ומגבלות.

המאמרים הבאים