יצירת סוג

במאמר הזה נסביר איך ליצור סוג חדש ב-Manufacturing Data Engine‏ (MDE). אפשר ליצור סוג באמצעות ה-API של ההגדרה או ממשק האינטרנט של MDE.

לפני שמתחילים

בין הגדרות התצורה האחרות, ההגדרה types מאפשרת להגדיר את היקף ההקשר של רשומות מהסוג הזה – מאגרי המטא-נתונים שאפשר או שחובה להשתמש בהם כדי להוסיף הקשר לרשומות. אם רוצים לשייך מאגר מטא-נתונים לסוג, צריך קודם ליצור את המאגר. מידע נוסף זמין במאמר בנושא יצירת קטגוריה של מטא-נתונים.

שמות של סוגים

כשיוצרים סוג, השם שלו צריך להיות ייחודי בפריסת MDE. שמות של סוגים לא יכולים להכיל רווחים או תווים מיוחדים כמו &, @ או %.

יצירת סוג

כדי ליצור סוג עם שיוך של דלי מטא-נתונים אחד ומפרטי אחסון רגילים, אפשר להשתמש במסוף או בממשק של הקונסולה.

REST

מריצים את בקשת ה-API הבאה בארכיטקטורת REST:

POST /configuration/v1/types

{
  "archetype": "ARCHETYPE NAME",
  "name": "TYPE_NAME",
  "metadataBuckets": [
    {
      "bucketName": "BUCKET_NAME",
      "version": "BUCKET_VERSION"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "true"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

מחליפים את מה שכתוב בשדות הבאים:

• ‫ARCHETYPE: שם הארכיטיפ. אחת מהאפשרויות הבאות: DISCRETE_DATA_SERIES, CLUSTERED_DISCRETE_DATA_SERIES, NUMERIC_DATA_SERIES, CLUSTERED_NUMERIC_DATA_SERIES, CONTINUOUS_DATA_SERIES, CLUSTERED_CONTINUOUS_DATA_SERIES.
• ‫TYPE_NAME: השם של הסוג שרוצים ליצור.
• ‫BUCKET_NAME: שם הקטגוריה שרוצים לשייך לסוג הזה.
• ‫BUCKET_VERSION: הגרסה של הקטגוריה שאליה יש לשייך את הסוג הזה.

המסוף

1. כדי ליצור סוג חדש באמצעות המסוף, פותחים את הכרטיסייה סוג.

   

2. בקטע הזה מפורטים כל הסוגים שזמינים במופע MDE. הרשימה חושפת את ההגדרה הבסיסית של כל סוג, כולל:

• שם: שם ייחודי של הסוג. לכל הסוגים חייבים להיות שמות ייחודיים ושונים.
• Storage (אחסון): מפרטי האחסון הנוכחיים שמשויכים לסוג.
• ארכיטיפ: השם של הארכיטיפ שמגדיר את הסוג. כל סוג משויך לאב-טיפוס ייחודי. אי אפשר לשנות את השיוך לאב-טיפוס אחרי שיוצרים את הסוג.
• ‫Version: מספר הגרסה של הסוג. אפשר ליצור גרסאות של סוגים. בתצוגת ברירת המחדל של הרשימה הזו מוצגת רק הגרסה האחרונה שזמינה לסוג. אפשר להציג גרסה ישנה יותר על ידי ביטול הסימון בתיבת הסימון הצגת הגרסה האחרונה.
• מטא-נתונים: מוצג תג מקודד בצבעים לכל מאגר מטא-נתונים שמשויך לסוג. קטגוריות של מטא-נתונים של תגים נבדלות מקטגוריות של מטא-נתונים של רשומות באמצעות סמל ספציפי בתוך התג.
  • טרנספורמציות: מוצג תג לכל סוג של טרנספורמציה שמשויך לסוג.
• מופעל: מוצג הערך true אם הסוג מופעל, והערך false אם הוא לא מופעל. אפשר להפעיל או להשבית סוגים בכל שלב.
• פעיל: כשיוצרים סוגים, לוקח זמן מסוים להקצאת משאבים. בזמן שהסוגים מוקצים, הסטטוס הפעיל שלהם הוא false. כשהם מוכנים, הם מוצגים כ-true.

כשיוצרים כל סוג חדש, המערכת מקצה לו תשתית משלו לאחסון התגים והרשומות שלו בכל מאגרי הנתונים. לדוגמה, סוג חדש ייצור טבלה חדשה ב-BigQuery עם השם של הסוג, ויאכלס אוטומטית את הסכימה שתואמת לאב-טיפוס שלו. בזמן שהסוג מוקצה, הוא מופיע כ-Non Active.

1. כדי ליצור סוג חדש, לוחצים על הוספת סוג חדש. יופיע הטופס הבא:

   

2. כדי להגדיר סוג חדש, צריך לספק את השם שלו ואת האב-טיפוס שלו. אחרי שיוצרים את הסוג, אי אפשר לשנות את השם והארכיטיפ שלו. לכל הסוגים חייבים להיות שמות ייחודיים ושונים. צריך לבחור ארכיטיפים מתוך רשימת הארכיטיפים הזמינים. אי אפשר ליצור או לשנות ארכיטיפים קיימים כי הם חלק מהגדרות המערכת.

3. פותחים את הקטע Data Schema (סכימת נתונים) כדי להגדיר, אם צריך, את JSON schema שמגדיר את שדה הנתונים של הסוג החדש:

   

4. סכימת הנתונים צריכה להיות תקינה בפורמט JSON Schema, אחרת היא לא תתקבל. סכימת הנתונים הזו לא נאכפת כחלק מצינורות ההטמעה. בגרסאות עתידיות של MDE, אובייקט הנתונים בהודעות הנכנסות יאומת מול סכימת הנתונים של הסוג שלו. סכמת הנתונים מספקת תצוגה של מבנה שדה הנתונים שזמין במאגרי הנתונים השונים. צריך גם להגדיר כל מפרט של סכימת נתונים בהתאם למאפיינים של האב-טיפוס.

5. משלימים את ההגדרה של הסוג החדש על ידי הגדרת קבוצות המטא-נתונים שמשויכות לסוג. כדי לעשות את זה, פותחים את הקטע קבוצות מטא-נתונים:

   

6. כדי להוסיף קטגוריית מטא-נתונים לסוג, לוחצים על הוספה.

7. בוחרים מהרשימה של קטגוריות המטא-נתונים את אלה שרוצים להוסיף. מוצגת רק הגרסה האחרונה של הדליים האלה. אפשר לעדכן את הגרסאות של דלי המטא-נתונים מאוחר יותר וליצור גרסה חדשה של הסוג. אחרי הוספת הדליים, מופיע תג חדש בקטע Metadata (מטא-נתונים).

   

8. כדי להגדיר את הגדרות האחסון שמוגדרות כברירת מחדל, פותחים את הקטע הגדרות האחסון בטופס. בקטע הזה יש לחצן הפעלה/השבתה לכל יעד נתונים שזמין במופע הזה של MDE.

   

9. בוחרים כל יעד שבו התגים ששייכים לסוג הזה יישמרו כברירת מחדל. התגים מקבלים בירושה את הגדרת האחסון כשיוצרים אותם. אפשר לשנות את הגדרות האחסון בכל שלב ברמת התג.

10. כדי להשלים את ההגדרה של סוג חדש, פותחים את הקטע Transform & Connect ובוחרים את ההמרות שמשויכות לסוג הזה.

    

11. בוחרים את הטרנספורמציות שרוצים לשייך לסוג ומגדירים את הפרמטרים שלהן בהתאם להוראות הגדרת טרנספורמציה.

12. אחרי שמוסיפים את כל הפרמטרים, שומרים את הסוג החדש בלחיצה על יצירה. אם אחד מהפרמטרים שגויים, תוצג הודעת שגיאה. אם הפעולה הושלמה בהצלחה, תוצג הודעת אישור.