הגדרת יעדים לנתונים

במדריך הזה מוסבר איך להגדיר מאגרי נתונים ב-Manufacturing Data Engine‏ (MDE).

MDE תומך בחמישה יעדי נתונים לרשומות:

  1. BigQuery
  2. Cloud Storage
  3. Bigtable and Federation API
  4. Pub/Sub (פורמט JSON)
  5. ‫Pub/Sub (פורמט Protobuf)

שמירת ההקלטה

הדוגמה הבאה מראה איך אפשר להגדיר מאגרי מידע נפרדים כשיוצרים סוג:

REST

POST /configuration/v1/types

{
  "archetype": "<ARCHETYPE NAME>",
  "name": "<TYPE_NAME>",
  "metadataBuckets": [
    {
      "bucketName": "<BUCKET_NAME>",
      "version": "<BUCKET_VERSION>"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ARCHETYPE: שם הארכיטיפ. אחת מהאפשרויות הבאות: DISCRETE_DATA_SERIES, CLUSTERED_DISCRETE_DATA_SERIES, NUMERIC_DATA_SERIES, CLUSTERED_NUMERIC_DATA_SERIES, CONTINUOUS_DATA_SERIES, CLUSTERED_CONTINUOUS_DATA_SERIES.
  • ‫TYPE_NAME: השם של הסוג שרוצים ליצור.
  • ‫BUCKET_NAME: שם הקטגוריה שרוצים לשייך לסוג הזה.
  • ‫BUCKET_VERSION: הגרסה של הקטגוריה שאליה יש לשייך את הסוג הזה.

המסוף

  1. פותחים את הקטע CLOUD TAGS בממשק האינטרנט כדי לשנות את הגדרת ההתמדה של Record עבור Tag מסוים:

    הקטע Tags (תגים) – רשימת תגים

  2. לוחצים על סמל הפעולות לצד התג שרוצים לשנות את הגדרות השמירה שלו.

  3. בוחרים באפשרות הצגה / עריכה. תופיע החלונית הצדדית הבאה:

    הקטע Tags (תגים) – עריכת תג

  4. מרחיבים את הקטע Storage Settings (הגדרות אחסון) ומופיעה רשימה של כל מקורות הנתונים הזמינים לשימור, עם לחצן הפעלה/השבתה לצד כל אחד מהם:

    הקטע Tags (תגים) – Edit tag (עריכת תג) – Storage Specs (מפרטי אחסון)

  5. בוחרים את שכבות ה-DataLayer שפעילות לתג. כל הרשומות שנקלטו עבור התג הזה יישמרו בכל מאגרי המידע שנבחרו.

באופן דומה, אפשר להגדיר יעדים כשיוצרים גרסה חדשה בסוג קיים, כמו בדוגמה הבאה:

REST

POST /configuration/v1/types/TYPE_NAME/versions

{
  "metadataBuckets": [
    {
      "bucketName": "EXISTING_BUCKET_NAME",
      "version": "EXISTING_BUCKET_VERSION"
    },
    {
      "bucketName": "NEW_BUCKET_NAME",
      "version": "NEW_BUCKET_VERSION"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "true"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫TYPE_NAME: השם של הסוג שעבורו נוצרת גרסה חדשה
  • ‫EXISTING_BUCKET_NAME: שם הקטגוריה הקיימת שכבר משויכת לסוג הזה.
  • ‫EXISTING_BUCKET_VERSION: גרסת הבאקט הקיים שכבר משויכת לסוג הזה.
  • ‫NEW_BUCKET_NAME: שם הקטגוריה החדשה.
  • ‫NEW_BUCKET_VERSION: הגרסה של הקטגוריה החדשה.

המסוף

  1. פותחים את הקטע TYPES (סוגים) בתפריט העליון כדי לשנות את הגדרות האחסון ברמה של Type (סוג):

    האוסף Types – רשימה של סוגים

  2. לוחצים על סמל הפעולות של הסוג שרוצים לערוך ובוחרים באפשרות הצגה / עריכה. תפריט הצד עריכת גרסת סוג מוצג.

  3. מרחיבים את החלונית הגדרות אחסון כדי לגשת להגדרות השמירה של הסוג:

    קטע הסוגים – יצירת סוג – הגדרות אחסון

  4. בוחרים כל יעד שבו הרשומות של התגים ששייכים לסוג הזה יישמרו כברירת מחדל. התג מאמץ את הגדרת האחסון כשיוצרים אותו. אפשר לשנות את הגדרות האחסון בכל שלב ברמת התג.

הפיכת מופע של מטא-נתונים למוחשי

אפשר להגדיר את יצירת המופעים של המטא-נתונים לכל יעד בנפרד. מידע נוסף זמין במאמר בנושא יצירת מופעים.

שינוי מברירת המחדל של מפרטי האחסון של גרסאות סוגים בתגים ספציפיים

אפשר גם לשנות את הגדרות ברירת המחדל של האחסון לגרסה של סוג תג מסוים עבור תגים ספציפיים. כלומר, הגדרות התג של גרסה מסוימת של סוג מסוים מבטלות את הגדרות ברירת המחדל של אותה גרסה של אותו סוג.

שיקולים ספציפיים ליעד

בקטעים הבאים מפורטים כמה שיקולים שרלוונטיים ליעד מסוים:

BigQuery

כשיוצרים סוג נתונים, כלי MDE יוצר אוטומטית טבלה חדשה בשבילו במערך הנתונים mde_data. אפשר להגדיר אם הרשומות יישמרו בטבלה הזו על ידי הפעלת ה-sink של BigQuery בגרסת סוג או בתג של גרסת סוג.

Bigtable Federation API

אם הקציתם אשכול Bigtable, אתם יכולים להגדיר אם הרשומות יישמרו ב-Bigtable כדי שתוכלו לגשת אליהן באמצעות Federation API.

מכונות מטא-נתונים של Cloud לא נשמרות בנפרד ב-Bigtable. אם אתם צריכים לכלול מטא-נתונים של Cloud ברשומות שאתם מאחזרים מ-Bigtable באמצעות Federation API, אתם צריכים להגדיר את הערך של materializeCloudMetadata ל-true ביעד Bigtable.

Cloud Storage

הרשומות מאוחסנות בקטגוריה של Cloud Storage שנקראת <project_id>-gcs-ingestion בקבצי AVRO באמצעות חלוקה למחיצות של Hive, עם חלון של עשר דקות ועשר מחיצות לכל חלון. הרשומות מקובצות בתיקיות לפי סוג. מופעים של מטא-נתונים של Cloud לא נשלחים אל יעד Cloud Storage באופן עצמאי. אם אתם צריכים מטא-נתונים של Cloud ברשומות ב-Cloud Storage, אתם צריכים להגדיר את הערך של materializeCloudMetadata ל-true עבור יעד Cloud Storage.

‫Pub/Sub: ‏ Proto ו-JSON

ל-MDE יש שני סוגים של יעד Pub/Sub – אחד שמספק רשומות בפורמט נתונים JSON ואחד שמספק הודעות בפורמט נתונים Protobuf. בקטע ההפניות מפורטות סכימות הנתונים הרלוונטיות.

זרם הרשומות בפורמט JSON נשלח לנושא Pub/Sub‏ mde-tag-stream-json, וזרם הרשומות בפורמט Protobuf נשלח אל mde-tag-stream-proto. מופעי מטא-נתונים של Cloud לא נשלחים לנושאי Pub/Sub המתאימים. אם אתם צריכים מטא-נתונים של Cloud ברשומות שנשלחות ל-Pub/Sub, אתם צריכים להגדיר את הערך של materializeCloudMetadata ל-true עבור יעד Pub/Sub. אם לא מפעילים אותם באופן מפורש בסוג מסוים, יעד Pub/Sub מושבת כברירת מחדל.

שמירה של מטא-נתונים, יומנים ונתוני הגדרה

MDE תמיד שומרת את מופעי המטא-נתונים, היומנים ונתוני ההגדרות במערכי הנתונים mde_dimension ו-mde_system ב-BigQuery. בנוסף, MDE תמיד שומרת את הודעות המקור הגולמיות ב-Cloud Storage. אי אפשר להשבית את השמירה של הנתונים האלה.