設定資料接收器
本指南說明如何在 Manufacturing Data Engine (MDE) 中設定資料接收器。
MDE 支援五個記錄資料接收器:
- BigQuery
- Cloud Storage
- Bigtable 和 Federation API
- Pub/Sub (JSON 格式)
- Pub/Sub (Protobuf 格式)
記錄持續性
以下範例說明如何在建立型別時設定個別接收器:
REST
POST /configuration/v1/types
{
"archetype": "<ARCHETYPE NAME>",
"name": "<TYPE_NAME>",
"metadataBuckets": [
{
"bucketName": "<BUCKET_NAME>",
"version": "<BUCKET_VERSION>"
}
],
"storageSpecs": [
{
"sink": "BIG_QUERY",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "BIG_TABLE",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "GCS",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_PROTO",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_JSON",
"disabled": "false",
"materializeCloudMetadata": "false"
}
]
}
更改下列內容:
ARCHETYPE:原型名稱。可能的值為DISCRETE_DATA_SERIES、CLUSTERED_DISCRETE_DATA_SERIES、NUMERIC_DATA_SERIES、CLUSTERED_NUMERIC_DATA_SERIES、CONTINUOUS_DATA_SERIES、CLUSTERED_CONTINUOUS_DATA_SERIES。TYPE_NAME:要建立的型別名稱。BUCKET_NAME:要與這個類型建立關聯的 bucket 名稱。BUCKET_VERSION:要與這個型別建立關聯的 bucket 版本。
控制台
在網頁介面中開啟「CLOUD TAGS」部分,修改特定「Tag」的「Record」持續性設定:

按一下要變更持續性設定的代碼「動作」圖示。
選擇「查看 / 編輯」選項。隨即會顯示下列側邊面板:

展開「儲存空間設定」專區,畫面上會顯示所有可用的持續性接收器清單,每個接收器旁都有切換按鈕:

選取代碼的有效接收器。系統會將這個標記擷取的所有記錄保留在所有選取的接收器中。
同樣地,您可以在現有型別上建立新版本時設定接收器,如下列範例所示:
REST
POST /configuration/v1/types/TYPE_NAME/versions
{
"metadataBuckets": [
{
"bucketName": "EXISTING_BUCKET_NAME",
"version": "EXISTING_BUCKET_VERSION"
},
{
"bucketName": "NEW_BUCKET_NAME",
"version": "NEW_BUCKET_VERSION"
}
],
"storageSpecs": [
{
"sink": "BIG_QUERY",
"disabled": "false",
"materializeCloudMetadata": "true"
},
{
"sink": "BIG_TABLE",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "GCS",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_PROTO",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_JSON",
"disabled": "false",
"materializeCloudMetadata": "false"
}
]
}
更改下列內容:
TYPE_NAME:要建立新版本的型別名稱EXISTING_BUCKET_NAME:已與這個類型建立關聯的現有 bucket 名稱。EXISTING_BUCKET_VERSION:已與這個類型建立關聯的現有 bucket 版本。NEW_BUCKET_NAME:新 bucket 的名稱。NEW_BUCKET_VERSION:新值區的版本。
控制台
開啟頂端選單的「類型」部分,即可在「類型」層級變更儲存空間設定:

在要編輯的「類型」的「動作」圖示中,選取「查看 / 編輯」選項。系統會顯示「編輯類型版本」側邊選單。
展開「儲存空間設定」面板,存取「類型」的持續性設定:

選取每個接收器,系統預設會將屬於這個類型的標籤記錄保留在這些接收器中。標記建立時會繼承儲存空間規格。您隨時可以在代碼層級修改儲存空間規格。
中繼資料執行個體具體化
您可以為每個接收器個別設定中繼資料執行個體具體化。詳情請參閱執行個體具體化。
覆寫個別代碼的預設類型版本儲存空間規格
您也可以針對個別代碼,覆寫類型版本的預設儲存空間規格。也就是說,類型版本的代碼設定會覆寫該類型版本的預設設定。
水槽專用注意事項
以下各節概述一些與接收器相關的注意事項:
BigQuery
建立資料型別時,MDE 會自動在 mde_data 資料集中為該型別建立新資料表。您可以為類型版本或類型版本的標記啟用 BigQuery 接收器,藉此設定是否要將記錄保留在這個資料表中。
Bigtable Federation API
如果您已佈建 Bigtable 叢集,可以設定是否將記錄保留在 Bigtable 中,以便使用 Federation API 存取這些記錄。
Cloud 中繼資料執行個體不會單獨保留在 Bigtable 中。如果您需要從 Bigtable 擷取的記錄中包含 Cloud 中繼資料 (使用 Federation API),請將 Bigtable 接收器的 materializeCloudMetadata 值設為 true。
Cloud Storage
記錄會儲存在名為 <project_id>-gcs-ingestion 的 Cloud Storage bucket 中,並以 AVRO 檔案格式儲存,使用 Hive 分割,每十分鐘一個視窗,每個視窗有十個分割區。記錄會依類型分組到資料夾中。系統不會將 Cloud 中繼資料執行個體傳送至 Cloud Storage 接收器獨立。如要在 Cloud Storage 的記錄中加入 Cloud 中繼資料,請將 Cloud Storage 接收器的 materializeCloudMetadata 值設為 true。
Pub/Sub:Proto 和 JSON
MDE 提供兩種 Pub/Sub 接收器:一種是以 JSON 資料格式提供記錄,另一種是以 Protobuf 資料格式提供訊息。如要瞭解各資料結構定義,請參閱參考資料部分。
JSON 格式的記錄串流會傳送至 mde-tag-stream-json Pub/Sub 主題,而 Protobuf 格式的記錄串流則會傳送至 mde-tag-stream-proto。雲端中繼資料執行個體不會傳送至對應的 Pub/Sub 主題。如要在傳送至 Pub/Sub 的記錄中加入 Cloud 中繼資料,請將 Pub/Sub 接收器的 materializeCloudMetadata 值設為 true。
如果未明確啟用類型,Pub/Sub 接收器預設會停用。
中繼資料、記錄和設定資料的保存期限
MDE 一律會在 BigQuery 的 mde_dimension 和 mde_system 資料集中,保存中繼資料例項、記錄和設定資料。此外,MDE 一律會將原始來源訊息保留在 Cloud Storage 中。這類資料的保存期限無法停用。