Configurer les récepteurs de données
Ce guide explique comment configurer des récepteurs de données dans Manufacturing Data Engine (MDE).
MDE accepte cinq récepteurs de données pour les enregistrements :
- BigQuery
- Cloud Storage
- API Bigtable et Federation
- Pub/Sub (format JSON)
- Pub/Sub (format Protobuf)
Persistance des enregistrements
Voici un exemple de configuration de récepteurs individuels lors de la création d'un type :
REST
POST /configuration/v1/types
{
"archetype": "<ARCHETYPE NAME>",
"name": "<TYPE_NAME>",
"metadataBuckets": [
{
"bucketName": "<BUCKET_NAME>",
"version": "<BUCKET_VERSION>"
}
],
"storageSpecs": [
{
"sink": "BIG_QUERY",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "BIG_TABLE",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "GCS",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_PROTO",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_JSON",
"disabled": "false",
"materializeCloudMetadata": "false"
}
]
}
Remplacez les éléments suivants :
ARCHETYPE: nom de l'archétype. L'une des valeurs suivantes :DISCRETE_DATA_SERIES,CLUSTERED_DISCRETE_DATA_SERIES,NUMERIC_DATA_SERIES,CLUSTERED_NUMERIC_DATA_SERIES,CONTINUOUS_DATA_SERIES,CLUSTERED_CONTINUOUS_DATA_SERIES.TYPE_NAME: nom du type à créer.BUCKET_NAME: nom du bucket à associer à ce type.BUCKET_VERSION: version du bucket à associer à ce type.
Console
Ouvrez la section CLOUD TAGS (Tags Cloud) de l'interface Web pour modifier le paramètre de persistance Record (Enregistrement) d'un Tag donné :
Cliquez sur l'icône Actions du tag dont vous souhaitez modifier les paramètres de persistance.
Sélectionnez l'option View / Edit (Afficher/Modifier). Le panneau latéral suivant s'affiche :
Développez la section Storage Settings (Paramètres de stockage). La liste de tous les récepteurs de persistance disponibles s'affiche avec un bouton à bascule à côté de chacun d'eux :
Sélectionnez les récepteurs actifs pour le tag. Tous les enregistrements ingérés pour ce tag seront conservés dans tous les récepteurs sélectionnés.
De même, vous pouvez configurer des récepteurs lorsque vous créez une version sur un type existant, comme dans l'exemple suivant :
REST
POST /configuration/v1/types/TYPE_NAME/versions
{
"metadataBuckets": [
{
"bucketName": "EXISTING_BUCKET_NAME",
"version": "EXISTING_BUCKET_VERSION"
},
{
"bucketName": "NEW_BUCKET_NAME",
"version": "NEW_BUCKET_VERSION"
}
],
"storageSpecs": [
{
"sink": "BIG_QUERY",
"disabled": "false",
"materializeCloudMetadata": "true"
},
{
"sink": "BIG_TABLE",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "GCS",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_PROTO",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_JSON",
"disabled": "false",
"materializeCloudMetadata": "false"
}
]
}
Remplacez les éléments suivants :
TYPE_NAME: nom du type pour lequel une nouvelle version est créée.EXISTING_BUCKET_NAME: nom du bucket existant déjà associé à ce type.EXISTING_BUCKET_VERSION: version du bucket existant déjà associé à ce type.NEW_BUCKET_NAME: nom du nouveau bucket.NEW_BUCKET_VERSION: version du nouveau bucket.
Console
Ouvrez la section TYPES du menu supérieur pour modifier les paramètres de stockage au niveau du Type :
Sélectionnez l'option View / Edit (Afficher/Modifier) dans l'icône Actions du Type que vous souhaitez modifier. Le menu latéral Edit Type Version (Modifier la version du type) s'affiche.
Développez le panneau Storage Settings (Paramètres de stockage) pour accéder aux paramètres de persistance du Type :
Sélectionnez chaque récepteur dans lequel les enregistrements des tags appartenant à ce type seront conservés par défaut. La spécification de stockage est héritée par les tags lors de leur création. Elle peut être modifiée à tout moment au niveau du tag.
Matérialisation des instances de métadonnées
La matérialisation des instances de métadonnées peut être configurée individuellement pour chaque récepteur. Pour en savoir plus, consultez la section Matérialisation des instances.
Remplacement des spécifications de stockage par défaut de la version d'un type pour des tags individuels
Vous pouvez également remplacer les spécifications de stockage par défaut d'une version de type pour des tags individuels. Cela signifie que les paramètres de configuration des tags d'une version de type remplacent les paramètres par défaut de cette version de type.
Considérations spécifiques aux récepteurs
Les sections suivantes décrivent certaines considérations spécifiques aux récepteurs :
BigQuery
Lorsque vous créez un type de données, MDE crée automatiquement une table dans l'ensemble de données mde_data. Vous pouvez configurer si les enregistrements sont conservés dans cette table en activant le récepteur BigQuery sur une version de type ou un tag pour une version de type.
API Bigtable Federation
Si vous avez provisionné un cluster Bigtable, vous pouvez configurer si les enregistrements sont conservés dans Bigtable afin de pouvoir y accéder à l'aide de l'API Federation.
Les instances de métadonnées Cloud ne sont pas conservées de manière autonome dans Bigtable.
Si vous avez besoin de métadonnées Cloud dans les enregistrements que vous récupérez de Bigtable à l'aide de l'API Federation, vous devez définir la valeur de materializeCloudMetadata sur true pour le récepteur Bigtable.
Cloud Storage
Les enregistrements sont stockés dans un bucket Cloud Storage appelé
<project_id>-gcs-ingestion dans des fichiers AVRO à l'aide du partitionnement Hive avec une fenêtre de dix
minutes et dix partitions par fenêtre. Les enregistrements sont regroupés dans des dossiers par type. Les instances de métadonnées Cloud ne sont pas envoyées de manière autonome au récepteur Cloud Storage. Si vous avez besoin de métadonnées Cloud dans les enregistrements de Cloud Storage, vous devez définir la valeur de materializeCloudMetadata sur true pour le récepteur Cloud Storage.
Pub/Sub : Proto et JSON
MDE fournit deux versions du récepteur Pub/Sub : l'une fournit des enregistrements au format de données JSON et l'autre fournit des messages au format de données Protobuf. Consultez la section de référence pour connaître les schémas de données respectifs.
Le flux d'enregistrements au format JSON est envoyé au sujet Pub/Sub mde-tag-stream-json, et le flux d'enregistrements au format Protobuf est envoyé à mde-tag-stream-proto. Les instances de métadonnées Cloud ne sont pas envoyées aux sujets Pub/Sub respectifs. Si vous avez besoin de métadonnées Cloud dans les enregistrements envoyés à Pub/Sub, vous devez définir la valeur de materializeCloudMetadata sur true pour les récepteurs Pub/Sub.
S'ils ne sont pas explicitement activés sur un type, les récepteurs Pub/Sub sont désactivés par défaut.
Persistance des métadonnées, des journaux et des données de configuration
MDE conserve toujours les instances de métadonnées, les journaux et les données de configuration dans les ensembles de données mde_dimension et mde_system de BigQuery. De plus, MDE conserve toujours les messages sources bruts dans Cloud Storage. La persistance de ces données ne peut pas être désactivée.