Configurare i sink di dati

Questa guida descrive come configurare i sink di dati in Manufacturing Data Engine (MDE).

MDE supporta cinque sink di dati per i record:

1. BigQuery
2. Cloud Storage
3. Bigtable e l'API Federation
4. Pub/Sub (formato JSON)
5. Pub/Sub (formato Protobuf)

Persistenza dei record

Di seguito è riportato un esempio di come configurare i singoli sink durante la creazione di un tipo:

REST

POST /configuration/v1/types

{
  "archetype": "<ARCHETYPE NAME>",
  "name": "<TYPE_NAME>",
  "metadataBuckets": [
    {
      "bucketName": "<BUCKET_NAME>",
      "version": "<BUCKET_VERSION>"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

Sostituisci quanto segue:

• ARCHETYPE: il nome dell'archetipo. Uno dei valori tra DISCRETE_DATA_SERIES, CLUSTERED_DISCRETE_DATA_SERIES, NUMERIC_DATA_SERIES, CLUSTERED_NUMERIC_DATA_SERIES, CONTINUOUS_DATA_SERIES, CLUSTERED_CONTINUOUS_DATA_SERIES.
• TYPE_NAME: il nome del tipo da creare.
• BUCKET_NAME: il nome del bucket da associare a questo tipo.
• BUCKET_VERSION: Versione del bucket da associare a questo tipo.

Console

1. Apri la sezione TAG CLOUD nell'interfaccia web per modificare l'impostazione di persistenza Record per un determinato Tag:

   

2. Fai clic sull'icona Azioni per il tag per cui vuoi modificare le impostazioni di persistenza.

3. Scegli l'opzione Visualizza / Modifica. Viene visualizzato il seguente riquadro laterale:

   

4. Espandi la sezione denominata Impostazioni di archiviazione e l'elenco di tutti i sink di persistenza disponibili verrà visualizzato con un pulsante di attivazione/disattivazione accanto a ciascuno:

   

5. Seleziona i sink attivi per il tag. Tutti i record importati per questo tag verranno conservati in tutti i sink selezionati.

Allo stesso modo, puoi configurare i sink quando crei una nuova versione di un tipo esistente, come nel seguente esempio:

REST

POST /configuration/v1/types/TYPE_NAME/versions

{
  "metadataBuckets": [
    {
      "bucketName": "EXISTING_BUCKET_NAME",
      "version": "EXISTING_BUCKET_VERSION"
    },
    {
      "bucketName": "NEW_BUCKET_NAME",
      "version": "NEW_BUCKET_VERSION"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "true"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

Sostituisci quanto segue:

• TYPE_NAME: Nome del tipo per cui viene creata una nuova versione
• EXISTING_BUCKET_NAME: Nome del bucket esistente già associato a questo tipo.
• EXISTING_BUCKET_VERSION: versione del bucket esistente già associata a questo tipo.
• NEW_BUCKET_NAME: il nome del nuovo bucket.
• NEW_BUCKET_VERSION: Versione del nuovo bucket.

Console

1. Apri la sezione TIPI del menu in alto per modificare le impostazioni di archiviazione a livello di Tipo:

   

2. Seleziona l'opzione Visualizza / Modifica nell'icona Azioni del Tipo che vuoi modificare. Viene visualizzato il menu laterale Modifica versione tipo.

3. Espandi il riquadro Impostazioni di archiviazione per accedere alle impostazioni di persistenza per il Tipo:

   

4. Seleziona ogni sink in cui i record dei tag appartenenti a questo tipo verranno mantenuti per impostazione predefinita. La specifica di archiviazione viene ereditata dai tag quando vengono creati. La specifica di archiviazione può essere modificata a livello di tag in qualsiasi momento.

Materializzazione dell'istanza dei metadati

La materializzazione dell'istanza dei metadati può essere configurata per ogni sink singolarmente. Per ulteriori informazioni, vedi Materializzazione dell'istanza.

Ignorare le specifiche di archiviazione della versione del tipo predefinite per i singoli tag

Puoi anche sostituire le specifiche di archiviazione predefinite per una versione di tipo per singoli tag. Ciò significa che le impostazioni di configurazione dei tag per una versione del tipo ignorano le impostazioni predefinite per quella versione del tipo.

Considerazioni specifiche per il lavello

Le sezioni seguenti descrivono alcune considerazioni specifiche per i sink:

BigQuery

Quando crei un tipo di dati, MDE crea automaticamente una nuova tabella per questo nel set di dati mde_data. Puoi configurare se i record vengono salvati in modo permanente in questa tabella abilitando il sink BigQuery su una versione o un tag di tipo per una versione di tipo.

API Bigtable Federation

Se hai eseguito il provisioning di un cluster Bigtable, puoi configurare se i record vengono salvati in modo permanente in Bigtable in modo da poter accedere tramite l'API Federation.

Le istanze di metadati cloud non vengono archiviate in modo autonomo in Bigtable. Se devi includere i metadati di Cloud nei record recuperati da Bigtable utilizzando l'API Federation, devi impostare il valore di materializeCloudMetadata su true per il sink Bigtable.

Cloud Storage

I record vengono archiviati nel bucket Cloud Storage denominato <project_id>-gcs-ingestion in file AVRO utilizzando il partizionamento Hive con una finestra di dieci minuti e dieci partizioni per finestra. I record sono raggruppati in cartelle per tipo. Le istanze di metadati cloud non vengono inviate al sink Cloud Storage autonomo. Se hai bisogno di metadati di Cloud nei record in Cloud Storage, devi impostare il valore di materializeCloudMetadata su true per il sink Cloud Storage.

Pub/Sub: Proto e JSON

MDE fornisce due versioni del sink Pub/Sub: una che fornisce record in formato dei dati JSON e un'altra che fornisce messaggi in formato dei dati Protobuf. Consulta la sezione di riferimento per gli schemi dei dati corrispondenti.

Il flusso di record formattato in JSON viene inviato all'argomento Pub/Sub mde-tag-stream-json, mentre il flusso di record formattato in Protobuf viene inviato a mde-tag-stream-proto. Le istanze di metadati Cloud non vengono inviate agli argomenti Pub/Sub corrispondenti. Se hai bisogno di metadati Cloud nei record inviati a Pub/Sub, devi impostare il valore di materializeCloudMetadata su true per i sink Pub/Sub. Se non sono abilitati esplicitamente per un tipo, i sink Pub/Sub sono disattivati per impostazione predefinita.

Persistenza di metadati, log e dati di configurazione

MDE archivia sempre le istanze di metadati, i log e i dati di configurazione nei set di dati mde_dimension e mde_system in BigQuery. Inoltre, MDE conserva sempre i messaggi di origine non elaborati in Cloud Storage. La persistenza di questi dati non può essere disattivata.