Configurar destinos de dados
Este guia descreve como configurar coletores de dados no Manufacturing Data Engine (MDE).
O MDE é compatível com cinco receptores de dados para registros:
- BigQuery
- Cloud Storage
- Bigtable e API Federation
- Pub/Sub (formato JSON)
- Pub/Sub (formato Protobuf)
Persistência de registros
Confira um exemplo de como configurar gravadores individuais ao criar um tipo:
REST
POST /configuration/v1/types
{
"archetype": "<ARCHETYPE NAME>",
"name": "<TYPE_NAME>",
"metadataBuckets": [
{
"bucketName": "<BUCKET_NAME>",
"version": "<BUCKET_VERSION>"
}
],
"storageSpecs": [
{
"sink": "BIG_QUERY",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "BIG_TABLE",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "GCS",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_PROTO",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_JSON",
"disabled": "false",
"materializeCloudMetadata": "false"
}
]
}
Substitua:
ARCHETYPE: nome do arquétipo. Uma destas opções:DISCRETE_DATA_SERIES,CLUSTERED_DISCRETE_DATA_SERIES,NUMERIC_DATA_SERIES,CLUSTERED_NUMERIC_DATA_SERIES,CONTINUOUS_DATA_SERIES,CLUSTERED_CONTINUOUS_DATA_SERIES.TYPE_NAME: nome do tipo a ser criado.BUCKET_NAME: nome do bucket a ser associado a esse tipo.BUCKET_VERSION: versão do bucket a ser associada a este tipo.
Console
Abra a seção TAGS DE NUVEM na interface da Web para modificar a configuração de persistência de Registro de uma determinada Tag:
Clique no ícone Ações da tag em que você quer mudar as configurações de persistência.
Escolha a opção Ver / Editar. O seguinte painel lateral aparece:
Expanda a seção Configurações de armazenamento. A lista de todos os destinos de persistência disponíveis vai aparecer com um botão de alternância ao lado de cada um deles:
Selecione os coletores ativos para a tag. Todos os registros ingeridos para essa tag serão mantidos em todos os coletores selecionados.
Da mesma forma, é possível configurar gravadores ao criar uma nova versão em um tipo existente, como no exemplo a seguir:
REST
POST /configuration/v1/types/TYPE_NAME/versions
{
"metadataBuckets": [
{
"bucketName": "EXISTING_BUCKET_NAME",
"version": "EXISTING_BUCKET_VERSION"
},
{
"bucketName": "NEW_BUCKET_NAME",
"version": "NEW_BUCKET_VERSION"
}
],
"storageSpecs": [
{
"sink": "BIG_QUERY",
"disabled": "false",
"materializeCloudMetadata": "true"
},
{
"sink": "BIG_TABLE",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "GCS",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_PROTO",
"disabled": "false",
"materializeCloudMetadata": "false"
},
{
"sink": "PUBSUB_JSON",
"disabled": "false",
"materializeCloudMetadata": "false"
}
]
}
Substitua:
TYPE_NAME: nome do tipo para o qual uma nova versão é criada.EXISTING_BUCKET_NAME: nome do bucket já associado a esse tipo.EXISTING_BUCKET_VERSION: versão do bucket atual já associada a esse tipo.NEW_BUCKET_NAME: nome do novo bucket.NEW_BUCKET_VERSION: versão do novo bucket.
Console
Abra a seção TIPOS do menu superior para mudar as configurações de armazenamento no nível Tipo:
Selecione o ícone Ações do Tipo que você quer editar na opção Ver / Editar. O menu lateral Editar versão do tipo é exibido.
Abra o painel Configurações de armazenamento para acessar as configurações de persistência do Tipo:
Selecione cada coletor em que os registros das tags pertencentes a esse tipo serão mantidos por padrão. A especificação de armazenamento é herdada pelas tags quando elas são criadas. A especificação de armazenamento pode ser modificada no nível da tag a qualquer momento.
Materialização de instâncias de metadados
A materialização de instâncias de metadados pode ser configurada para cada gravador individualmente. Para mais informações, consulte materialização de instâncias.
Substituir as especificações de armazenamento da versão do tipo padrão para tags individuais
Também é possível substituir as especificações de armazenamento padrão de uma versão de tipo para tags individuais. Ou seja, as configurações de configuração de tag para uma versão de tipo substituem as configurações padrão dessa versão de tipo.
Considerações específicas do gravador
As seções a seguir descrevem algumas considerações específicas do gravador:
BigQuery
Quando você cria um tipo de dados, o MDE cria automaticamente uma nova tabela para ele no conjunto de dados mde_data. É possível configurar se os registros
serão mantidos nessa tabela ativando o coletor do BigQuery em uma
versão ou tag de tipo.
API Bigtable Federation
Se você provisionou um cluster do Bigtable, é possível configurar se os registros são mantidos no Bigtable para que você possa acessá-los usando a API Federation.
As instâncias de metadados do Cloud não são mantidas de forma independente no Bigtable.
Se você precisar ter metadados do Cloud em registros recuperados do Bigtable usando a API Federation, defina o valor de materializeCloudMetadata como true para o coletor do Bigtable.
Cloud Storage
Os registros são armazenados em um bucket do Cloud Storage chamado
<project_id>-gcs-ingestion em arquivos AVRO usando o particionamento do Hive com uma janela de dez
minutos e dez partições por janela. Os registros são agrupados em pastas por tipo. As instâncias de metadados do Cloud não são enviadas para o coletor do Cloud Storage de forma independente. Se você precisar de metadados do Cloud em registros no Cloud Storage,
defina o valor de materializeCloudMetadata como true para o
coletor do Cloud Storage.
Pub/Sub: Proto e JSON
O MDE oferece duas variações do coletor do Pub/Sub: uma que fornece registros no formato de dados JSON e outra que fornece mensagens no formato de dados Protobuf. Consulte a seção de referência para os respectivos esquemas de dados.
O fluxo de registros formatado em JSON é enviado ao tópico do Pub/Sub mde-tag-stream-json, e o fluxo de registros formatado em Protobuf é enviado ao mde-tag-stream-proto. As instâncias de metadados do Cloud não são enviadas aos respectivos tópicos do Pub/Sub. Se você precisar ter metadados do Cloud em
registros enviados ao Pub/Sub, defina o valor de
materializeCloudMetadata como true para os coletores do Pub/Sub.
Se não estiverem explicitamente ativados em um tipo, os gravadores do Pub/Sub serão
desativados por padrão.
Persistência de metadados, registros e dados de configuração
O MDE sempre mantém instâncias de metadados, registros e dados de configuração nos conjuntos de dados mde_dimension e mde_system no BigQuery. Além disso, o MDE sempre
mantém as mensagens de origem brutas no Cloud Storage. Não é possível desativar a permanência desses dados.