Configura receptores de datos

En esta guía, se describe cómo configurar receptores de datos en Manufacturing Data Engine (MDE).

MDE admite cinco receptores de datos para los registros:

  1. BigQuery
  2. Cloud Storage
  3. APIs de Bigtable y Federation
  4. Pub/Sub (formato JSON)
  5. Pub/Sub (formato de Protobuf)

Persistencia de registros

A continuación, se muestra un ejemplo de cómo puedes configurar receptores individuales cuando creas un tipo:

REST

POST /configuration/v1/types

{
  "archetype": "<ARCHETYPE NAME>",
  "name": "<TYPE_NAME>",
  "metadataBuckets": [
    {
      "bucketName": "<BUCKET_NAME>",
      "version": "<BUCKET_VERSION>"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

Reemplaza lo siguiente:

  • ARCHETYPE: Nombre del arquetipo. Uno de los siguientes: DISCRETE_DATA_SERIES, CLUSTERED_DISCRETE_DATA_SERIES, NUMERIC_DATA_SERIES, CLUSTERED_NUMERIC_DATA_SERIES, CONTINUOUS_DATA_SERIES, CLUSTERED_CONTINUOUS_DATA_SERIES.
  • TYPE_NAME: Es el nombre del tipo que se creará.
  • BUCKET_NAME: Nombre del bucket que se asociará a este tipo.
  • BUCKET_VERSION: Es la versión del bucket que se asociará a este tipo.

Console

  1. Abre la sección CLOUD TAGS en la interfaz web para modificar el parámetro de configuración de persistencia Record de una Tag determinada:

    Sección Etiquetas: Lista de etiquetas

  2. Haz clic en el ícono de Acciones de la etiqueta cuya configuración de persistencia deseas cambiar.

  3. Elige la opción Ver o editar. Aparecerá el siguiente panel lateral:

    Sección Etiquetas: Editar etiqueta

  4. Expande la sección llamada Configuración de almacenamiento y aparecerá la lista de todos los receptores de persistencia disponibles con un botón de activación junto a cada uno de ellos:

    Sección Etiquetas: Editar etiqueta - Especificaciones de almacenamiento

  5. Selecciona los receptores que están activos para la etiqueta. Todos los registros transferidos para esta etiqueta se conservarán en todos los receptores seleccionados.

De manera similar, puedes configurar receptores cuando creas una versión nueva en un tipo existente, como en el siguiente ejemplo:

REST

POST /configuration/v1/types/TYPE_NAME/versions

{
  "metadataBuckets": [
    {
      "bucketName": "EXISTING_BUCKET_NAME",
      "version": "EXISTING_BUCKET_VERSION"
    },
    {
      "bucketName": "NEW_BUCKET_NAME",
      "version": "NEW_BUCKET_VERSION"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "true"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

Reemplaza lo siguiente:

  • TYPE_NAME: Nombre del tipo para el que se crea una versión nueva
  • EXISTING_BUCKET_NAME: Es el nombre del bucket existente que ya está asociado a este tipo.
  • EXISTING_BUCKET_VERSION: Es la versión del bucket existente que ya está asociada a este tipo.
  • NEW_BUCKET_NAME: Es el nombre del bucket nuevo.
  • NEW_BUCKET_VERSION: Es la versión del bucket nuevo.

Console

  1. Abre la sección TYPES del menú superior para cambiar la configuración de almacenamiento a nivel de Type:

    Sección Types: Lista de tipos

  2. Selecciona el ícono de Acciones del Tipo que deseas editar en la opción Ver / Editar. Se muestra el menú lateral Edit Type Version.

  3. Expande el panel Configuración de almacenamiento para acceder a la configuración de persistencia del Tipo:

    Sección Types: Create Type - Storage Settings

  4. Selecciona cada receptor en el que se conservarán de forma predeterminada los registros de las etiquetas que pertenecen a este tipo. Las etiquetas heredan la especificación de almacenamiento cuando se crean. La especificación de almacenamiento se puede modificar a nivel de la etiqueta en cualquier momento.

Materialización de instancias de metadatos

La materialización de instancias de metadatos se puede configurar para cada receptor de forma individual. Para obtener más información, consulta Materialización de instancias.

Cómo anular las especificaciones de almacenamiento de la versión del tipo predeterminadas para etiquetas individuales

También puedes anular las especificaciones de almacenamiento predeterminadas para una versión de tipo en etiquetas individuales. Esto significa que la configuración de una versión de tipo de etiqueta anula la configuración predeterminada de esa versión de tipo.

Consideraciones específicas del receptor

En las siguientes secciones, se describen algunas consideraciones específicas del receptor:

BigQuery

Cuando creas un tipo de datos, MDE crea automáticamente una tabla nueva para él en el conjunto de datos mde_data. Puedes configurar si los registros se conservan en esta tabla habilitando el receptor de BigQuery en una versión de tipo o una etiqueta para una versión de tipo.

API de Bigtable Federation

Si aprovisionaste un clúster de Bigtable, puedes configurar si los registros se conservan en Bigtable para que puedas acceder a ellos con la API de Federation.

Las instancias de metadatos de Cloud no se conservan de forma independiente en Bigtable. Si necesitas tener metadatos de Cloud en los registros que recuperas de Bigtable con la API de Federation, debes establecer el valor de materializeCloudMetadata en true para el receptor de Bigtable.

Cloud Storage

Los registros se almacenan en un bucket de Cloud Storage llamado <project_id>-gcs-ingestion en archivos AVRO con particiones de Hive que usan una ventana de diez minutos y diez particiones por ventana. Los registros se agrupan en carpetas por tipo. Las instancias de metadatos de Cloud no se envían al receptor de Cloud Storage de forma independiente. Si necesitas tener metadatos de Cloud en los registros de Cloud Storage, debes establecer el valor de materializeCloudMetadata en true para el receptor de Cloud Storage.

Pub/Sub: Proto y JSON

MDE proporciona dos variantes del receptor de Pub/Sub: una que proporciona registros en formato de datos JSON y otra que proporciona mensajes en formato de datos Protobuf. Consulta la sección de referencia para ver los esquemas de datos correspondientes.

El flujo de registros con formato JSON se envía al tema de mde-tag-stream-json Pub/Sub, y el flujo de registros con formato Protobuf se envía al mde-tag-stream-proto. Las instancias de metadatos de Cloud no se envían a los temas de Pub/Sub respectivos. Si necesitas tener metadatos de Cloud en los registros enviados a Pub/Sub, debes establecer el valor de materializeCloudMetadata en true para los receptores de Pub/Sub. Si no se habilitan de forma explícita en un tipo, los receptores de Pub/Sub se inhabilitan de forma predeterminada.

Persistencia de metadatos, registros y datos de configuración

MDE siempre conserva las instancias de metadatos, los registros y los datos de configuración en los conjuntos de datos mde_dimension y mde_system en BigQuery. Además, MDE siempre conserva los mensajes fuente sin procesar en Cloud Storage. La persistencia de estos datos no se puede inhabilitar.