Mengonfigurasi sink data

Panduan ini menjelaskan cara mengonfigurasi sink data di Manufacturing Data Engine (MDE).

MDE mendukung lima sink data untuk data:

1. BigQuery
2. Cloud Storage
3. Bigtable dan Federation API
4. Pub/Sub (format JSON)
5. Pub/Sub (format Protobuf)

Persistensi data

Berikut adalah contoh cara mengonfigurasi sink individual saat membuat jenis:

REST

POST /configuration/v1/types

{
  "archetype": "<ARCHETYPE NAME>",
  "name": "<TYPE_NAME>",
  "metadataBuckets": [
    {
      "bucketName": "<BUCKET_NAME>",
      "version": "<BUCKET_VERSION>"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

Ganti kode berikut:

• ARCHETYPE: Nama arketipe. Salah satu dari DISCRETE_DATA_SERIES, CLUSTERED_DISCRETE_DATA_SERIES, NUMERIC_DATA_SERIES, CLUSTERED_NUMERIC_DATA_SERIES, CONTINUOUS_DATA_SERIES, CLUSTERED_CONTINUOUS_DATA_SERIES.
• TYPE_NAME: Nama jenis yang akan dibuat.
• BUCKET_NAME: Nama bucket yang akan dikaitkan dengan jenis ini.
• BUCKET_VERSION: Versi bucket yang akan dikaitkan dengan jenis ini.

Konsol

1. Buka bagian CLOUD TAGS di antarmuka web untuk mengubah setelan persistensi Record untuk Tag tertentu:

   

2. Klik ikon Actions untuk tag yang persistensinya ingin Anda ubah.

3. Pilih opsi View / Edit. Panel samping berikut akan muncul:

   

4. Luaskan bagian bernama Storage Settings dan daftar semua sink persistensi yang tersedia akan muncul dengan tombol pengaktif/penonaktif di samping setiap sink:

   

5. Pilih sink yang aktif untuk tag. Semua data yang di-ingest untuk tag ini akan dipertahankan di semua sink yang dipilih.

Demikian pula, Anda dapat mengonfigurasi sink saat membuat versi baru pada jenis yang ada, seperti contoh berikut:

REST

POST /configuration/v1/types/TYPE_NAME/versions

{
  "metadataBuckets": [
    {
      "bucketName": "EXISTING_BUCKET_NAME",
      "version": "EXISTING_BUCKET_VERSION"
    },
    {
      "bucketName": "NEW_BUCKET_NAME",
      "version": "NEW_BUCKET_VERSION"
    }
  ],
  "storageSpecs": [
    {
      "sink": "BIG_QUERY",
      "disabled": "false",
      "materializeCloudMetadata": "true"
    },
    {
      "sink": "BIG_TABLE",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "GCS",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_PROTO",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    },
    {
      "sink": "PUBSUB_JSON",
      "disabled": "false",
      "materializeCloudMetadata": "false"
    }
  ]
}

Ganti kode berikut:

• TYPE_NAME: Nama jenis yang akan dibuat versi barunya
• EXISTING_BUCKET_NAME: Nama bucket yang sudah ada dan dikaitkan dengan jenis ini.
• EXISTING_BUCKET_VERSION: Versi bucket yang sudah ada dan dikaitkan dengan jenis ini.
• NEW_BUCKET_NAME: nama bucket baru.
• NEW_BUCKET_VERSION: Versi bucket baru.

Konsol

1. Buka bagian TYPES di menu atas untuk mengubah Storage Settings di tingkat Type:

   

2. Pilih opsi View / Edit di ikon Actions dari Type yang ingin Anda edit. Menu samping Edit Type Version akan ditampilkan.

3. Luaskan panel Storage Settings untuk mengakses setelan persistensi untuk Type:

   

4. Pilih setiap sink tempat Data tag yang termasuk dalam Jenis ini akan dipertahankan secara default. Spesifikasi penyimpanan diwarisi oleh tag saat dibuat. Spesifikasi penyimpanan dapat diubah di tingkat tag kapan saja.

Materialisasi instance metadata

Materialisasi instance metadata dapat dikonfigurasi untuk setiap sink secara terpisah. Untuk mengetahui informasi selengkapnya, lihat materialisasi instance.

Mengganti spesifikasi penyimpanan versi jenis default untuk setiap tag

Anda juga dapat mengganti spesifikasi penyimpanan default untuk versi jenis untuk setiap tag. Artinya, setelan konfigurasi tag untuk versi jenis akan mengganti setelan default untuk versi jenis tersebut.

Pertimbangan khusus sink

Bagian berikut menguraikan beberapa pertimbangan khusus sink:

BigQuery

Saat Anda membuat jenis data, MDE akan otomatis membuat tabel baru untuk jenis data tersebut di set data mde_data. Anda dapat mengonfigurasi apakah data dipertahankan ke tabel ini dengan mengaktifkan sink BigQuery pada versi jenis atau tag untuk versi jenis.

Bigtable Federation API

Jika telah menyediakan cluster Bigtable, Anda dapat mengonfigurasi apakah data dipertahankan ke Bigtable sehingga Anda dapat mengaksesnya menggunakan Federation API.

Instance metadata cloud tidak dipertahankan secara mandiri di Bigtable. Jika Anda ingin memiliki metadata Cloud dalam data yang diambil dari Bigtable menggunakan Federation API, Anda harus menetapkan nilai materializeCloudMetadata ke true untuk sink Bigtable.

Cloud Storage

Data disimpan di bucket Cloud Storage yang disebut <project_id>-gcs-ingestion dalam file AVRO menggunakan partisi Hive menggunakan jendela sepuluh menit dan sepuluh partisi per jendela. Data dikelompokkan dalam folder berdasarkan jenis. Instance metadata cloud tidak dikirim ke sink Cloud Storage secara mandiri. Jika Anda ingin memiliki metadata Cloud dalam data di Cloud Storage, Anda harus menetapkan nilai materializeCloudMetadata ke true untuk sink Cloud Storage.

Pub/Sub: Proto dan JSON

MDE menyediakan dua varian sink Pub/Sub - satu yang menyediakan data dalam format data JSON dan yang lain menyediakan pesan dalam format data Protobuf. Lihat bagian referensi untuk skema data masing-masing.

Aliran data berformat JSON dikirim ke topik Pub/Sub mde-tag-stream-json, dan aliran data berformat Protobuf dikirim ke mde-tag-stream-proto. Instance metadata cloud tidak dikirim ke topik Pub/Sub masing-masing. Jika Anda ingin memiliki metadata Cloud dalam data yang dikirim ke Pub/Sub, Anda harus menetapkan nilai materializeCloudMetadata ke true untuk sink Pub/Sub. Jika tidak diaktifkan secara eksplisit pada jenis, sink Pub/Sub akan dinonaktifkan secara default.

Persistensi metadata, log, dan data konfigurasi

MDE selalu mempertahankan instance metadata, log, dan data konfigurasi di set data mde_dimension dan mde_system di BigQuery. Selain itu, MDE selalu mempertahankan pesan sumber mentah di Cloud Storage. Persistensi data ini tidak dapat dinonaktifkan.