Tujuan BigQuery

Halaman ini memberikan ringkasan tentang tujuan BigQuery. Halaman ini menjelaskan perilaku tulis dan batasan umum Datastream saat Anda mereplikasi data ke BigQuery.

Perilaku tulis

  • Ukuran peristiwa maksimum saat Anda melakukan streaming data ke BigQuery adalah 20 MB.

  • Saat mengonfigurasi aliran, Anda dapat memilih cara Datastream menulis data perubahan ke BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi mode tulis.

Metadata tabel

Datastream menambahkan kolom STRUCT bernama datastream_metadata ke setiap tabel yang ditulis ke tujuan BigQuery.

Mode tulis gabungan

Jika tabel memiliki kunci utama di sumber, kolom tersebut akan berisi kolom berikut:

  • UUID: Kolom ini memiliki jenis data STRING.
  • SOURCE_TIMESTAMP: Kolom ini memiliki jenis data INTEGER.

Jika tabel tidak memiliki kunci utama, kolom tersebut akan berisi kolom tambahan: IS_DELETED. Kolom ini memiliki jenis data BOOLEAN, dan menunjukkan apakah data yang di-streaming Datastream ke tujuan terkait dengan operasi DELETE di sumber. Tabel tanpa kunci utama hanya dapat ditambahkan.

Mode tulis hanya dapat ditambahkan

Kolom datastream_metadata berisi kolom yang sama untuk tabel dengan dan tanpa kunci utama:

  • UUID: Kolom ini memiliki jenis data STRING.
  • SOURCE_TIMESTAMP: Kolom ini memiliki jenis data INTEGER.
  • CHANGE_SEQUENCE_NUMBER: Kolom ini memiliki jenis data STRING. Kolom ini adalah nomor urutan internal yang digunakan oleh Datastream untuk setiap peristiwa perubahan.
  • CHANGE_TYPE: Kolom ini memiliki jenis data STRING. Kolom ini menunjukkan jenis peristiwa perubahan: INSERT, UPDATE-INSERT, UPDATE-DELETE, atau DELETE.
  • SORT_KEYS: Kolom ini berisi array nilai STRING. Anda dapat menggunakan nilai ini untuk mengurutkan peristiwa perubahan.

Mengontrol biaya BigQuery

Biaya BigQuery ditagih secara terpisah dari Datastream. Untuk mempelajari cara mengontrol biaya BigQuery, lihat Harga BigQuery CDC.

Praktik terbaik pengelolaan biaya

Saat menggunakan Datastream dengan BigQuery sebagai tujuan, pertimbangkan praktik terbaik pengelolaan biaya berikut:

  • Memahami biaya BigQuery CDC: saat menggunakan Datastream dengan BigQuery sebagai tujuan, pengambilan data perubahan (CDC) melibatkan operasi gabungan latar belakang yang ditagih sebagai Analisis penggunaan SKU.
  • Menggunakan pemesanan BigQuery: untuk mengelola dan membatasi biaya yang terkait dengan tugas gabungan CDC, sebaiknya beli BigQuery pemesanan slot. Hal ini memberikan kapasitas tetap dengan harga tetap, sehingga biaya Anda lebih mudah diprediksi.
  • Menyesuaikan max_staleness: Parameter max_staleness di BigQuery adalah pertukaran langsung antara keaktualan data dan biaya. Nilai yang lebih rendah berarti operasi gabungan yang lebih sering dan biaya yang lebih tinggi, tetapi data yang lebih baru. Sesuaikan parameter ini ke tingkat yang memenuhi persyaratan bisnis Anda untuk keaktualan data tanpa melebihi anggaran Anda. Untuk mengetahui informasi selengkapnya, lihat Mengelola data yang tidak terbaru di tabel.

Batasan umum

Batasan umum untuk menggunakan BigQuery sebagai tujuan meliputi:

  • Secara default, Datastream tidak mendukung penambahan kunci utama ke tabel yang sudah direplikasi ke BigQuery tanpa kunci utama, atau menghapus kunci utama dari tabel yang direplikasi ke BigQuery dengan kunci utama. Jika Anda perlu melakukan perubahan tersebut, hubungi Dukungan Google. Untuk mengetahui informasi tentang mengubah definisi kunci utama untuk tabel sumber yang sudah memiliki kunci utama, lihat Mendiagnosis masalah.

  • Kunci utama di BigQuery harus memiliki jenis data berikut:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Tabel yang berisi kunci utama dengan jenis data yang tidak didukung tidak direplikasi oleh Datastream.

  • BigQuery tidak mendukung nama tabel dengan karakter ., $, /, @, atau +. Datastream mengganti karakter tersebut dengan garis bawah saat membuat tabel tujuan.

    Misalnya, table.name di database sumber menjadi table_name di BigQuery.

    Untuk mengetahui informasi selengkapnya tentang nama tabel di BigQuery, lihat Penamaan tabel.

  • BigQuery tidak mendukung lebih dari empat kolom pengelompokan. Saat mereplikasi tabel dengan lebih dari empat kolom kunci utama, Datastream menggunakan empat kolom kunci utama sebagai kolom pengelompokan.

  • Datastream memetakan literal tanggal dan waktu di luar rentang seperti jenis tanggal tak terbatas PostgreSQL ke nilai berikut:

    • DATE positif ke nilai 9999-12-31
    • DATE negatif ke nilai 0001-01-01
    • TIMESTAMP positif ke nilai 9999-12-31 23:59:59.999000 UTC
    • TIMESTAMP negatif ke nilai 0001-01-01 00:00:00 UTC

  • BigQuery tidak mendukung tabel streaming yang memiliki kunci utama dengan jenis data FLOAT atau REAL. Tabel tersebut tidak direplikasi. Untuk mempelajari lebih lanjut jenis dan rentang tanggal BigQuery, lihat Jenis data.

  • Jika sumber Anda adalah Salesforce atau Salesforce Marketing Cloud (Pratinjau), opsi konfigurasi Set data untuk setiap skema tidak didukung.

Langkah berikutnya