Pengantar transfer data Microsoft SQL Server

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk mendapatkan dukungan atau memberikan masukan terkait fitur ini, hubungi [e-mail].

Anda dapat memuat data dari Microsoft SQL Server ke BigQuery menggunakan konektor BigQuery Data Transfer Service untuk Microsoft SQL Server. Konektor ini mendukung instance Microsoft SQL Server yang dihosting di lingkungan lokal, Cloud SQL, dan penyedia cloud publik lainnya seperti Amazon Web Services (AWS) dan Microsoft Azure. Dokumen ini memberikan ringkasan opsi penyerapan data untuk transfer Microsoft SQL Server dan informasi tentang pemetaan jenis data dan harga.

Untuk mempelajari cara menjadwalkan transfer Microsoft SQL Server, lihat Memuat data Microsoft SQL Server ke BigQuery.

Opsi penyerapan data

Bagian berikut memberikan informasi tentang opsi penyerapan data saat Anda menyiapkan transfer data Microsoft SQL Server.

Konfigurasi TLS

Konektor Microsoft SQL Server mendukung konfigurasi untuk keamanan tingkat transportasi (TLS) guna mengenkripsi transfer data Anda ke BigQuery. Konektor Microsoft SQL Server mendukung konfigurasi TLS berikut:

• Mode Encrypt data, and verify CA and hostname. Mode ini melakukan validasi penuh server menggunakan TLS melalui protokol TCPS. Mode ini mengenkripsi semua data dalam pengiriman dan memverifikasi bahwa sertifikat server database ditandatangani oleh certificate authority (CA) tepercaya. Mode ini juga memeriksa apakah nama host yang Anda hubungkan sama persis dengan Nama Umum (CN) atau Nama Alternatif Subjek (SAN) pada sertifikat server. Mode ini mencegah penyerang menggunakan sertifikat yang valid untuk domain lain guna meniru server database Anda.

  Jika nama host Anda tidak cocok dengan CN atau SAN sertifikat, koneksi akan gagal. Anda harus mengonfigurasi resolusi DNS agar cocok dengan sertifikat atau menggunakan mode keamanan yang berbeda. Gunakan mode ini untuk opsi yang paling aman guna mencegah serangan man-in-the-middle (PITM).

• Mode Encrypt data, and verify CA only. Mode ini mengenkripsi semua data menggunakan TLS melalui protokol TCPS dan memverifikasi bahwa sertifikat server ditandatangani oleh CA yang dipercaya klien. Namun, mode ini tidak memverifikasi nama host server. Mode ini berhasil terhubung selama sertifikat valid dan diterbitkan oleh CA tepercaya, terlepas dari apakah nama host dalam sertifikat cocok dengan nama host yang Anda hubungkan.

  Gunakan mode ini jika Anda ingin memastikan bahwa Anda terhubung ke server yang sertifikatnya ditandatangani oleh CA tepercaya, tetapi nama host tidak dapat diverifikasi atau Anda tidak memiliki kontrol atas konfigurasi nama host.

• Mode Encryption only. Mode ini mengenkripsi semua data yang ditransfer antara klien dan server. Mode ini tidak melakukan validasi sertifikat atau nama host.

  Mode ini memberikan tingkat keamanan tertentu dengan melindungi data dalam pengiriman, tetapi dapat rentan terhadap serangan PITM.

  Gunakan mode ini jika Anda perlu memastikan semua data dienkripsi, tetapi tidak dapat atau tidak ingin memverifikasi identitas server. Sebaiknya gunakan mode ini saat menggunakan VPC pribadi.

• Mode No encryption or verification. Mode ini tidak mengenkripsi data apa pun dan tidak melakukan verifikasi sertifikat atau nama host. Semua data dikirim sebagai teks biasa.

  Sebaiknya jangan gunakan mode ini di lingkungan tempat data sensitif ditangani. Sebaiknya gunakan mode ini hanya untuk tujuan pengujian di jaringan terisolasi yang tidak mengkhawatirkan keamanan.

Sertifikat Server Tepercaya (PEM)

Jika Anda menggunakan mode Encrypt data, and verify CA and hostname atau mode Encrypt data, and verify CA, Anda juga dapat memberikan satu atau beberapa sertifikat berenkode PEM. Sertifikat ini diperlukan dalam beberapa skenario saat BigQuery Data Transfer Service perlu memverifikasi identitas server database Anda selama koneksi TLS:

• Jika Anda menggunakan sertifikat yang ditandatangani oleh CA pribadi dalam organisasi Anda atau sertifikat yang ditandatangani sendiri, Anda harus memberikan rantai sertifikat lengkap atau satu sertifikat yang ditandatangani sendiri. Hal ini diperlukan untuk sertifikat yang diterbitkan oleh CA internal layanan penyedia cloud terkelola, seperti Amazon Relational Database Service (RDS).
• Jika sertifikat server database Anda ditandatangani oleh CA publik (misalnya, Let's Encrypt, DigiCert, atau GlobalSign), Anda tidak perlu memberikan sertifikat. Sertifikat root untuk CA publik ini telah diinstal sebelumnya dan dipercaya oleh BigQuery Data Transfer Service.

Anda dapat menentukan sertifikat berenkode PEM di kolom Trusted PEM Certificate dalam konfigurasi transfer, dengan persyaratan berikut:

• Sertifikat harus berupa rantai sertifikat berenkode PEM yang valid.
• Sertifikat harus sepenuhnya benar. Sertifikat yang tidak ada dalam rantai atau konten yang salah akan menyebabkan koneksi TLS gagal.
• Untuk satu sertifikat, Anda dapat memberikan satu sertifikat yang ditandatangani sendiri dari server database.
• Untuk rantai sertifikat lengkap yang diterbitkan oleh CA pribadi, Anda harus memberikan rantai kepercayaan lengkap. Hal ini mencakup sertifikat dari server database dan sertifikat CA perantara dan root.

Transfer penuh atau inkremental

Anda dapat menentukan cara data dimuat ke BigQuery dengan memilih preferensi tulis Full atau Incremental dalam konfigurasi transfer saat Anda menyiapkan transfer Microsoft SQL Server. Transfer inkremental didukung dalam pratinjau.

Catatan: Untuk meminta masukan atau dukungan terkait transfer inkremental, kirim email ke [e-mail].

Anda dapat mengonfigurasi transfer data full untuk mentransfer semua data dari set data Microsoft SQL Server Anda dengan setiap transfer data.

Atau, Anda dapat mengonfigurasi transfer data inkremental (Pratinjau) untuk hanya mentransfer data yang diubah sejak transfer data terakhir, bukan memuat seluruh set data dengan setiap transfer data. Jika memilih Incremental untuk transfer data, Anda harus menentukan mode tulis Append atau Upsert untuk menentukan cara data ditulis ke BigQuery selama transfer data inkremental. Bagian berikut menjelaskan mode tulis yang tersedia.

Mode tulis penambahan

Mode tulis penambahan hanya menyisipkan baris baru ke tabel tujuan Anda. Opsi ini menambahkan data yang ditransfer secara ketat tanpa memeriksa data yang ada, sehingga mode ini berpotensi menyebabkan duplikasi data di tabel tujuan.

Saat memilih mode penambahan, Anda harus memilih kolom watermark. Kolom watermark diperlukan agar konektor Microsoft SQL Server dapat melacak perubahan dalam tabel sumber.

Untuk transfer Microsoft SQL Server, sebaiknya pilih kolom yang hanya diperbarui saat data dibuat, dan tidak akan berubah dengan pembaruan berikutnya—misalnya, kolom CREATED_AT.

Mode tulis upsert

Mode tulis upsert memperbarui baris atau menyisipkan baris baru di tabel tujuan Anda dengan memeriksa kunci utama. Anda dapat menentukan kunci utama agar konektor Microsoft SQL Server dapat menentukan perubahan yang diperlukan untuk menjaga tabel tujuan Anda tetap terbaru dengan tabel sumber. Jika kunci utama yang ditentukan ada di tabel BigQuery tujuan selama transfer data, konektor Microsoft SQL Server akan memperbarui baris tersebut dengan data baru dari tabel sumber. Jika kunci utama tidak ada selama transfer data, konektor Microsoft SQL Server akan menyisipkan baris baru.

Saat memilih mode upsert, Anda harus memilih kolom watermark dan kunci utama:

• Kolom watermark diperlukan agar konektor Microsoft SQL Server dapat melacak perubahan dalam tabel sumber.
  • Pilih kolom watermark yang diperbarui setiap kali baris diubah. Sebaiknya gunakan kolom yang mirip dengan kolom UPDATED_AT atau LAST_MODIFIED.

• Kunci utama dapat berupa satu atau beberapa kolom di tabel Anda yang diperlukan agar konektor Microsoft SQL Server dapat menentukan apakah perlu menyisipkan atau memperbarui baris.

  Pilih kolom yang berisi nilai non-null yang unik di semua baris tabel. Sebaiknya gunakan kolom yang menyertakan ID yang dibuat sistem, kode referensi unik (misalnya, ID yang bertambah otomatis), atau ID urutan berbasis waktu yang tidak dapat diubah.

  Untuk mencegah potensi kehilangan data atau kerusakan data, kolom kunci utama yang Anda pilih harus memiliki nilai unik. Jika Anda ragu tentang keunikan kolom kunci utama yang dipilih, sebaiknya gunakan mode tulis penambahan.

Perilaku penyerapan inkremental

Saat Anda membuat perubahan pada skema tabel di sumber data, transfer data inkremental dari tabel tersebut akan ditampilkan di BigQuery dengan cara berikut:

Perubahan pada sumber data	Perilaku penyerapan inkremental
Menambahkan kolom baru	Kolom baru ditambahkan ke tabel BigQuery tujuan. Semua data sebelumnya untuk kolom ini akan memiliki nilai null.
Menghapus kolom	Kolom yang dihapus tetap ada di tabel BigQuery tujuan. Entri baru ke kolom yang dihapus ini akan diisi dengan nilai null.
Mengubah jenis data di kolom	Konektor hanya mendukung konversi jenis data yang didukung oleh pernyataan DDL ALTER COLUMN. Konversi jenis data lainnya akan menyebabkan transfer data gagal. Jika Anda mengalami masalah, sebaiknya buat konfigurasi transfer baru.
Mengganti nama kolom	Kolom asli tetap ada di tabel BigQuery tujuan seperti apa adanya, sementara kolom baru ditambahkan ke tabel tujuan dengan nama yang diperbarui.

Pemetaan jenis data

Catatan: Pada 16 Maret 2027, konektor Microsoft SQL Server akan memperbarui beberapa pemetaan jenis datanya, seperti yang ditunjukkan dalam tabel berikut. Untuk mengetahui informasi selengkapnya, lihat 16 Maret 2027.

Tabel berikut memetakan jenis data Microsoft SQL Server ke jenis data BigQuery yang sesuai:

Jenis data Microsoft SQL Server	Jenis data BigQuery	Jenis data BigQuery yang diperbarui
tinyint	INTEGER
smallint	INTEGER
int	INTEGER
bigint	BIGNUMERIC
bit	BOOLEAN
decimal	BIGNUMERIC
numeric	NUMERIC
money	BIGNUMERIC
smallmoney	BIGNUMERIC
float	FLOAT
real	FLOAT
date	DATE
time	TIME
datetime2	TIMESTAMP	DATETIME
datetimeoffset	TIMESTAMP
datetime	TIMESTAMP	DATETIME
smalldatetime	TIMESTAMP	DATETIME
char	STRING
varchar	STRING
text	STRING
nchar	STRING
nvarchar	STRING
ntext	STRING
binary	BYTES
varbinary	BYTES
image	BYTES
geography	STRING
geometry	STRING
hierarchyid	BYTES
rowversion	BYTES
sql_variant	BYTES
uniqueidentifier	STRING
xml	STRING
json	STRING
vector	STRING

Jenis data json dan vector hanya didukung di Azure.

Jenis data JSON didukung di database Azure SQL dan instance terkelola Azure SQL yang dikonfigurasi dengan kebijakan update yang selalu terbaru. Jenis data JSON tidak didukung di instance terkelola Azure SQL yang dikonfigurasi dengan kebijakan update Microsoft SQL Server 2022.

Microsoft SQL Server menyimpan JSON sebagai NVARCHAR(MAX), bukan sebagai jenis JSON. Sebaiknya gunakan CHECK (ISJSON(json_col) = 1) untuk validasi, dan JSON_VALUE() untuk kueri.

Microsoft SQL Server tidak memiliki dukungan vektor untuk jenis data vector. Sebaiknya simpan vektor sebagai array JSON di NVARCHAR(MAX) dan gunakan JSON_VALUE() untuk ekstraksi, dengan perhitungan FLOAT manual untuk kesamaan.

Harga

Tidak ada biaya untuk mentransfer data Microsoft SQL Server ke BigQuery saat fitur ini dalam Pratinjau.

Langkah berikutnya

• Pelajari cara menyiapkan transfer Microsoft SQL Server.
• Pelajari BigQuery Data Transfer Service lebih lanjut.