Mereplikasi data dari database Oracle ke BigQuery

Tutorial ini menunjukkan cara men-deploy tugas yang terus mereplikasi data yang berubah dari database Oracle ke set data BigQuery, menggunakan Replikasi Cloud Data Fusion. Fitur ini didukung oleh Datastream.

Opsional: Instal Oracle di Compute Engine

Bagian ini menunjukkan cara menyiapkan contoh database. Jika Anda sudah menginstal database Oracle, Anda dapat melewati bagian ini.

Catatan: Datastream hanya mendukung versi tertentu dari database Oracle.

1. Download image Docker Oracle Server.

   Untuk mengetahui batasan image Oracle Express Edition 11g ini, lihat Oracle Database Editions.

2. Deploy image Docker Anda di instance VM baru.

   Catatan: Untuk men-deploy image di instance VM baru, layanan Compute Engine harus memiliki peran Pembaca Artifact Registry (roles/artifactregistry.reader).

3. Di halaman Disk Compute Engine, ubah ukuran disk menjadi 500 GB dan mulai ulang VM.

   Buka Disk

4. Instal skema contoh HR.

Membuat peering jaringan VPC atau aturan firewall untuk server Oracle Anda

Jika Oracle Database Anda tidak mengizinkan traffic masuk dari alamat IP publik, siapkan peering jaringan VPC antara VPC Datastream dan VPC tempat database Oracle Anda dapat diakses. Untuk mengetahui informasi selengkapnya, lihat Membuat konfigurasi konektivitas pribadi.

Jika database Oracle Anda mengizinkan traffic masuk dari alamat IP publik, buat aturan firewall untuk instance VM guna mengizinkan traffic masuk dari IP publik Datastream.

Mengonfigurasi Oracle Server untuk mengaktifkan logging tambahan

Ikuti langkah-langkah untuk mengonfigurasi database Oracle sumber.

Membuat dan menjalankan tugas replikasi Cloud Data Fusion

Buat tugas

1. Di antarmuka web Cloud Data Fusion, klik Replication.

2. Klik Buat tugas replikasi.

3. Di halaman Create new replication job, tentukan Nama tugas replikasi, lalu klik Berikutnya.

4. Konfigurasi sumber:

   1. Pilih Oracle (oleh Datastream) sebagai sumber.

   2. Untuk Connectivity Method, jika server Oracle Anda mengizinkan traffic masuk dari IP publik Datastream, pilih IP allowlisting. Jika tidak, untuk Private Connection Name, pilih Private connectivity (VPC peering) dan masukkan nama peering VPC yang Anda buat di bagian Create VPC network peering or firewall rule for your Oracle Server.

   3. Untuk Host, masukkan nama host Oracle Server yang akan dibaca.

   4. Untuk Port, masukkan port yang akan digunakan untuk terhubung ke Server Oracle: 1521.

   5. Untuk System Identity, masukkan xe (nama database contoh server Oracle).

   6. Di bagian kredensial, masukkan nama pengguna dan sandi Anda untuk mengakses Oracle Server.

   7. Biarkan semua properti lainnya seperti apa adanya.

5. Klik Berikutnya.

6. Konfigurasikan target:

   1. Pilih target BigQuery.

   2. Project ID dan Service Account Key akan otomatis terdeteksi. Biarkan nilai default seperti apa adanya.

   3. Opsional: Di bagian Lanjutan, Anda dapat mengonfigurasi hal berikut:

      • Nama dan lokasi bucket penyiapan
      • Interval pemuatan
      • Awalan tabel penyiapan
      • Perilaku saat tabel atau database dihapus

7. Klik Berikutnya.

8. Jika koneksi berhasil, daftar tabel akan ditampilkan. Untuk tutorial ini, pilih beberapa tabel.

   Catatan: Untuk melanjutkan, logging tambahan harus diaktifkan di tabel yang dipilih.

9. Klik Berikutnya.

10. Di halaman Tinjau penilaian, klik Lihat pemetaan di salah satu tabel untuk mendapatkan penilaian masalah skema, fitur yang tidak ada, atau masalah konektivitas yang mungkin terjadi selama Replikasi.

    Jika terjadi masalah, Anda harus menyelesaikannya sebelum melanjutkan. Untuk tutorial ini, jika ada masalah pada salah satu tabel, lakukan hal berikut:

    1. Kembali ke langkah saat Anda memilih tabel.
    2. Pilih tabel atau peristiwa (Penyisipan, Pembaruan, atau Penghapusan) tanpa masalah.

    Untuk mengetahui informasi selengkapnya tentang konversi jenis data dari database sumber ke tujuan BigQuery, lihat Jenis data replikasi.

11. Klik Back.

12. Klik Berikutnya.

13. Tinjau detail tugas replikasi ringkasan, lalu klik Deploy tugas replikasi.

Mulai tugas

1. Di antarmuka web Cloud Data Fusion, buka halaman detail tugas replikasi.

2. Klik Mulai.

Pekerjaan replikasi akan bertransisi dari status Provisioning ke Starting ke status Running. Dalam status berjalan, tugas replikasi memuat snapshot awal data tabel yang Anda pilih ke BigQuery. Dalam status ini, status tabel dicantumkan sebagai Membuat snapshot. Setelah snapshot awal dimuat ke BigQuery, setiap perubahan yang dilakukan pada tabel akan direplikasi ke BigQuery, dan status tabel akan dicantumkan sebagai Mereplikasi.

Memantau tugas

Anda dapat memulai dan menghentikan tugas replikasi, meninjau konfigurasi dan log-nya, serta memantau tugas replikasi.

Anda dapat memantau aktivitas tugas replikasi dari halaman detail tugas replikasi.

1. Dari halaman Replication, klik Name tugas replikasi yang dipilih.

2. Klik Monitoring.

Melihat hasil di BigQuery

Tugas replikasi membuat set data dan tabel yang direplikasi di BigQuery, dengan nama yang diwarisi dari nama tabel dan database Oracle yang sesuai.

Catatan: Jika nama database sumber Anda tidak mengikuti konvensi penamaan set data BigQuery, atau jika Anda mengalami konflik penamaan saat mereplikasi beberapa set data ke dalam satu set data BigQuery, tentukan alias di properti target BigQuery.

1. Di konsol Google Cloud , buka halaman BigQuery.

2. Di panel kiri, klik nama project Anda untuk meluaskan daftar set data.

3. Pilih set data xe, lalu pilih tabel yang akan dilihat.

Untuk mengetahui informasi selengkapnya, lihat dokumentasi BigQuery.