Untuk melakukan streaming update change data capture (CDC) dari database Oracle yang dapat dicolokkan ke
tujuan yang didukung seperti
BigQuery atau Cloud Storage, Anda dapat menghubungkan database ke
Datastream. Setiap pluggable database berjalan di dalam container database (CDB) multi-tenant. Untuk menyiapkan sumber, Anda
mengonfigurasi mode ARCHIVELOG dan retensi log di CDB, serta logging
tambahan dan hak istimewa pengguna di kedua container.
Mengonfigurasi database Oracle yang dapat dicolokkan untuk pembaca log biner
Untuk mengonfigurasi database Oracle yang dapat dicolokkan untuk digunakan dengan metode CDC pembaca log biner, lakukan langkah-langkah berikut:
Pilih salah satu metode berikut untuk mengakses file log Anda:
Pengelolaan Penyimpanan Otomatis (ASM): jika memilih opsi ini, Anda harus membuat koneksi ASM khusus, dan memberikan detailnya saat membuat profil koneksi. Akun pengguna yang digunakan untuk koneksi ASM harus memiliki hak istimewa
SYSASM.Untuk membuat pengguna ASM baru dengan hak istimewa
SYSASM, jalankan perintah berikut:CREATE USER ASM_USER_NAME IDENTIFIED BY ASM_PASSWORD; GRANT SYSASM TO ASM_USER_NAME;
Ganti kode berikut:
- ASM_USER_NAME: nama pengguna ASM.
- ASM_PASSWORD: sandi untuk pengguna ASM.
Database directories: jika memilih opsi ini, Anda harus membuat objek direktori database yang mengarah ke file redo log dan file log yang diarsipkan, serta memberikan akses
READke direktori tersebut kepada pengguna database Anda:
CREATE DIRECTORY DIRECTORY_NAME_1 as 'ONLINE_REDO_LOGS_PATH'; CREATE DIRECTORY DIRECTORY_NAME_2 as 'ARCHIVED_REDO_LOGS_PATH'; GRANT READ ON DIRECTORY DIRECTORY_NAME_1 to USER_NAME; GRANT READ ON DIRECTORY DIRECTORY_NAME_2 to USER_NAME;
Ganti kode berikut:
- DIRECTORY_NAME_1: nama direktori untuk file log redo online.
- DIRECTORY_NAME_2: nama direktori untuk file log redo yang diarsipkan.
- ONLINE_REDO_LOGS_PATH: jalur ke direktori tempat file log redo online akan disimpan.
- ARCHIVED_REDO_LOGS_PATH: jalur ke direktori tempat file log yang diarsipkan akan disimpan.
- USER_NAME: nama pengguna database yang ingin Anda beri akses
READ.
Jika Anda memilih metode pembaca log biner dan menggunakan direktori database, Anda harus memberikan nama direktori redo log dan log yang diarsipkan saat membuat aliran data.
Pastikan database Anda berjalan dalam mode
ARCHIVELOG.Untuk melakukannya, login ke database Oracle dan jalankan perintah berikut di prompt SQL:
SELECT LOG_MODE FROM V$DATABASE;- Jika hasilnya adalah
ARCHIVELOG, lanjutkan ke langkah berikutnya. - Jika hasilnya adalah
NOARCHIVELOG, Anda harus mengaktifkan modeARCHIVELOGuntuk database Anda. Jalankan perintah berikut saat sedang login sebagai
SYSDBA:SHUTDOWN IMMEDIATE; STARTUP MOUNT; ALTER DATABASE ARCHIVELOG; ALTER DATABASE OPEN;
File log yang diarsipkan menggunakan kapasitas disk, jadi Anda perlu mengonfigurasi parameter
DB_RECOVERY_FILE_DEST_SIZEuntuk database Anda. Gunakan parameter ini untuk menentukan (dalam byte) batas ketat total ruang yang akan digunakan oleh file pemulihan database target. Dengan menetapkan parameter ini, Anda dapat mengelola konsekuensi antara melindungi database agar tidak kehabisan kapasitas disk dan kegagalan aliran data karena kehilangan posisi log.
- Jika hasilnya adalah
Tentukan kebijakan retensi data untuk database Anda dengan menjalankan perintah Oracle Recovery Manager (RMAN) berikut:
TARGET / CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS;
Sebaiknya Anda menyimpan cadangan dan log arsip selama minimal 4 hari, dan sebaiknya 7 hari.
Kembali ke prompt SQL alat database yang Anda gunakan untuk mengonfigurasi kebijakan rotasi file log Oracle. Sebaiknya tetapkan ukuran file log maksimum tidak lebih dari 512 MB.
Aktifkan data log tambahan. Untuk melakukannya, aktifkan logging tambahan tingkat database minimal terlebih dahulu dengan menjalankan perintah berikut:
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;
Selanjutnya, pilih apakah akan mengaktifkan logging untuk tabel tertentu atau seluruh database.
Untuk mencatat perubahan hanya untuk tabel tertentu, jalankan perintah berikut untuk setiap tabel yang ingin Anda replikasi:
ALTER TABLE SCHEMA.TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
Ganti kode berikut:
- SCHEMA: nama skema yang berisi tabel.
- TABLE: nama tabel yang ingin Anda catat perubahannya.
Untuk mereplikasi sebagian besar atau semua tabel dalam database, pertimbangkan untuk mengaktifkan logging untuk seluruh database. Jalankan perintah berikut untuk mengaktifkan data log tambahan untuk seluruh database:
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
Berikan hak istimewa yang sesuai ke akun pengguna yang akan digunakan untuk terhubung ke database yang dapat dicolokkan. Untuk melakukannya, jalankan perintah berikut:
GRANT SELECT ON GV_$LOG TO USER_NAME; GRANT SELECT ON GV_$LOGFILE TO USER_NAME; GRANT SELECT ON GV_$ARCHIVED_LOG TO USER_NAME; GRANT SELECT ON GV_$INSTANCE TO USER_NAME; GRANT SELECT ON GV_$STANDBY_LOG TO USER_NAME; GRANT SELECT ON V_$INSTANCE TO USER_NAME; GRANT SELECT ON V_$PDBS TO USER_NAME; GRANT SELECT ON V_$TRANSPORTABLE_PLATFORM TO USER_NAME; GRANT SELECT ON V_$DATABASE TO USER_NAME; GRANT SELECT ON V_$PARAMETER TO USER_NAME; GRANT SELECT ON COL$ TO USER_NAME; GRANT SELECT ON DBA_OBJECTS TO USER_NAME; GRANT SELECT ON DBA_TABLESPACES TO USER_NAME; GRANT SELECT ON DBA_ENCRYPTED_COLUMNS TO USER_NAME; GRANT SELECT ON DBA_EXTENTS TO USER_NAME; GRANT SELECT ON DBA_SUPPLEMENTAL_LOGGING TO USER_NAME; GRANT CONNECT TO USER_NAME; GRANT CREATE SESSION TO USER_NAME; GRANT SELECT ANY TABLE TO USER_NAME; GRANT READ ON DIRECTORY ONLINELOG_DIR TO USER_NAME; GRANT READ ON DIRECTORY ARCHIVELOG_DIR TO USER_NAME;
Ganti USER_NAME dengan nama akun pengguna yang ingin Anda gunakan untuk terhubung ke database.
Mengonfigurasi database Oracle yang dapat dicolokkan untuk LogMiner
Untuk mengonfigurasi database pluggable Oracle yang dihosting sendiri agar dapat digunakan dengan LogMiner API, lakukan langkah-langkah berikut:
Pastikan database Anda berjalan dalam mode
ARCHIVELOG. Untuk melakukannya, jalankan perintah berikut dari containerCDB$ROOT:SELECT LOG_MODE FROM V$DATABASE;- Jika hasilnya adalah
ARCHIVELOG, lanjutkan ke langkah 2. - Jika hasilnya adalah
NOARCHIVELOG, Anda harus mengaktifkan modeARCHIVELOGuntuk database Anda. Jalankan perintah berikut saat sedang login sebagai
SYSDBA:SHUTDOWN IMMEDIATE; STARTUP MOUNT; ALTER DATABASE ARCHIVELOG; ALTER DATABASE OPEN;File log yang diarsipkan menggunakan kapasitas disk, jadi Anda perlu mengonfigurasi parameter
DB_RECOVERY_FILE_DEST_SIZEuntuk database Anda. Gunakan parameter ini untuk menentukan (dalam byte) batas ketat total ruang yang akan digunakan oleh file pemulihan database target. Dengan menetapkan parameter ini, Anda dapat mengelola konsekuensi antara melindungi database agar tidak kehabisan kapasitas disk dan kegagalan aliran data karena kehilangan posisi log.
- Jika hasilnya adalah
Tentukan kebijakan retensi data untuk database Anda dengan menjalankan perintah Oracle Recovery Manager (RMAN) berikut dari container
CDB$ROOT:CONFIGURE RETENTION POLICY TO RECOVERY WINDOW OF 4 DAYS;Perintah ini menentukan kebijakan retensi data untuk semua database yang dapat dicolokkan di database container Anda.
Sebaiknya Anda menyimpan cadangan dan log arsip selama minimal 4 hari, dan sebaiknya 7 hari.
Kembali ke prompt SQL alat database yang Anda gunakan untuk mengonfigurasi kebijakan rotasi file log Oracle. Sebaiknya tetapkan ukuran file log maksimum tidak lebih dari 512 MB.
Aktifkan data log tambahan. Untuk melakukannya, aktifkan logging tambahan terlebih dahulu di database pada level container
CDB$ROOTdengan menjalankan perintah berikut:ALTER DATABASE ADD SUPPLEMENTAL LOG DATA;Selanjutnya, pilih apakah akan mengaktifkan logging untuk tabel tertentu atau seluruh database yang dapat dicolokkan.
Untuk mencatat perubahan hanya untuk tabel tertentu, hubungkan ke container database yang dapat dicolokkan dan jalankan perintah berikut untuk setiap tabel yang ingin Anda replikasi:
ALTER TABLE SCHEMA.TABLE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;Ganti kode berikut:
- SCHEMA: nama skema yang berisi tabel.
- TABLE: nama tabel yang ingin Anda catat perubahannya.
Untuk mereplikasi beberapa atau semua tabel dalam database, pertimbangkan untuk mengaktifkan logging untuk seluruh database.
Jalankan perintah berikut untuk mengaktifkan data log tambahan untuk seluruh database:
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;Buat pengguna umum. Pengguna umum memiliki identitas yang sama di container
CDB$ROOTdan di database yang dapat dicolokkan. Pengguna umum dapat terhubung ke dan melakukan operasi dalam containerCDB$ROOT, dan dalam database yang dapat dicolokkan yang memiliki hak istimewa. Nama pengguna umum harus diawali denganC##atauc##.Berikan hak istimewa yang sesuai kepada pengguna umum yang akan digunakan untuk terhubung ke database Anda. Izin yang berbeda diperlukan di level database container dan pluggable
CDB$ROOT.- Hubungkan ke container
CDB$ROOTdan jalankan perintah berikut:
GRANT CREATE SESSION TO USER_NAME; GRANT SET CONTAINER TO USER_NAME; GRANT SELECT ON SYS.V_$DATABASE TO USER_NAME; GRANT SELECT ON SYS.V_$LOGMNR_CONTENTS TO USER_NAME; GRANT EXECUTE ON DBMS_LOGMNR TO USER_NAME; GRANT EXECUTE ON DBMS_LOGMNR_D TO USER_NAME; GRANT LOGMINING TO USER_NAME; GRANT EXECUTE_CATALOG_ROLE TO USER_NAME;- Hubungkan ke database yang dapat dicolokkan dan jalankan perintah berikut:
GRANT CREATE SESSION TO USER_NAME; GRANT SET CONTAINER TO USER_NAME; GRANT SELECT ANY TABLE TO USER_NAME; GRANT SELECT ON SYS.V_$DATABASE TO USER_NAME; GRANT SELECT ON V_$PDBS TO USER_NAME; GRANT SELECT ON SYS.V_$LOG TO USER_NAME; -- for primary databases GRANT SELECT ON SYS.V_$STANDBY_LOG TO USER_NAME; -- for standby databases GRANT SELECT ON SYS.V_$LOGFILE TO USER_NAME; GRANT SELECT ON SYS.V_$ARCHIVED_LOG TO USER_NAME; GRANT SELECT ON DBA_SUPPLEMENTAL_LOGGING TO USER_NAME; GRANT SELECT ON SYS.V_$PARAMETER TO USER_NAME;- Hubungkan ke container
Beri pengguna umum
SELECTakses ke tampilanDBA_EXTENTSdi database Anda. Hak istimewa ini memungkinkan Anda menggunakan pengisian ulang berbasisROWIDuntuk sumber Oracle:GRANT SELECT ON DBA_EXTENTS TO USER_NAME;
Jika database Anda menggunakan Transparent Data Encryption (TDE), berikan izin berikut:
GRANT SELECT ON DBA_TABLESPACES TO USER_NAME; GRANT SELECT ON DBA_ENCRYPTED_COLUMNS TO USER_NAME;
Langkah berikutnya
- Pelajari lebih lanjut cara kerja Datastream dengan sumber Oracle.