Streaming data dari database Oracle

Bagian ini berisi informasi tentang:

  • Perilaku cara Datastream menangani data yang ditarik dari database Oracle sumber
  • Versi database Oracle yang didukung Datastream
  • Ringkasan cara menyiapkan database Oracle sumber agar data dapat di-streaming dari database tersebut ke tujuan
  • Batasan yang diketahui untuk menggunakan database Oracle sebagai sumber

Perilaku

Datastream mendukung dua metode ekstraksi perubahan pada data dari file log pengulangan online: pembaca log biner Oracle (Pratinjau) dan Oracle LogMiner.

Dengan metode pembaca log biner (Pratinjau), perilaku berikut diamati:

  • Jika ada jeda baca saat mengekstrak perubahan dari file log online, Datastream akan mengekstrak perubahan dari file log yang diarsipkan.

  • Datastream hanya mereplikasi perubahan yang di-commit ke tujuan. Transaksi yang belum di-commit atau di-roll back tidak direplikasi.

  • Pembaca biner mendukung replikasi kolom VARCHAR2 Oracle yang lebih panjang dari 4.000 karakter.

Datastream juga mendukung fitur Oracle LogMiner untuk mengekspos perubahan pada data. Metode ini memiliki perilaku berikut:

  • Semua skema atau skema tertentu dari database tertentu, serta semua tabel dari skema atau tabel tertentu, dapat dipilih.
  • Semua data historis direplikasi.
  • Semua perubahan bahasa pengolahan data (DML), seperti penyisipan, pembaruan, dan penghapusan dari database dan tabel yang ditentukan, direplikasi.
  • Datastream mereplikasi perubahan yang di-commit dan, dalam beberapa kasus, perubahan yang tidak di-commit ke tujuan. Datastream membaca perubahan yang tidak di-commit. Jika terjadi rollback, output Datastream juga mencakup operasi yang berlawanan. Misalnya, jika ada operasi INSERT yang di-roll back, maka data output juga akan berisi operasi DELETE yang sesuai. Dalam hal ini, peristiwa akan muncul sebagai peristiwa DELETE dengan hanya ROWID.

Pengisian ulang berbasis ROWID

Di Oracle, ROWID adalah pseudokolom yang menyimpan ID unik untuk baris dalam tabel. Datastream menggunakan nilai ROWID untuk operasi pengisian ulang. Oleh karena itu, sebaiknya Anda tidak melakukan tindakan apa pun yang dapat mengubah nilai ROWID di database Oracle sumber hingga operasi pengisian ulang selesai.

Tindakan yang dapat mengubah nilai ROWID meliputi:

  • Perpindahan fisik baris:

    • Operasi ekspor dan impor: saat Anda mengekspor tabel, lalu mengimpornya kembali, lokasi fisik baris mungkin berubah, sehingga menghasilkan nilai ROWID baru.
    • Perintah ALTER TABLE (...) MOVE: memindahkan tabel ke tablespace yang berbeda dapat mengubah penyimpanan fisik dan menyebabkan perubahan ROWID.
    • Perintah ALTER TABLE (...) SHRINK SPACE: perintah ini memadatkan tabel, yang berpotensi memindahkan baris dan memengaruhi nilai ROWID-nya.
    • Operasi partisi: memisahkan, menggabungkan, atau memindahkan partisi dapat mengubah penempatan fisik baris dan nilai ROWID-nya.

  • Operasi mundur:

    • FLASHBACK TABLE: memulihkan tabel ke status sebelumnya melibatkan penghapusan dan penyisipan ulang baris, sehingga membuat nilai ROWID baru.
    • FLASHBACK_TRANSACTION_QUERY: Mirip dengan FLASHBACK TABLE. Mengembalikan transaksi dapat menyebabkan perubahan ROWID jika baris dihapus atau diperbarui dalam transaksi.

Memecahkan masalah pengisian ulang tabel partisi Oracle 11.2.0.4

Jika pengisian ulang gagal untuk tabel yang dipartisi di Oracle 11.2.0.4 dengan error pengambilan yang tidak terduga (indeks di luar batas), hal ini disebabkan oleh bug metadata Oracle yang menyebabkan kueri ke ALL_OBJECTS gagal menampilkan sub-partisi.

  • Solusi: batalkan sementara hak istimewa SELECT ON DBA_EXTENTS dari pengguna Datastream (misalnya, REVOKE SELECT ON sys.dba_extents FROM USER_NAME;). Tindakan ini akan memaksa Datastream menggunakan pengisian ulang berbasis indeks, sehingga melewati masalah metadata.

Database standby

Saat Anda menggunakan database standby Oracle Active Data Guard sebagai sumber, Datastream akan membaca log pengulangan yang diarsipkan. Untuk memastikan bahwa Datastream hanya memproses log ulang yang telah berhasil diterapkan ke database standby, Anda harus memfilter tampilan Oracle standar, seperti V$ARCHIVED_LOG dan GV$ARCHIVED_LOG, agar hanya menyertakan data dengan filter APPLIED = 'YES'.

Anda dapat melakukannya dengan membuat tampilan kustom. Pastikan Anda memberikan akses yang sesuai ke tampilan ini untuk pengguna Datastream Anda. Misalnya:

CREATE OR REPLACE VIEW USER_NAME.local_v$archived_log AS 
SELECT * FROM sys.v_$ARCHIVED_LOG
WHERE RESETLOGS_CHANGE# = (SELECT resetlogs_change# FROM v$database)
  AND APPLIED = 'YES';

CREATE OR REPLACE VIEW USER_NAME.local_gv$archived_log AS 
SELECT * FROM sys.gv_$ARCHIVED_LOG
WHERE RESETLOGS_CHANGE# = (SELECT resetlogs_change# FROM v$database)
  AND APPLIED = 'YES';

CREATE SYNONYM USER_NAME.v$archived_log FOR USER_NAME.local_v$archived_log;
CREATE SYNONYM USER_NAME.gv$archived_log FOR USER_NAME.local_gv$archived_log;

Penggunaan filter APPLIED = 'YES' memiliki implikasi pada keaktualan data. Datastream menunggu hingga Proses Pemulihan Terkelola (MRP) database standby menerapkan log dan memperbarui kolom APPLIED menjadi YES sebelum mengekstrak perubahan. Jika proses MRP tertunda atau dijeda, misalnya, jika Anda menangguhkan proses penerapan siaga, hal ini akan secara langsung memengaruhi keaktualan data yang direplikasi. Datastream akan memasuki loop percobaan ulang dan menunda pemrosesan hingga log yang diarsipkan yang baru diterapkan tersedia.

Konfigurasi ini sangat relevan saat mereplikasi tabel yang menyertakan kolom objek besar (LOB). Untuk operasi UPDATE, nilai mendetail kolom LOB tidak ada dalam log pengulangan; oleh karena itu, Datastream harus membuat kueri database untuk mengambil baris terkait. Jika Datastream memproses log redo yang tidak diterapkan dan mencoba mengambil nilai LOB dari database standby, Datastream mungkin mengambil nilai yang salah dan sudah tidak berlaku. Dengan memfilter log untuk memastikan log diterapkan sepenuhnya terlebih dahulu, Datastream mengambil data yang benar.

Versi

Datastream mendukung versi database Oracle berikut:

  • Oracle 11g, Versi 11.2.0.4 (hanya didukung dengan metode CDC Logminer)
  • Oracle 12c, Versi 12.1.0.2
  • Oracle 12c, Versi 12.2.0.1
  • Oracle 18c
  • Oracle 19c
  • Oracle 21c

Datastream mendukung jenis database Oracle berikut:

  • Dihosting sendiri di lingkungan lokal atau di penyedia cloud mana pun
  • Amazon RDS untuk Oracle
  • Oracle Cloud
  • Oracle Exadata
  • Oracle RAC
  • Database standby Oracle Active Data Guard

Penyiapan

Untuk menyiapkan database Oracle sumber agar data dari database tersebut dapat di-streaming ke tujuan, Anda harus mengonfigurasi database untuk memberikan akses, menyiapkan logging, dan menentukan kebijakan retensi.

Lihat Mengonfigurasi database Oracle sumber untuk mempelajari cara mengonfigurasi database ini agar Datastream dapat menarik data dari database tersebut ke tujuan.

Praktik terbaik

Bagian ini menjelaskan praktik terbaik yang direkomendasikan untuk mengonfigurasi sumber Oracle Anda agar dapat digunakan dengan Datastream.

Kepekaan huruf besar/kecil untuk pembaca biner

Saat mengonfigurasi sumber Oracle dengan metode CDC pembaca biner dan menentukan nama direktori untuk redo log dan archive log, perhatikan bahwa nama tersebut peka huruf besar/kecil. Pastikan nama direktori yang Anda berikan di profil koneksi Datastream cocok dengan huruf besar/kecil nama direktori di database Oracle Anda.

Konkurensi CDC

Untuk meminimalkan jeda replikasi, pastikan Datastream dapat memproses log redo secepat pembuatan log tersebut oleh sumber Oracle Anda. Saat menggunakan metode CDC pembaca biner, serentak Datastream berada di tingkat file log redo: setiap tugas yang ditentukan oleh maxConcurrentCdcTasks memproses satu file dalam satu waktu.

Sebaiknya gunakan metodologi berikut:

  • Menyesuaikan konkurensi di Datastream: Identifikasi jumlah rata-rata pengalihan redo log selama jam buka bisnis puncak Anda dan konfigurasi parameter maxConcurrentCdcTasks yang sesuai. Untuk mengetahui informasi selengkapnya, lihat Jumlah maksimum tugas CDC.
  • Konfigurasi pengalihan log Oracle: Konfigurasi Oracle untuk sering mengalihkan log, misalnya, setiap 10-20 menit. Hal ini akan membuat aliran yang stabil dari unit kerja yang lebih kecil, sehingga tugas serentak Datastream dapat bekerja secara paralel dengan efektif.

Sebaiknya Anda mengoptimalkan setelan agar ada cukup banyak tugas serentak di Datastream untuk menangani pembuatan ulang log yang lebih kecil dari Oracle secara sering. Untuk mengetahui informasi selengkapnya, lihat kontrol konkurensi streaming.

Batasan umum

Batasan yang diketahui untuk menggunakan database Oracle sebagai sumber meliputi:

  • Aliran data dibatasi hingga 10.000 tabel. Jika aliran menyertakan lebih dari 10.000 tabel, aliran tersebut mungkin mengalami error.
  • Datastream mendukung arsitektur multi-tenant Oracle (CDB/PDB), tetapi Anda hanya dapat mereplikasi satu pluggable database dalam stream.
  • Oracle Autonomous Database tidak didukung.
  • Untuk tabel yang tidak memiliki kunci utama, Datastream menggunakan ROWID baris untuk melakukan operasi penggabungan di sisi konsumen. Perhatikan bahwa ROWID mungkin tidak unik. Jika Anda menghapus dan menyisipkan kembali baris dengan utilitas Ekspor/Impor Oracle, misalnya, ROWID baris tersebut mungkin berubah. Jika Anda menghapus baris, Oracle dapat menetapkan ulang ROWID ke baris baru yang disisipkan nanti.
  • Tabel yang diatur indeks (IOT) tidak didukung.
  • Tabel sementara tidak didukung.
  • Jenis data Oracle berikut tidak didukung dan tidak direplikasi. Kolom jenis ini direplikasi sebagai nilai NULL di tujuan:
    • ANYDATA, ANYDATASET, ANYTYPE
    • VARRAY (Array Oracle)
    • BFILE, BFILENAME
    • INTERVAL DAY TO SECOND, INTERVAL YEAR TO MONTH
    • LONG, LONG RAW
    • UROWID
    • UDT
    • Jenis media dan spasial: ORDAUDIO, ORDDATASOURCE, ORDDICOM, ORDDOC, ORDIMAGE, ORDVIDEO, SDO_GEOMETRY (dan semua jenis MDSYS.SDO_* lainnya).

  • Untuk melakukan streaming kolom jenis data objek besar, seperti XMLTYPE, objek besar biner (BLOB), objek besar karakter (CLOB), dan objek besar karakter nasional (NCLOB), Anda harus menyertakan flag streamLargeObjects dalam konfigurasi streaming. Jika Anda tidak menyertakan flag, Datastream tidak akan melakukan streaming kolom tersebut dan kolom tersebut akan diganti dengan nilai NULL di tujuan. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan streaming objek besar untuk sumber Oracle. Saat melakukan streaming jenis data ini, Datastream harus membuat kueri database sumber untuk mengambil nilai LOB yang tidak ada pada satu titik waktu (dalam proses pencarian aktif yang disebut pelengkap). Hal ini terjadi dalam skenario berikut:

    • Saat payload LOB yang tidak berubah dihapus dari redo log selama UPDATE
    • Selama operasi DML apa pun yang melibatkan jenis XML biner
    • Selama DML yang diuraikan pada tabel yang berisi LOB jika stream menggunakan metode LogMiner

    Karena Datastream mengalirkan kolom ini dengan membuat kueri database, perubahan sementara mungkin tidak tercatat dalam skenario yang melibatkan update cepat dan berurutan atau penghapusan cepat setelah penyisipan. Perhatikan bahwa operasi DELETE tidak memicu pelengkap. Batasan ini sangat relevan saat menggunakan mode penulisan hanya-tambahkan, yang mengharapkan semua perubahan perantara dicatat.

  • Untuk Oracle 11g, tabel yang memiliki kolom dengan jenis data ANYDATA atau UDT tidak didukung, dan seluruh tabel tidak akan direplikasi.

  • Oracle Label Security (OLS) tidak direplikasi.

  • Datastream secara berkala mengambil skema terbaru dari sumber saat peristiwa diproses. Jika skema berubah, beberapa peristiwa dari skema baru mungkin dibaca saat skema lama masih diterapkan. Dalam hal ini, Datastream mendeteksi perubahan skema, memicu pengambilan skema, dan memproses ulang peristiwa yang gagal.

  • Tidak semua perubahan pada skema sumber dapat dideteksi secara otomatis, sehingga dapat menyebabkan kerusakan data. Perubahan skema berikut dapat menyebabkan kerusakan data atau kegagalan memproses peristiwa di downstream:

    • Menghapus kolom
    • Menambahkan kolom ke tengah tabel
    • Mengubah jenis data kolom
    • Mengurutkan ulang kolom
    • Menghapus tabel (relevan jika tabel yang sama kemudian dibuat ulang dengan data baru yang ditambahkan)
    • Memangkas tabel

  • Datastream tidak mendukung replikasi tampilan.

  • Datastream mendukung tampilan terwujud. Namun, penayangan baru yang dibuat saat streaming sedang berjalan tidak akan otomatis diisi ulang.

  • Saat menggunakan metode Oracle LogMiner, pernyataan SAVEPOINT tidak didukung dan dapat menyebabkan perbedaan data jika terjadi rollback.

  • Saat menggunakan metode pembaca biner, tabel yang dipartisi secara dinamis tidak didukung.

  • Saat menggunakan metode Oracle LogMiner, Datastream tidak mendukung replikasi tabel dan kolom yang namanya melebihi 30 karakter.

  • Datastream mendukung encoding set karakter berikut untuk database Oracle:

    • AL16UTF16
    • AL32UTF8
    • IN8ISCII
    • IW8ISO8859P8
    • JA16SJIS
    • JA16SJISTILDE
    • KO16MSWIN949
    • US7ASCII
    • UTF8
    • WE8ISO8859P1
    • WE8ISO8859P9
    • WE8ISO8859P15
    • WE8MSWIN1252
    • ZHT16BIG5

  • Datastream tidak mendukung replikasi nilai tanggal nol. Tanggal tersebut diganti dengan nilai NULL.

  • Datastream tidak mendukung konektivitas langsung ke database menggunakan fitur Single Client Access Name (SCAN) di lingkungan Oracle Real Application Clusters (RAC). Untuk mengetahui informasi tentang potensi solusi, lihat Perilaku dan batasan sumber Oracle.

  • Jika sumbernya adalah database standby Oracle Active Data Guard, Datastream hanya mendukung enkripsi tingkat tablespace dan tidak mendukung enkripsi tingkat kolom.

Batasan tambahan saat menggunakan pembaca biner

  • Metode pembaca biner berperforma tinggi hanya didukung untuk Oracle 12c dan yang lebih baru. Untuk Oracle 11g dan versi yang lebih lama, Anda harus menggunakan LogMiner.

  • Pembaca biner tidak mendukung fitur berikut:

    • Enkripsi Database Transparan (TDE)
    • Hybrid Columnar Compression
    • File yang Aman
    • ASM tidak didukung untuk sumber Amazon RDS.
    • Metode CDC pembaca biner tidak mendukung Oracle 11g dan versi yang lebih lama.

Langkah berikutnya