Streaming data dari database Oracle

Bagian ini berisi informasi tentang:

  • Perilaku Datastream dalam menangani data yang ditarik dari database Oracle sumber
  • Versi database Oracle yang didukung Datastream
  • Ringkasan cara menyiapkan database Oracle sumber sehingga data dapat di-streaming dari database tersebut ke tujuan
  • Batasan yang diketahui saat menggunakan database Oracle sebagai sumber

Perilaku

Datastream mendukung dua metode untuk mengekstrak perubahan pada data dari file log redo online: pembaca log biner Oracle (Pratinjau) dan Oracle LogMiner.

Dengan metode pembaca log biner (Pratinjau), perilaku berikut diamati:

  • Jika ada jeda baca saat mengekstrak perubahan dari file log online, Datastream akan mengekstrak perubahan dari file log yang diarsipkan.

  • Datastream hanya mereplikasi perubahan yang di-commit ke tujuan. Transaksi yang tidak di-commit atau di-roll back tidak direplikasi.

  • Pembaca biner mendukung replikasi kolom VARCHAR2 Oracle yang lebih panjang dari 4.000 karakter.

Datastream juga mendukung fitur Oracle LogMiner untuk menampilkan perubahan pada data. Metode ini memiliki perilaku berikut:

  • Semua skema atau skema tertentu dari database tertentu, serta semua tabel dari skema atau tabel tertentu, dapat dipilih.
  • Semua data historis direplikasi.
  • Semua perubahan bahasa pengolahan data (DML), seperti penyisipan, pembaruan, dan penghapusan dari database dan tabel yang ditentukan, direplikasi.
  • Datastream mereplikasi perubahan yang di-commit dan, dalam beberapa kasus, perubahan yang tidak di-commit ke tujuan. Datastream membaca perubahan yang tidak di-commit. Jika terjadi rollback, output Datastream juga mencakup operasi yang berlawanan. Misalnya, jika ada operasi INSERT yang di-roll back, maka data output juga akan berisi operasi DELETE yang sesuai. Dalam hal ini, peristiwa akan muncul sebagai peristiwa DELETE dengan hanya ROWID.

Pengisian ulang berbasis ROWID

Di Oracle, ROWID adalah pseudokolom yang menyimpan ID unik untuk baris dalam tabel. Datastream menggunakan nilai ROWID untuk operasi pengisian ulang. Oleh karena itu, sebaiknya jangan lakukan tindakan apa pun yang dapat mengubah nilai ROWID di database Oracle sumber hingga operasi pengisian ulang selesai.

Tindakan yang dapat mengubah nilai ROWID mencakup:

  • Perpindahan fisik baris:

    • Operasi ekspor dan impor: saat Anda mengekspor tabel, lalu mengimpornya kembali, lokasi fisik baris mungkin berubah, sehingga menghasilkan nilai ROWID baru.
    • Perintah ALTER TABLE (...) MOVE: memindahkan tabel ke tablespace lain dapat mengubah penyimpanan fisik dan menyebabkan perubahan ROWID.
    • Perintah ALTER TABLE (...) SHRINK SPACE: perintah ini mengompresi tabel, yang berpotensi memindahkan baris dan memengaruhi nilai ROWID-nya.
    • Operasi partisi: membagi, menggabungkan, atau memindahkan partisi dapat mengubah penempatan fisik baris dan nilai ROWID-nya.

  • Operasi Flashback:

    • Perintah FLASHBACK TABLE: memulihkan tabel ke status sebelumnya melibatkan penghapusan dan penyisipan ulang baris, sehingga membuat nilai ROWID baru.
    • FLASHBACK_TRANSACTION_QUERY: Mirip dengan FLASHBACK TABLE. Meng-roll back transaksi dapat menyebabkan perubahan ROWID jika baris dihapus atau diperbarui dalam transaksi.

Memecahkan masalah pengisian ulang tabel partisi Oracle 11.2.0.4

Jika pengisian ulang gagal untuk tabel yang dipartisi di Oracle 11.2.0.4 dengan error pengambilan yang tidak terduga (indeks di luar batas), hal ini disebabkan oleh bug metadata Oracle yang menyebabkan kueri ke ALL_OBJECTS gagal menampilkan sub-partisi.

  • Solusi: batalkan sementara hak istimewa SELECT ON DBA_EXTENTS dari pengguna Datastream (misalnya, REVOKE SELECT ON sys.dba_extents FROM USER_NAME;). Tindakan ini akan memaksa Datastream menggunakan pengisian ulang berbasis indeks, sehingga mengatasi masalah metadata.

Versi

Datastream mendukung versi database Oracle berikut:

  • Oracle 11g, Versi 11.2.0.4 (hanya didukung dengan metode CDC Logminer)
  • Oracle 12c, Versi 12.1.0.2
  • Oracle 12c, Versi 12.2.0.1
  • Oracle 18c
  • Oracle 19c
  • Oracle 21c

Datastream mendukung jenis database Oracle berikut:

  • Dihosting sendiri secara lokal atau di penyedia cloud mana pun
  • Amazon RDS untuk Oracle
  • Oracle Cloud
  • Oracle Exadata
  • Oracle RAC
  • Database standby Oracle Active Data Guard

Penyiapan

Untuk menyiapkan database Oracle sumber sehingga data dari database tersebut dapat di-streaming ke tujuan, Anda harus mengonfigurasi database untuk memberikan akses, menyiapkan logging, dan menentukan kebijakan retensi.

Lihat Mengonfigurasi database Oracle sumber untuk mempelajari cara mengonfigurasi database ini sehingga Datastream dapat menarik data dari database tersebut ke tujuan.

Praktik terbaik

Bagian ini menjelaskan praktik terbaik yang direkomendasikan untuk mengonfigurasi sumber Oracle agar dapat digunakan dengan Datastream.

Kepekaan huruf besar/kecil untuk pembaca biner

Saat mengonfigurasi sumber Oracle dengan metode CDC pembaca biner dan menentukan nama direktori untuk log redo dan arsip, perhatikan bahwa nama tersebut peka huruf besar/kecil. Pastikan nama direktori yang Anda berikan di profil koneksi Datastream cocok dengan huruf besar/kecil nama direktori di database Oracle Anda.

Konkurensi CDC

Untuk meminimalkan jeda replikasi, pastikan Datastream dapat memproses log redo secepat sumber Oracle Anda membuatnya. Saat menggunakan metode CDC pembaca biner, konkurensi Datastream berada di tingkat file log redo: setiap tugas yang ditentukan oleh maxConcurrentCdcTasks memproses satu file dalam satu waktu.

Sebaiknya gunakan metodologi berikut:

  • Menyesuaikan konkurensi di Datastream: Identifikasi jumlah rata-rata pengalihan redo log selama jam kerja puncak Anda dan konfigurasi parameter maxConcurrentCdcTasks dengan tepat. Untuk mengetahui informasi selengkapnya, lihat Jumlah maksimum tugas CDC.
  • Mengonfigurasi pengalihan log Oracle: Konfigurasi Oracle untuk sering mengalihkan log, misalnya, setiap 10-20 menit. Tindakan ini akan membuat aliran unit kerja yang lebih kecil dan stabil, sehingga tugas serentak Datastream dapat bekerja secara paralel dengan efektif.

Sebaiknya optimalkan setelan Anda sehingga ada cukup tugas serentak di Datastream untuk menangani pembuatan log redo yang lebih kecil dan sering dari Oracle. Untuk mengetahui informasi selengkapnya, lihat kontrol konkurensi streaming.

Batasan umum

Batasan yang diketahui saat menggunakan database Oracle sebagai sumber mencakup:

  • Streaming dibatasi hingga 10.000 tabel. Jika streaming menyertakan lebih dari 10.000 tabel, streaming tersebut mungkin mengalami error.
  • Datastream mendukung arsitektur multi-tenant Oracle (CDB/PDB). Namun, Anda hanya dapat mereplikasi satu database yang dapat dicocokkan dalam streaming.
  • Oracle Autonomous Database tidak didukung.
  • Untuk tabel yang tidak memiliki kunci utama, Datastream menggunakan ROWID baris untuk melakukan operasi gabungan di sisi konsumen. Perhatikan bahwa ROWID mungkin tidak unik. Misalnya, jika Anda menghapus dan menyisipkan kembali baris dengan utilitas Ekspor/Impor Oracle, ROWID baris mungkin akan berubah. Jika Anda menghapus baris, Oracle dapat menetapkan kembali ROWID ke baris baru yang disisipkan nanti.
  • Tabel yang diatur indeks (IOT) tidak didukung.
  • Tabel sementara tidak didukung.
  • Jenis data Oracle berikut tidak didukung dan tidak direplikasi. Kolom jenis ini direplikasi sebagai nilai NULL di tujuan:
    • ANYDATA, ANYDATASET, ANYTYPE
    • VARRAY (Array Oracle)
    • BFILE, BFILENAME
    • INTERVAL DAY TO SECOND, INTERVAL YEAR TO MONTH
    • LONG, LONG RAW
    • UROWID
    • UDT
    • Jenis media dan spasial: ORDAUDIO, ORDDATASOURCE, ORDDICOM, ORDDOC, ORDIMAGE, ORDVIDEO, SDO_GEOMETRY (dan semua jenis MDSYS.SDO_* lainnya).

  • Untuk melakukan streaming kolom jenis data objek besar, seperti XMLTYPE, objek besar biner (BLOB), objek besar karakter (CLOB), dan objek besar karakter nasional (NCLOB), Anda harus menyertakan flag streamLargeObjects dalam konfigurasi streaming. Jika Anda tidak menyertakan flag, Datastream tidak akan melakukan streaming kolom tersebut dan kolom tersebut akan diganti dengan nilai NULL di tujuan. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan streaming objek besar untuk sumber Oracle. Saat melakukan streaming jenis data ini, Datastream harus membuat kueri database sumber untuk mengambil nilai LOB yang tidak ada pada waktu tertentu (dalam proses pencarian aktif yang disebut suplementasi). Hal ini terjadi dalam skenario berikut:

    • Saat payload LOB yang tidak berubah dihilangkan dari log redo selama UPDATE
    • Selama operasi DML apa pun yang melibatkan jenis XML biner
    • Selama DML yang diuraikan pada tabel yang berisi LOB jika streaming menggunakan metode LogMiner

    Karena Datastream melakukan streaming kolom ini dengan membuat kueri database, perubahan sementara mungkin tidak akan diambil dalam skenario yang melibatkan pembaruan cepat dan berurutan atau penghapusan cepat setelah penyisipan. Perhatikan bahwa operasi DELETE tidak memicu suplementasi. Batasan ini sangat relevan saat menggunakan mode tulis hanya tambahkan, yang mengharapkan semua perubahan sementara diambil.

  • Untuk Oracle 11g, tabel yang memiliki kolom jenis data ANYDATA atau UDT tidak didukung, dan seluruh tabel tidak akan direplikasi.

  • Oracle Label Security (OLS) tidak direplikasi.

  • Datastream secara berkala mengambil skema terbaru dari sumber saat peristiwa diproses. Jika skema berubah, beberapa peristiwa dari skema baru mungkin dibaca saat skema lama masih diterapkan. Dalam hal ini, Datastream mendeteksi perubahan skema, memicu pengambilan skema, dan memproses ulang peristiwa yang gagal.

  • Tidak semua perubahan pada skema sumber dapat dideteksi secara otomatis, sehingga dapat menyebabkan kerusakan data. Perubahan skema berikut dapat menyebabkan kerusakan data atau kegagalan memproses peristiwa di downstream:

    • Menghapus kolom
    • Menambahkan kolom ke bagian tengah tabel
    • Mengubah jenis data kolom
    • Mengurutkan ulang kolom
    • Menghapus tabel (relevan jika tabel yang sama kemudian dibuat ulang dengan data baru yang ditambahkan)
    • Memangkas tabel

  • Datastream tidak mendukung replikasi tampilan.

  • Datastream mendukung tampilan terwujud. Namun, tampilan baru yang dibuat saat streaming berjalan tidak akan diisi ulang secara otomatis.

  • Saat menggunakan metode Oracle LogMiner, SAVEPOINT pernyataan tidak didukung dan dapat menyebabkan perbedaan data jika terjadi rollback.

  • Saat menggunakan metode pembaca biner, tabel yang dipartisi secara dinamis tidak didukung.

  • Saat menggunakan metode Oracle LogMiner, Datastream tidak mendukung replikasi tabel dan kolom yang namanya melebihi 30 karakter.

  • Datastream mendukung encoding kumpulan karakter berikut untuk database Oracle:

    • AL16UTF16
    • AL32UTF8
    • IN8ISCII
    • IW8ISO8859P8
    • JA16SJIS
    • JA16SJISTILDE
    • KO16MSWIN949
    • US7ASCII
    • UTF8
    • WE8ISO8859P1
    • WE8ISO8859P9
    • WE8ISO8859P15
    • WE8MSWIN1252
    • ZHT16BIG5

  • Datastream tidak mendukung replikasi nilai tanggal nol. Tanggal tersebut diganti dengan nilai NULL.

  • Datastream tidak mendukung konektivitas langsung ke database menggunakan fitur Single Client Access Name (SCAN) di lingkungan Oracle Real Application Clusters (RAC). Untuk mengetahui informasi tentang potensi solusi, lihat Perilaku dan batasan sumber Oracle.

  • Jika sumbernya adalah database standby Oracle Active Data Guard, Datastream tidak mendukung replikasi data terenkripsi.

Batasan tambahan saat menggunakan pembaca biner

  • Metode pembaca biner berperforma tinggi hanya didukung untuk Oracle 12c dan yang lebih baru. Untuk Oracle 11g dan versi sebelumnya, Anda harus menggunakan LogMiner.

  • Pembaca biner tidak mendukung fitur berikut:

    • Enkripsi Database Transparan (TDE)
    • Kompresi Kolom Hybrid
    • File yang Aman
    • ASM tidak didukung untuk sumber Amazon RDS.
    • Metode CDC pembaca biner tidak mendukung Oracle 11g dan versi sebelumnya.

Langkah berikutnya