Sumber batch database

Halaman ini memberikan panduan tentang cara mengonfigurasi plugin sumber batch Database di Cloud Data Fusion.

Anda dapat menggunakan sumber generik ini kapan pun Anda perlu membaca dari database. Misalnya, Anda dapat menggunakannya untuk membuat snapshot harian tabel database umum dan menulis output ke BigQuery.

Mengonfigurasi plugin

  1. Buka antarmuka web Cloud Data Fusion lalu klik Studio.
  2. Pastikan Data Pipeline - Batch dipilih (bukan Realtime).
  3. Di menu Source, klik Database.
  4. Untuk mengonfigurasi plugin, tahan kursor di node plugin, lalu klik Properties.

  5. Masukkan properti berikut. Untuk mengetahui informasi selengkapnya tentang setiap properti, lihat Properti.

    1. Masukkan Label untuk node database—misalnya, database tables.

    2. Masukkan detail koneksi. Anda dapat menyiapkan koneksi baru satu kali, atau koneksi yang sudah ada dan dapat digunakan kembali.

      Koneksi baru

      Untuk menambahkan koneksi satu kali ke database, ikuti langkah-langkah berikut:

      1. Biarkan Gunakan koneksi dinonaktifkan.
      2. Masukkan properti koneksi berikut:
        1. Di kolom nama driver JDBC, masukkan nama driver, jika ada. Jika tidak, tetap pilih No JDBC plugins.
        2. Di kolom Connection string, masukkan string koneksi JDBC, termasuk nama database.
        3. Opsional: jika database Anda memerlukan autentikasi, masukkan kredensial nama pengguna dan sandi database.
        4. Opsional: jika driver JDBC Anda memerlukan konfigurasi tambahan, di kolom Argumen koneksi, masukkan argumen nilai kunci untuk koneksi.

      Koneksi yang dapat digunakan kembali

      Untuk menggunakan kembali koneksi yang ada, ikuti langkah-langkah berikut:

      1. Aktifkan Gunakan koneksi.
      2. Klik Jelajahi koneksi.

      3. Pilih koneksi.

      4. Opsional: jika koneksi tidak ada dan Anda ingin membuat koneksi baru yang dapat digunakan kembali, klik Tambahkan koneksi dan lihat langkah-langkah di tab Koneksi baru di halaman ini.

    3. Opsional: untuk menguji konektivitas, klik Dapatkan skema. Skema ini digunakan sebagai pengganti skema apa pun yang ditampilkan dari kueri. Skema ini harus cocok dengan skema yang ditampilkan dari kueri, kecuali Anda dapat menandai kolom sebagai nullable dan kolom tersebut dapat berisi subset kolom.

    4. Di kolom Kueri impor, masukkan kueri SELECT untuk mengimpor data dari tabel yang ditentukan—misalnya, select id, name, email, phone from users;.

    5. Opsional: di kolom Bounding query, masukkan nilai minimum dan maksimum yang akan dibaca—misalnya, SELECT * FROM table WHERE $CONDITIONS.

    6. Opsional: di kolom Nama kolom pengelompokan, masukkan nama kolom yang menghasilkan pengelompokan.

    7. Opsional: di kolom Jumlah pemisahan yang akan dibuat, masukkan angka—misalnya, 2.

    8. Opsional: di kolom Ukuran pengambilan, masukkan angka—misalnya, 1000.

    9. Opsional: masukkan Properti lanjutan, seperti mengubah huruf besar/kecil nama kolom.

  6. Opsional: klik Validasi dan atasi error yang ditemukan.

  7. Klik Close. Properti disimpan dan Anda dapat melanjutkan pembangunan pipeline data di Cloud Data Fusion Studio.

Properti

Properti Makro diaktifkan Wajib Deskripsi
Label Tidak Ya Nama node dalam pipeline data Anda.
Menggunakan koneksi Tidak Tidak Telusuri koneksi ke sumber. Jika Gunakan koneksi dipilih, Anda tidak perlu memberikan kredensial.
Koneksi Ya Ya Nama koneksi yang akan digunakan. Jika Gunakan koneksi dipilih, kolom ini akan muncul. Informasi database dan tabel disediakan oleh koneksi.
Nama driver JDBC Ya Ya Driver JDBC yang akan digunakan.
Default-nya adalah Tidak ada plugin JDBC.
String koneksi Ya Ya String koneksi JDBC, termasuk nama database.
Username Ya Tidak Identitas pengguna untuk terhubung ke database. Diperlukan untuk database yang memerlukan autentikasi. Opsional untuk database yang tidak memerlukan autentikasi.
Password Ya Tidak Sandi yang akan digunakan untuk terhubung ke database yang ditentukan. Diperlukan untuk database yang memerlukan autentikasi. Opsional untuk database yang tidak memerlukan autentikasi.
Argumen koneksi Ya Tidak Daftar pasangan nilai/tag string arbitrer sebagai argumen koneksi. Untuk driver JDBC yang memerlukan konfigurasi tambahan, argumen ini diteruskan ke driver JDBC sebagai argumen koneksi dalam format berikut: key1=value1;key2=value.
Nama referensi Tidak Ya Nama yang secara unik mengidentifikasi sumber ini untuk silsilah dan anotasi metadata. Biasanya berupa nama tabel atau tampilan.
Mendapatkan skema Tidak Tidak Skema rekaman yang dihasilkan oleh sumber. Ini digunakan sebagai pengganti skema yang ditampilkan oleh kueri. Harus cocok dengan skema yang ditampilkan dari kueri, kecuali Anda dapat menandai kolom sebagai nullable dan dapat berisi subset kolom.
Kueri impor Ya Ya Kueri SELECT untuk mengimpor data dari tabel yang ditentukan. Anda dapat menentukan jumlah kolom yang akan diimpor, atau mengimpor semua kolom menggunakan *. Kueri harus berisi string $CONDITIONS. Misalnya, SELECT * FROM table WHERE $CONDITIONS. String $CONDITIONS diganti dengan batas kolom splitBy yang ditentukan dalam kolom Bounding query. String $CONDITIONS tidak diperlukan jika kolom Jumlah pemisahan ditetapkan ke 1.
Kueri pembatas Ya Tidak Kueri batas yang menampilkan nilai minimum dan maksimum dari nilai dari kolom pemisahan. Misalnya, SELECT MIN(id),MAX(id) FROM table. Tidak diperlukan jika jumlah pemisahan ditetapkan ke 1.
Nama kolom pisah menurut Ya Tidak Nama kolom yang digunakan untuk membuat pemisahan. Tidak diperlukan jika jumlah pemisahan yang akan dibuat ditetapkan ke 1.
Jumlah pemisahan yang akan dibuat Ya Tidak Jumlah pemisahan yang akan dibuat.
Defaultnya adalah 1.
Ukuran pengambilan data Ya Tidak Jumlah baris yang akan diambil sekaligus per pemisahan. Ukuran pengambilan yang lebih besar dapat menyebabkan impor lebih cepat, dengan konsekuensi penggunaan memori yang lebih tinggi.
Defaultnya adalah 1000.
Mengaktifkan commit otomatis Tidak Tidak Apakah akan mengaktifkan penerapan otomatis untuk kueri yang dijalankan oleh sumber ini. Tetapkan setelan ini ke False kecuali jika Anda menggunakan driver JDBC yang menyebabkan error saat operasi commit dijalankan.
Defaultnya adalah False.
Kasus nama kolom Ya Tidak Menetapkan huruf besar/kecil nama kolom yang ditampilkan dari kueri. Anda dapat memilih huruf besar atau kecil. Secara default, atau untuk input lainnya, nama kolom tidak diubah dan huruf yang ditampilkan dari database digunakan. Menetapkan properti ini memberikan prediktabilitas kapitalisasi nama kolom di berbagai database, tetapi dapat menyebabkan konflik nama kolom jika beberapa nama kolom sama saat huruf besar/kecil diabaikan.
Default-nya adalah Tidak ada perubahan.
Tingkat isolasi transaksi Ya Tidak Tingkat isolasi transaksi untuk kueri yang dijalankan oleh sink ini. Untuk mengetahui informasi selengkapnya, lihat setTransactionIsolation(). Driver JDBC Phoenix akan memunculkan pengecualian jika transaksi tidak diaktifkan di database Phoenix dan kolom ini disetel ke true. Untuk pengemudi seperti itu, tetapkan kolom ini ke TRANSACTION_NONE.
Default-nya adalah TRANSACTION_SERIALIZABLE.
Pola yang akan diganti Tidak Tidak Pola yang akan diganti dalam nama kolom di tabel (biasanya digunakan dengan properti Ganti dengan). Jika properti Ganti dengan tidak disetel, pola akan dihapus dari nama kolom.
Ganti dengan Tidak Tidak String yang diganti dalam nama kolom di tabel. Anda juga harus mengonfigurasi kolom Pola yang akan diganti.
Skema output Tidak Tidak Menentukan skema yang dihasilkan. Hanya kolom yang ditentukan dalam skema yang disertakan dalam rekaman output.

Praktik terbaik

Periksa apakah ada plugin yang lebih spesifik untuk database Anda. Misalnya, jika Anda memiliki sumber database Oracle, gunakan plugin sumber batch database Oracle karena plugin ini dirancang untuk bekerja dengan skema Oracle.

Langkah berikutnya