Mengimpor metadata dari MySQL

Dokumen ini menjelaskan cara mengimpor metadata dari MySQL ke Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan konektor Knowledge Catalog.

Konektor ini mendukung instance MySQL yang dihosting secara lokal, di Cloud SQL, atau di lingkungan cloud lainnya.

Sebelum Anda dapat mengimpor metadata dari MySQL, selesaikan tugas berikut:

  1. Berikan peran dan izin yang diperlukan.
  2. Aktifkan Knowledge Catalog dan BigQuery Data Transfer Service API.
  3. Penuhi prasyarat MySQL.
  4. Memenuhi prasyarat jaringan.

Peran dan izin IAM

Untuk membuat dan mengelola tugas konektor Knowledge Catalog, Anda memerlukan peran Identity and Access Management (IAM) yang memberikan izin untuk Knowledge Catalog dan BigQuery Data Transfer Service.

Untuk mendapatkan izin yang Anda perlukan guna mengonfigurasi konektor MySQL, minta administrator Anda untuk memberi Anda peran IAM berikut:

Selain itu, Anda harus memberikan izin dataplex.entryGroups.import atau peran Pengimpor Grup Entri Dataplex (roles/dataplex.entryGroupImporter) kepada agen layanan BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com). Anda dapat memberikan peran ini di tingkat project atau tingkat grup entri.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Mengaktifkan API

Aktifkan Knowledge Catalog API dan BigQuery Data Transfer Service API.

Aktifkan API

Prasyarat MySQL

Pastikan Anda memenuhi prasyarat untuk transfer MySQL. Untuk mengetahui detailnya, lihat Prasyarat MySQL dalam dokumentasi BigQuery Data Transfer Service.

Selain prasyarat BigQuery Data Transfer Service, database MySQL Anda harus memenuhi persyaratan berikut untuk ekstraksi metadata:

  • Versi minimum: MySQL versi 8.0 atau yang lebih baru.
  • Izin minimum yang diperlukan: Alat ekstraksi memerlukan izin tertentu agar berhasil membuat kueri INFORMATION_SCHEMA dan mengumpulkan metadata.

Izin ini memastikan cakupan metadata berikut:

  • Informasi instance dan database: Konfigurasi nama host, port, versi, dan skema.
  • Tabel dan kolom: Struktur inti, jenis data, dan metadata operasional, seperti ukuran dan jumlah baris.
  • Indeks dan partisi: Indeks sekunder, metode partisi, dan ekspresi.
  • Tampilan: Struktur dan definisi tabel virtual.
  • Rutinitas: Prosedur tersimpan, fungsi, dan parameternya.
  • Batasan: Batasan kunci utama, kunci asing, unik, dan pemeriksaan yang mendetail.
  • Pemicu: Definisi pemicu dan waktu peristiwa.

Untuk memberikan izin ini, jalankan skrip SQL berikut.

  1. Buat pengguna:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. Memberikan akses metadata. Anda dapat memberikan akses untuk satu database target atau di semua database pada instance.

    Untuk memberikan akses bagi satu database atau skema target:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    Atau, untuk memberikan akses ke semua database di instance:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. Izinkan alat ekstraksi mencantumkan semua database yang tersedia di instance:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. Terapkan perubahan:

    FLUSH PRIVILEGES;

Prasyarat jaringan

Lampiran jaringan untuk koneksi melalui Private Service Connect diperlukan saat terhubung dengan aman ke database eksternal atau sumber data cloud pihak ketiga dengan alamat IP pribadi di dalam jaringan pribadi, agar BigQuery Data Transfer Service dapat mengakses database Anda.

Jika Anda terhubung ke lingkungan lokal atau instance yang dihosting di cloud menggunakan alamat IP publik, lampiran jaringan tidak diperlukan.

Mengonfigurasi konektor MySQL

  1. Di konsol Google Cloud , buka halaman Knowledge Catalog.

    Buka Knowledge Catalog

  2. Di menu navigasi, di bagian Kelola, klik Konektor.

  3. Klik Tambahkan koneksi.

  4. Di daftar Konektor, pilih kartu MySQL.

  5. Di bagian Data source details, berikan detail koneksi untuk instance MySQL Anda:

    • Untuk Lampiran jaringan, pilih lampiran jaringan yang ada jika diperlukan, atau buat lampiran jaringan.
    • Masukkan Host, Port, Nama database, Nama pengguna, dan Sandi.
    • Jika menggunakan TLS, pilih Mode TLS dan berikan Sertifikat PEM Tepercaya.
    • Untuk Objek metadata MySQL yang akan diimpor, klik Browse untuk memilih objek.

  6. Di bagian Setelan tujuan:

    • Klik Jelajahi dan pilih grup entri Katalog Pengetahuan yang ada untuk menyimpan metadata yang diimpor, atau klik Buat grup entri baru.
    • Pilih apakah akan menetapkan izin pada grup entri sekarang atau nanti. Tetapkan izin agar pengguna dapat melihat metadata yang diimpor. Jika Anda tidak memberikan peran Pengimpor Grup Entri Dataplex (roles/dataplex.entryGroupImporter) atau izin dataplex.entryGroups.import kepada agen layanan BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) di tingkat project, Anda harus memberikannya di tingkat grup entri.

  7. Di bagian Connector config name, untuk Display name, masukkan nama untuk tugas impor metadata.

  8. Di bagian Schedule options, konfigurasikan frekuensi untuk tugas impor metadata. Jika Anda memilih Sesuai permintaan, tugas hanya berjalan saat Anda memicunya secara manual.

  9. Opsional: Di bagian Notification options, konfigurasi notifikasi email atau Pub/Sub untuk kegagalan tugas.

  10. Opsional: Di bagian Advanced options, konfigurasi setelan enkripsi. Jika Anda memilih kunci enkripsi yang dikelola pelanggan (CMEK), perhatikan bahwa kunci tersebut digunakan untuk mengenkripsi data sementara yang dipersiapkan sebelum memulai tugas impor metadata Knowledge Catalog. Tidak digunakan untuk mengenkripsi metadata dalam grup entri Katalog Pengetahuan tujuan.

  11. Klik Simpan.

Setelah Anda membuat tugas, Knowledge Catalog menjadwalkan tugas pertama sesuai dengan konfigurasi Anda, atau Anda dapat memulainya secara manual.

Langkah berikutnya