Secara default, Looker menggunakan database dalam memori HyperSQL untuk menyimpan konfigurasi, pengguna, dan data lainnya. Pada instance yang sibuk, database ini dapat bertambah hingga berukuran gigabyte, yang dapat menyebabkan masalah performa, tekanan memori Java, dan waktu startup yang lama.
Pada instance yang dihosting pelanggan, sebaiknya ganti database HyperSQL dengan backend database MySQL lengkap jika ukuran database HyperSQL internal melebihi 600 MB. Untuk memeriksa ukuran database HyperSQL, lihat ukuran file looker.script:
cd looker
cd .db
ls -lah
Jika ukuran file looker.script melebihi 600 MB, ikuti prosedur berikut untuk bermigrasi ke database MySQL eksternal.
Menyediakan instance dan pengguna MySQL
Anda dapat menyediakan instance MySQL 8.4.X (direkomendasikan) atau MySQL 8.0.X untuk digunakan sebagai backend. MySQL versi sebelum 8.0 tidak didukung.
Looker 26.6 dan yang lebih baru mendukung MySQL 8.4.X untuk database backend Looker. Untuk instance yang dihosting pelanggan yang menggunakan MySQL 8.0.X untuk database backend Looker, sebaiknya update ke MySQL 8.4.X segera setelah Anda mengupdate instance Looker ke versi 26.6 atau yang lebih baru.
Di AWS RDS, instance class db.m5.large mungkin sudah cukup sebagai backend untuk satu instance Looker. Meskipun penggunaan database yang sebenarnya kemungkinan akan berada dalam kisaran 5-10 GB, sebaiknya sediakan penyimpanan SSD sebesar 100-150 GB karena IOPS yang disediakan didasarkan pada jumlah penyimpanan yang diminta.
MySQL 8.4.X
Looker mendukung penggunaan MySQL 8.4.X sebagai database internal mulai dari Looker 26.6. Untuk MySQL 8.4.X, Anda dapat menggunakan salah satu plugin autentikasi MySQL berikut, seperti yang dijelaskan di bagian berikut:
Menggunakan caching_sha2_password
Di MySQL 8.4.X, plugin autentikasi default adalah caching_sha2_password. Looker menyediakan dua cara untuk menggunakan plugin caching_sha2_password:
- Saat menggunakan koneksi SSL untuk database internal: Kunci publik RSA tidak diperlukan. Looker terhubung dengan aman ke database menggunakan kredensial pengguna yang diberikan. Lihat bagian Membuat file kredensial database di halaman ini untuk menyiapkan koneksi SSL ke database Anda.
- Jika tidak terhubung dengan SSL yang diaktifkan: Looker secara default menggunakan opsi
--get-server-public-keyuntuk terhubung ke database internal saat plugincaching_sha2_passworddigunakan oleh akun pengguna yang diberikan ke Looker. Pastikan lingkungan jaringan aman jika SSL tidak diaktifkan.
Untuk kedua cara penggunaan plugin caching_sha2_password, siapkan pengguna dengan mengeluarkan pernyataan berikut:
CREATE USER 'DB_username' IDENTIFIED WITH caching_sha2_password BY 'password';
Ganti kode berikut:
- DB_username: nama pengguna
- password: sandi yang unik dan aman
Menggunakan mysql_native_password
Looker berfungsi dengan plugin mysql_native_password untuk melakukan autentikasi ke database MySQL melalui driver JDBC. Agar MySQL 8.4.X dapat berfungsi dengan plugin mysql_native_password, Anda harus melakukan langkah-langkah tambahan berikut:
Konfigurasikan database MySQL untuk mengaktifkan plugin
mysql_native_password. Hal ini dapat dilakukan dengan beberapa cara, bergantung pada cara database MySQL Anda di-deploy dan jenis akses yang Anda miliki ke konfigurasi:- Mulai server MySQL dengan
--mysql-native-password=ON. Tetapkan properti di file konfigurasi
my.cnf:[mysqld] mysql_native_password=ONJika instance MySQL dihosting di Google Cloud, AWS, atau Azure, plugin
mysql_native_passwordakan diaktifkan secara otomatis. Lihat dokumentasi penyedia Anda untuk mengetahui petunjuk mendetail.
- Mulai server MySQL dengan
Buat pengguna:
CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';Ganti kode berikut:
- DB_username: nama pengguna
- password: sandi yang unik dan aman
MySQL 8.0.X
Di MySQL 8.0.X, plugin autentikasi default adalah caching_sha2_password. Looker menggunakan plugin mysql_native_password
untuk mencoba melakukan autentikasi ke database MySQL melalui driver JDBC. Agar MySQL 8.0.X berfungsi dengan baik, Anda harus melakukan langkah-langkah tambahan berikut:
Konfigurasikan database MySQL untuk menggunakan plugin
mysql_native_password. Hal ini dapat dilakukan dengan beberapa cara, dan akan bergantung pada cara database MySQL 8 Anda di-deploy dan jenis akses yang Anda miliki ke konfigurasi:Mulai proses dengan flag
--default-auth=mysql_native_passwordTetapkan properti di file konfigurasi
my.cnf:[mysqld] default-authentication-plugin=mysql_native_passwordJika instance database Anda dihosting melalui AWS RDS, tetapkan parameter
default_authentication_pluginmelalui Grup Parameter RDS yang diterapkan ke instance database ini.
Buat pengguna:
CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';Ganti kode berikut:
- DB_username: nama pengguna
- password: sandi yang unik dan aman
Menyesuaikan MySQL
Sesuaikan setelan berikut di instance MySQL Anda.
Meningkatkan ukuran paket maksimum
Ukuran max_allowed_packet default MySQL terlalu kecil untuk migrasi database dan dapat menyebabkan migrasi gagal dengan error PACKET_TOO_LARGE. Tetapkan max_allowed_packet ke nilai maksimum yang diizinkan, yaitu 1073741824:
max_allowed_packet = 1073741824
Menetapkan algoritma tabel sementara
MySQL 8 menangani tabel sementara internal secara berbeda dari versi sebelumnya. Setelan default dapat menyebabkan masalah saat menjalankan beberapa kueri yang diperlukan agar Looker dapat berjalan, terutama untuk instance Looker dengan banyak pengguna dan project. Praktik terbaiknya adalah menetapkan setelan server global berikut:
internal_tmp_mem_storage_engine = MEMORY
Mengonfigurasi himpunan karakter
Tetapkan parameter default berikut untuk menggunakan UTF8mb4, yang mendukung himpunan karakter UTF8. Lihat artikel In MySQL, never use "utf8". Gunakan "utf8mb4". untuk mengetahui informasi tentang alasan kami merekomendasikan penggunaan UTF8mb4 — bukan UTF8 — dengan MySQL.
character_set_client = utf8mb4
character_set_results = utf8mb4
character_set_connection = utf8mb4
character_set_database = utf8mb4
character_set_server = utf8mb4
collation_connection = utf8mb4_general_ci
collation_server = utf8mb4_general_ci
Pada instance Amazon RDS, Anda menerapkan setelan ini dengan membuat atau mengubah grup parameter dan mengedit setelan yang sesuai. Sebaiknya salin grup parameter saat ini dan buat perubahan pada salinan tersebut, terutama jika Anda berbagi grup parameter di beberapa instance RDS. Setelah menyimpan grup parameter, terapkan ke instance RDS. Mungkin perlu memulai ulang.
Menetapkan skema replika
Looker mengandalkan fungsi yang memerlukan binlog mixed atau row. Jika Anda menghosting instance MySQL Anda sendiri, tetapkan binlog_format ke mixed atau row dengan mengeluarkan salah satu perintah berikut:
SET GLOBAL binlog_format = 'MIXED';
atau
SET GLOBAL binlog_format = 'ROW';
Membuat database dan memberikan izin pengguna
Buat database pada instance database:
create database DB_name default character set DB_charset default collate DB_collation;
Kemudian, berikan izin kepada pengguna yang Anda buat saat menyediakan instance dan pengguna MySQL:
grant all on DB_name.* to 'DB_username'@'%';
grant all on looker_tmp.* to 'DB_username'@'%';
Ganti kode berikut:
- DB_name: nama database
- DB_charset: himpunan karakter yang cocok dengan setelan parameter server MySQL Anda. Gunakan
utf8mb4untuk dukungan UTF-8 penuh. - DB_collation: pemeriksaan yang cocok dengan setelan parameter server MySQL Anda. Looker memerlukan
utf8mb4_general_ci. - DB_username: nama pengguna
Database looker_tmp di baris terakhir tidak harus benar-benar ada, tetapi pernyataan grant diperlukan untuk pelaporan internal.
Membuat file kredensial database
Looker perlu mengetahui database MySQL mana yang akan diajak berkomunikasi dan kredensial mana yang akan digunakan. Di direktori Looker, buat file bernama looker-db.yml dengan konten berikut, ganti DB_hostname, DB_username, DB_password, dan DB_name dengan nilai untuk database Anda:
dialect: mysql_8
host: DB_hostname
username: DB_username
password: DB_password
database: DB_name
port: 3306
Jika database MySQL Anda memerlukan koneksi SSL, tambahkan baris berikut ke looker-db.yml:
ssl: true
Jika Anda juga ingin mengaktifkan verifikasi sertifikat SSL, tambahkan baris berikut ke looker-db.yml:
verify_ssl: true
Secara opsional, Anda juga dapat menentukan parameter JDBC tambahan lainnya yang didukung oleh Driver JDBC MariaDB dengan menambahkan jdbc_additional_params. Misalnya, jika Anda perlu menggunakan file Trust Store tertentu, Anda dapat menambahkan parameter berikut ke string koneksi JDBC MySQL:
jdbc_additional_params: trustStore=/path/to/my/truststore.jks&keyStore=/path/to/my/keystore.jks
Untuk penginstalan yang dihosting pelanggan, Anda dapat menentukan jumlah maksimum koneksi yang dapat dibuat Looker dengan database Anda dengan menambahkan max_connections. Misalnya, untuk membatasi jumlah koneksi serentak ke database Anda menjadi 10, tambahkan kode berikut:
max_connections: 10
Berdasarkan skema enkripsi Looker, semua data sensitif dalam database dienkripsi dalam penyimpanan. Meskipun seseorang mendapatkan akses ke kredensial database teks biasa dan mengakses database, Looker mengenkripsi atau melakukan hashing pada data sensitif sebelum menyimpannya. Hal ini berlaku untuk elemen seperti sandi, kredensial database analisis, dan cache kueri. Namun, jika Anda tidak ingin menyimpan sandi cleartext untuk konfigurasi ini dalam file looker-db.yml di disk, Anda dapat mengonfigurasi variabel lingkungan LOOKER_DB agar berisi daftar kunci dan nilai untuk setiap baris dalam file looker-db.yml. Contoh:
export LOOKER_DB="dialect=mysql_8&host=localhost&username=root&password=&database=looker&port=3306"
Mencadangkan direktori .db
Cadangkan direktori .db, yang berisi file yang diperlukan untuk membangun database HyperSQL dalam memori, jika Anda perlu memulihkan HyperSQL:
cp -r .db .db-backup
tar -zcvf db-backup.tar.gz ./.db-backup
Memigrasikan database
Memigrasikan database ke MySQL dapat memerlukan waktu berjam-jam pada instance sedang atau besar, terutama jika database HyperSQL berukuran 1 GB atau lebih. Sebaiknya upgrade sementara instance EC2 ke m5.2xlarge (dengan RAM 32 GB untuk memungkinkan heap 26 GB yang ditentukan dalam langkah-langkah) selama migrasi, yang akan mengurangi waktu yang diperlukan menjadi ~10 menit.
Di host Looker:
cd looker ./looker stop vi lookerDi skrip startup Looker, buat baris kedua baru dalam file:
exitHentikan instance di konsol AWS. Setelah berhenti, ubah ukuran instance EC2 menjadi
m5.2xlarge. Kemudian, mulai ulang instance.SSH ke host sebagai pengguna Looker. Pertama, pastikan Java tidak berjalan; lalu jalankan:
cd looker java -Xms26000m -Xmx26000m -jar looker.jar migrate_internal_data looker-db.ymlSaat menjalankan langkah
migrate_internal_data,libcryptmungkin tidak ditemukan dan pelacakan tumpukan akan muncul, dimulai dengan ini:NotImplementedError: getppid unsupported or native support failed to load ppid at org/jruby/RubyProcess.java:752 ppid at org/jruby/RubyProcess.java:749Jika hal ini terjadi, tetapkan
LD_LIBRARY_PATHsecara manual sebelum menjalankan perintah Java:export LD_LIBRARY_PATH=$HOME/looker/.tmp/:$LD_LIBRARY_PATHSetelah berhasil diselesaikan, hentikan instance dari konsol AWS.
Anda kini dapat memulihkan instance ke ukuran aslinya.
Mulai instance lagi.
Memulai Looker
Edit skrip startup Looker dan hapus baris
exityang Anda tambahkan sebelumnya.Pastikan tidak ada argumen yang ditentukan di
LOOKERARGSdalam skrip startup. Sebagai gantinya, argumen apa pun harus dipindahkan ke filelookerstart.cfgagar tidak ditimpa oleh versi baru skrip startup. Simpan dan keluar dari skrip startup.Edit
lookerstart.cfg. Tampilannya akan terlihat seperti berikut:LOOKERARGS="-d looker-db.yml"Jika ada argumen lain dalam skrip startup Looker, tambahkan argumen tersebut ke file
lookerstart.cfg.Arsipkan direktori
.db, jika belum diarsipkan.mv .db .db-backup tar -zcvf db-backup.tar.gz ./.db-backup rm -rf ./.db-backup/Mulai Looker:
./looker start
Memastikan Looker menggunakan database baru
Jika Looker berhasil menggunakan backend MySQL, Anda akan melihat koneksi jaringan antara instance Looker dan instance database baru. Untuk memeriksanya, jalankan perintah berikut di instance Looker:
netstat -na | grep 3306
Anda akan melihat beberapa koneksi ke instance database. Berikut adalah contoh output, yang menampilkan instance DB di alamat IP 10.0.3.155:
looker@instance1:~$ netstat -na | grep 3306
tcp6 0 0 10.0.5.131:56583 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56506 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56582 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56508 10.0.3.155:3306 ESTABLISHED
Mencadangkan Looker
Setelah Anda bermigrasi ke backend MySQL, pencadangan S3 otomatis Looker tidak akan berfungsi lagi. Sebaiknya lakukan pencadangan database MySQL setidaknya setiap malam, bersama dengan pencadangan sistem file direktori kerja Looker setiap malam. Direktori looker/log/ dapat dikecualikan dari pencadangan sistem file. Lihat halaman dokumentasi Membuat cadangan untuk mengetahui informasi selengkapnya.
Pemecahan masalah
Bagian ini menjelaskan cara menyelesaikan masalah umum yang dapat terjadi saat Anda menggunakan database backend MySQL dengan Looker.
Folder Bersama kosong atau error Illegal mix of collations setelah update
Setelah Anda mengupdate instance Looker yang dihosting pelanggan yang menggunakan database backend MySQL 8.0.x atau 8.4.x, folder Shared mungkin akan terlihat kosong di UI Looker. Dasbor dan Look juga mungkin tidak ada di hasil penelusuran meskipun Anda masih dapat membukanya menggunakan URL langsungnya. Di log backend atau respons jaringan browser, permintaan API internal gagal dengan HTTP 500 Internal Server Error dan pengecualian SQL Illegal mix of collations.
Masalah ini terjadi jika pemeriksaan default database backend MySQL (@@collation_database) ditetapkan ke utf8mb4_0900_ai_ci default MySQL 8, bukan utf8mb4_general_ci. Di setiap koneksi MySQL, Looker menetapkan variabel collation_connection sesi ke @@collation_database. Meskipun collation_server ditetapkan ke utf8mb4_general_ci dan tabel yang ada menggunakan utf8mb4_general_ci, membiarkan susunan default database ditetapkan ke utf8mb4_0900_ai_ci akan menyebabkan MySQL menetapkan utf8mb4_0900_ai_ci ke tabel baru yang dibuat selama update dan ke tabel sementara yang dibuat dalam memori saat mencantumkan konten folder. MySQL kemudian menolak operasi JOIN antara tabel tersebut dan tabel utf8mb4_general_ci yang ada.
Untuk mengatasi masalah ini, selaraskan pemeriksaan database dan tabel ke utf8mb4_general_ci:
- Cadangkan database backend MySQL Anda sebelum mengubah pemeriksaan database atau tabel.
- Pastikan
collation_connectiondancollation_serverditetapkan keutf8mb4_general_cidalam konfigurasi atau grup parameter MySQL Anda, seperti yang dijelaskan dalam Mengonfigurasi himpunan karakter. Tetapkan himpunan karakter dan kolasi default di database backend Looker:
ALTER DATABASE DB_name CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;Ganti DB_name dengan nama database backend Looker Anda.
Temukan tabel permanen di database backend Looker yang tidak menggunakan pemeriksaan
utf8mb4_general_ci:SELECT TABLE_NAME, TABLE_COLLATION FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'DB_name' AND TABLE_TYPE = 'BASE TABLE' AND TABLE_COLLATION != 'utf8mb4_general_ci';Untuk setiap tabel yang terpengaruh yang ditampilkan oleh kueri, konversikan tabel untuk menggunakan
utf8mb4danutf8mb4_general_ci:ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;Ganti table_name dengan nama tabel yang terpengaruh.
Mulai ulang instance Looker, atau mulai ulang setiap node dalam deployment yang dikelompokkan, sehingga koneksi database baru dan tabel sementara mewarisi kolasi
utf8mb4_general_ci.