כברירת מחדל, Looker משתמש במסד נתונים בזיכרון של HyperSQL כדי לאחסן את ההגדרות האישיות, המשתמשים ונתונים אחרים. במכונה עמוסה, מסד הנתונים הזה יכול לגדול לגודל של ג'יגה-בייטים, מה שעלול להוביל לבעיות בביצועים, לעומס על הזיכרון של Java ולזמני הפעלה ארוכים.
במכונה שמתארחת בצד הלקוח, מומלץ להחליף את מסד הנתונים של HyperSQL בבק-אנד מלא של מסד נתונים של MySQL כשהגודל של מסד הנתונים הפנימי של HyperSQL חורג מ-600MB. כדי לבדוק את הגודל של מסד הנתונים של HyperSQL, בודקים את הגודל של הקובץ looker.script:
cd looker
cd .db
ls -lah
אם הקובץ looker.script גדול מ-600MB, צריך לפעול לפי ההוראות הבאות כדי להעביר את הנתונים למסד נתונים חיצוני של MySQL.
הקצאת מכונה ומשתמש ב-MySQL
אתם יכולים להקצות מכונה של MySQL 8.4.X (מומלץ) או MySQL 8.0.X כדי להשתמש בה כ-backend. אין תמיכה בגרסאות MySQL שקודמות ל-8.0.
בגרסה 26.6 של Looker ואילך יש תמיכה ב-MySQL 8.4.X למסד הנתונים לקצה העורפי של Looker. במכונות באירוח בצד הלקוח שמשתמשות ב-MySQL 8.0.X למסד הנתונים בקצה העורפי של Looker, מומלץ לעדכן ל-MySQL 8.4.X ברגע שמעדכנים את המכונה של Looker לגרסה 26.6 ואילך.
ב-AWS RDS, מכונה מסוג db.m5.large כנראה מספיקה בתור קצה עורפי למכונה אחת של Looker. למרות שהשימוש בפועל במסד הנתונים יהיה כנראה בטווח של 5-10GB, מומלץ להקצות 100-150GB של אחסון SSD כי ה-IOPS שהוקצה מבוסס על נפח האחסון המבוקש.
MySQL 8.4.X
החל מגרסה 26.6, Looker תומך בשימוש ב-MySQL 8.4.X כמסד הנתונים הפנימי. ב-MySQL 8.4.X, אפשר להשתמש בכל אחד מהפלאגינים הבאים לאימות ב-MySQL, כמו שמתואר בקטעים הבאים:
שימוש ב-caching_sha2_password
ב-MySQL 8.4.X, פלאגין האימות שמוגדר כברירת מחדל הוא caching_sha2_password. ב-Looker יש שתי דרכים להשתמש בפלאגין של caching_sha2_password:
- כשמשתמשים בחיבור SSL למסד הנתונים הפנימי: לא צריך מפתח ציבורי של RSA. Looker מתחבר באופן מאובטח למסד הנתונים באמצעות פרטי הכניסה של המשתמש שסופקו. כדי להגדיר חיבור SSL למסד הנתונים, עיינו בקטע יצירת קובץ פרטי כניסה למסד נתונים בדף הזה.
- אם לא מתחברים עם SSL מופעל: כברירת מחדל, Looker משתמש באפשרות
--get-server-public-keyכדי להתחבר למסד הנתונים הפנימי כשחשבון המשתמש שסופק ל-Looker משתמש בפלאגיןcaching_sha2_password. אם SSL לא מופעל, צריך לוודא שסביבת הרשת מאובטחת.
כדי להשתמש בפלאגין caching_sha2_password בכל אחת מהדרכים, מגדירים את המשתמש באמצעות ההצהרה הבאה:
CREATE USER 'DB_username' IDENTIFIED WITH caching_sha2_password BY 'password';
מחליפים את מה שכתוב בשדות הבאים:
- DB_username: שם משתמש
- password: סיסמה ייחודית ומאובטחת
שימוש ב-mysql_native_password
Looker פועל עם הפלאגין mysql_native_password כדי לאמת את מסדי הנתונים של MySQL באמצעות מנהל ההתקן של JDBC. כדי ש-MySQL 8.4.X יעבוד עם הפלאגין mysql_native_password, צריך לבצע את השלבים הנוספים הבאים:
מגדירים את מסד הנתונים של MySQL כדי להפעיל את הפלאגין
mysql_native_password. אפשר לעשות את זה בכמה דרכים, בהתאם לאופן שבו מסד הנתונים של MySQL נפרס ולסוג הגישה שיש לכם להגדרות:- מפעילים את שרת MySQL באמצעות
--mysql-native-password=ON. מגדירים את המאפיין בקובץ התצורה
my.cnf:[mysqld] mysql_native_password=ONאם מכונת MySQL מתארחת ב- Google Cloud, ב-AWS או ב-Azure, הפלאגין
mysql_native_passwordאמור לפעול באופן אוטומטי. הוראות מפורטות מופיעות במאמרי העזרה של הספק.
- מפעילים את שרת MySQL באמצעות
יוצרים את המשתמש:
CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';מחליפים את מה שכתוב בשדות הבאים:
- DB_username: שם משתמש
- password: סיסמה ייחודית ומאובטחת
MySQL 8.0.X
ב-MySQL 8.0.X, פלאגין האימות שמוגדר כברירת מחדל הוא caching_sha2_password. Looker משתמש בפלאגין mysql_native_password כדי לנסות לאמת את מסדי הנתונים של MySQL באמצעות מנהל ההתקן של JDBC. כדי ש-MySQL 8.0.X יפעל כמו שצריך, צריך לבצע את השלבים הנוספים הבאים:
מגדירים את מסד הנתונים של MySQL כך שישתמש בפלאגין
mysql_native_password. אפשר לעשות את זה בכמה דרכים, בהתאם לאופן שבו מסד הנתונים של MySQL 8 נפרס ולסוג הגישה שיש לכם להגדרות:מתחילים את התהליך עם הדגל
--default-auth=mysql_native_passwordמגדירים את המאפיין בקובץ התצורה
my.cnf:[mysqld] default-authentication-plugin=mysql_native_passwordאם המכונה של מסד הנתונים מתארחת דרך AWS RDS, צריך להגדיר את הפרמטר
default_authentication_pluginדרך קבוצת פרמטרים של RDS שחלה על המכונה הזו של מסד הנתונים.
יוצרים את המשתמש:
CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';מחליפים את מה שכתוב בשדות הבאים:
- DB_username: שם משתמש
- password: סיסמה ייחודית ומאובטחת
כוונון MySQL
משנים את ההגדרות הבאות במכונה של MySQL.
הגדלת הגודל המקסימלי של החבילה
גודל ברירת המחדל של max_allowed_packet ב-MySQL קטן מדי להעברת מסד נתונים, ועלול לגרום לשגיאה PACKET_TOO_LARGE בהעברה. מגדירים את max_allowed_packet לערך המקסימלי המותר של 1073741824:
max_allowed_packet = 1073741824
הגדרת אלגוריתם לטבלה זמנית
ב-MySQL 8, הטיפול בטבלאות זמניות פנימיות שונה מאשר בגרסאות קודמות. הגדרות ברירת המחדל עלולות לגרום לבעיות בהרצת חלק מהשאילתות שנדרשות להפעלת Looker, במיוחד במכונות של Looker עם הרבה משתמשים ופרויקטים. השיטה המומלצת היא להגדיר את הגדרת השרת הגלובלית הבאה:
internal_tmp_mem_storage_engine = MEMORY
הגדרת קבוצות תווים
מגדירים את פרמטרי ברירת המחדל הבאים לשימוש ב-UTF8mb4, שתומך במערכות תווים של UTF8. אפשר לקרוא את המאמר In MySQL, never use "utf8". במאמר Use "utf8mb4" מוסבר למה אנחנו ממליצים להשתמש ב-UTF8mb4 ולא ב-UTF8 עם MySQL.
character_set_client = utf8mb4
character_set_results = utf8mb4
character_set_connection = utf8mb4
character_set_database = utf8mb4
character_set_server = utf8mb4
collation_connection = utf8mb4_general_ci
collation_server = utf8mb4_general_ci
במכונות של Amazon RDS, כדי להחיל את ההגדרה הזו צריך ליצור או לשנות קבוצת פרמטרים ולערוך את ההגדרות המתאימות. מומלץ להעתיק את קבוצת הפרמטרים הנוכחית ולבצע את השינויים בעותק, במיוחד אם אתם משתפים קבוצות פרמטרים בין כמה מכונות RDS. אחרי ששומרים את קבוצת הפרמטרים, מחילים אותה על מכונת ה-RDS. יכול להיות שתצטרכו להפעיל מחדש את המכשיר.
הגדרת סכימת הרפליקה
Looker מסתמך על פונקציונליות שמחייבת יומן בינארי בפורמט mixed או row. אם אתם מארחים מכונה משלכם של MySQL, אתם יכולים להגדיר את binlog_format ל-mixed או ל-row באמצעות אחת מהפקודות הבאות:
SET GLOBAL binlog_format = 'MIXED';
או
SET GLOBAL binlog_format = 'ROW';
יצירת מסד נתונים והענקת הרשאת משתמש
יוצרים מסד נתונים במכונה של מסד הנתונים:
create database DB_name default character set DB_charset default collate DB_collation;
לאחר מכן, נותנים הרשאות למשתמש שיצרתם כשהקציתם את המכונה והמשתמש של MySQL:
grant all on DB_name.* to 'DB_username'@'%';
grant all on looker_tmp.* to 'DB_username'@'%';
מחליפים את מה שכתוב בשדות הבאים:
- DB_name: שם מסד הנתונים
- DB_charset: קבוצת התווים שתואמת להגדרות הפרמטרים של שרת MySQL. כדי לקבל תמיכה מלאה ב-UTF-8, צריך להשתמש ב-
utf8mb4. - DB_collation: האוסף שתואם להגדרות הפרמטרים של שרת MySQL. Looker דורש
utf8mb4_general_ci. - DB_username: שם משתמש
מסד הנתונים looker_tmp בשורה האחרונה לא חייב להיות קיים בפועל, אבל ההצהרה grant נדרשת לצורך דיווח פנימי.
יצירת קובץ של פרטי כניסה למסד נתונים
צריך להגדיר ל-Looker לאיזה מסד נתונים של MySQL להתחבר ובאילו פרטי כניסה להשתמש. בספרייה של Looker, יוצרים קובץ בשם looker-db.yml עם התוכן הבא, ומחליפים את DB_hostname, DB_username, DB_password ו-DB_name בערכים של מסד הנתונים:
dialect: mysql_8
host: DB_hostname
username: DB_username
password: DB_password
database: DB_name
port: 3306
אם מסד הנתונים של MySQL דורש חיבור SSL, מוסיפים את השורה הבאה לקובץ looker-db.yml:
ssl: true
אם רוצים להפעיל גם אימות של אישור ה-SSL, מוסיפים את השורה הבאה לקובץ looker-db.yml:
verify_ssl: true
אפשר גם לציין פרמטרים נוספים של JDBC שנתמכים על ידי מנהל ההתקן של MariaDB JDBC, על ידי הוספת jdbc_additional_params. לדוגמה, אם אתם צריכים להשתמש בקובץ ספציפי של מאגר אישורים, אתם יכולים להוסיף את הפרמטר הבא למחרוזת החיבור של MySQL JDBC:
jdbc_additional_params: trustStore=/path/to/my/truststore.jks&keyStore=/path/to/my/keystore.jks
בהתקנות באירוח בצד הלקוח, אפשר לציין את המספר המקסימלי של חיבורים ש-Looker יכול ליצור עם מסד הנתונים על ידי הוספת max_connections. לדוגמה, כדי להגביל את מספר החיבורים בו-זמנית למסד הנתונים ל-10, מוסיפים את הקוד הבא:
max_connections: 10
במסגרת תוכנית ההצפנה של Looker, כל הנתונים הרגישים במסד הנתונים מוצפנים במנוחה. גם אם מישהו יקבל גישה לפרטי הכניסה למסד הנתונים בטקסט פשוט וייכנס למסד הנתונים, Looker מצפינה או מגבבת נתונים רגישים לפני האחסון. זה כולל רכיבים כמו סיסמאות, פרטי כניסה למסד נתונים של ניתוח נתונים ומטמון של שאילתות. עם זאת, אם אתם לא רוצים לאחסן את הסיסמה בטקסט לא מוצפן עבור ההגדרה הזו בקובץ looker-db.yml בדיסק, אתם יכולים להגדיר את משתנה הסביבה LOOKER_DB כך שיכיל רשימה של מפתחות וערכים לכל שורה בקובץ looker-db.yml. לדוגמה:
export LOOKER_DB="dialect=mysql_8&host=localhost&username=root&password=&database=looker&port=3306"
גיבוי הספרייה .db
מגבים את הספרייה .db, שמכילה את הקבצים שנדרשים כדי ליצור את מסד הנתונים HyperSQL בזיכרון, למקרה שיהיה צורך לשחזר את HyperSQL:
cp -r .db .db-backup
tar -zcvf db-backup.tar.gz ./.db-backup
העברת מסד הנתונים
העברת מסד הנתונים ל-MySQL יכולה להימשך שעות במכונה בינונית או גדולה, במיוחד אם מסד הנתונים של HyperSQL הוא בנפח של 1GB או יותר. אנחנו ממליצים לשדרג זמנית את מכונת ה-EC2 ל-m5.2xlarge (עם זיכרון RAM בנפח 32GB כדי לאפשר את ה-heap בנפח 26GB שצוין בשלבים) במהלך ההעברה, מה שמקצר את הזמן הנדרש לכ-10 דקות.
במארח של Looker:
cd looker ./looker stop vi lookerבסקריפט לטעינה בזמן ההפעלה של Looker, יוצרים שורה שנייה חדשה בקובץ:
exitעוצרים את המכונה במסוף AWS. אחרי שהיא נעצרת, משנים את הגודל של מכונת ה-EC2 ל-
m5.2xlarge. לאחר מכן, מפעילים מחדש את המכונה.מבצעים SSH למארח בתור משתמש Looker. קודם כל, מוודאים ש-Java לא פועלת, ואז מריצים את הפקודה:
cd looker java -Xms26000m -Xmx26000m -jar looker.jar migrate_internal_data looker-db.ymlכשמריצים את השלב
migrate_internal_data, יכול להיות ש-libcryptלא יימצא ויופיע דוח קריסות שמתחיל כך:NotImplementedError: getppid unsupported or native support failed to load ppid at org/jruby/RubyProcess.java:752 ppid at org/jruby/RubyProcess.java:749במקרה כזה, צריך להגדיר את
LD_LIBRARY_PATHבאופן ידני לפני שמריצים את פקודת Java:export LD_LIBRARY_PATH=$HOME/looker/.tmp/:$LD_LIBRARY_PATHבסיום, עוצרים את המכונה ממסוף AWS.
עכשיו אפשר לשחזר את המכונה לגודל המקורי שלה.
מפעילים מחדש את המכונה.
הפעלת Looker
עורכים את הסקריפט לטעינה בזמן ההפעלה של Looker ומוחקים את השורה
exitשהוספתם קודם.מוודאים שלא הוגדרו ארגומנטים ב-
LOOKERARGSבסקריפט לטעינה בזמן ההפעלה. במקום זאת, צריך להעביר את כל הארגומנטים אל הקובץlookerstart.cfgכדי שגרסאות חדשות של הסקריפט לטעינה בזמן ההפעלה לא יחליפו אותם. שומרים את הסקריפט לטעינה בזמן ההפעלה ויוצאים ממנו.עריכה של
lookerstart.cfg. הוא אמור להיראות כך:LOOKERARGS="-d looker-db.yml"אם היו ארגומנטים אחרים בסקריפט לטעינה בזמן ההפעלה של Looker, מוסיפים אותם לקובץ
lookerstart.cfg.מעבירים לארכיון את הספרייה
.db, אם היא עדיין לא הועברה לארכיון.mv .db .db-backup tar -zcvf db-backup.tar.gz ./.db-backup rm -rf ./.db-backup/מפעילים את Looker:
./looker start
איך מוודאים ש-Looker משתמש במסד הנתונים החדש
אם Looker משתמש ב-MySQL בקצה העורפי, אמורים להופיע חיבורי רשת בין המכונה של Looker לבין המכונה החדשה של מסד הנתונים. כדי לבדוק את זה, מריצים את הפקודה הבאה במכונה של Looker:
netstat -na | grep 3306
אמורים להופיע כמה חיבורים למכונה של מסד הנתונים. הפלט הבא הוא דוגמה שמציגה מכונה של מסד נתונים בכתובת ה-IP 10.0.3.155:
looker@instance1:~$ netstat -na | grep 3306
tcp6 0 0 10.0.5.131:56583 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56506 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56582 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56508 10.0.3.155:3306 ESTABLISHED
גיבוי של Looker
אחרי המעבר לקצה העורפי של MySQL, הגיבויים האוטומטיים של Looker ב-S3 לא יפעלו יותר. מומלץ לגבות את מסד הנתונים של MySQL לפחות פעם ביום, וגם לגבות את מערכת הקבצים של ספריית העבודה של Looker פעם ביום. יכול להיות שהספרייה looker/log/ לא נכללת בגיבויים של מערכת הקבצים. מידע נוסף זמין בדף התיעוד יצירת גיבויים.
פתרון בעיות
בקטע הזה מוסבר איך לפתור בעיות נפוצות שיכולות להתרחש כשמשתמשים במסד נתונים לקצה העורפי של MySQL עם Looker.
תיקייה משותפת ריקה או שגיאות Illegal mix of collations אחרי עדכון
אחרי שמעדכנים מכונה של Looker באירוח בצד הלקוח שמשתמשת במסד נתונים לקצה העורפי מסוג MySQL 8.0.x או 8.4.x, יכול להיות שהתיקייה Shared תופיע כריקה בממשק המשתמש של Looker. יכול להיות שגם מרכזי בקרה ותצוגות Look לא יופיעו בתוצאות החיפוש, למרות שעדיין אפשר לפתוח אותם באמצעות כתובות ה-URL הישירות שלהם. ביומני הקצה העורפי או בתגובות הרשת של הדפדפן, בקשות API פנימיות נכשלות עם שגיאת HTTP 500 Internal Server Error וחריגת SQL מסוג Illegal mix of collations.
הבעיה הזו מתרחשת כשההשוואה (collation) שמוגדרת כברירת מחדל (@@collation_database) במסד הנתונים לקצה העורפי של MySQL מוגדרת ל-utf8mb4_0900_ai_ci, שהיא ברירת המחדל של MySQL 8, במקום ל-utf8mb4_general_ci. בכל חיבור ל-MySQL, Looker מגדיר את המשתנה collation_connection של הסשן ל-@@collation_database. גם אם collation_server מוגדר ל-utf8mb4_general_ci והטבלאות הקיימות משתמשות ב-utf8mb4_general_ci, אם משאירים את ברירת המחדל של מסד הנתונים מוגדרת ל-utf8mb4_0900_ai_ci, MySQL יקצה את utf8mb4_0900_ai_ci לטבלאות חדשות שנוצרו במהלך עדכון ולטבלאות זמניות שנוצרו בזיכרון כשמציגים את תוכן התיקייה. ואז MySQL דוחה פעולות JOIN בין הטבלאות האלה לבין טבלאות utf8mb4_general_ci קיימות.
כדי לפתור את הבעיה, צריך להתאים את ה-collation של מסד הנתונים והטבלה ל-utf8mb4_general_ci:
- לפני שמשנים את ההשוואות של מסד הנתונים או הטבלה, צריך לגבות את מסד הנתונים של הקצה העורפי של MySQL.
- מוודאים שהפרמטרים
collation_connectionו-collation_serverמוגדרים לערךutf8mb4_general_ciבהגדרות או בקבוצת הפרמטרים של MySQL, כמו שמתואר בקטע הגדרת קבוצות תווים. מגדירים את ערכת התווים ואת ההשוואה שיוגדרו כברירת מחדל במסד הנתונים לקצה העורפי של Looker:
ALTER DATABASE DB_name CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;מחליפים את DB_name בשם של מסד הנתונים לקצה העורפי של Looker.
מאתרים טבלאות קבועות במסד הנתונים של Looker בקצה העורפי שלא משתמשות ב-collation
utf8mb4_general_ci:SELECT TABLE_NAME, TABLE_COLLATION FROM information_schema.TABLES WHERE TABLE_SCHEMA = 'DB_name' AND TABLE_TYPE = 'BASE TABLE' AND TABLE_COLLATION != 'utf8mb4_general_ci';לכל טבלה מושפעת שהוחזרה על ידי השאילתה, ממירים את הטבלה לשימוש ב-
utf8mb4וב-utf8mb4_general_ci:ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;מחליפים את table_name בשם של הטבלה הרלוונטית.
מפעילים מחדש את המכונה של Looker, או מפעילים מחדש כל צומת בפריסה באשכול, כדי שחיבורים חדשים למסד הנתונים וטבלאות זמניות יקבלו בירושה את ה-collation של
utf8mb4_general_ci.