העברת מסד הנתונים של הקצה העורפי של Looker אל MySQL

כברירת מחדל, Looker משתמש במסד נתונים בזיכרון של HyperSQL כדי לאחסן את ההגדרות האישיות, המשתמשים ונתונים אחרים. במכונה עמוסה, מסד הנתונים הזה יכול לגדול לגודל של ג'יגה-בייטים, מה שעלול להוביל לבעיות בביצועים, לעומס על הזיכרון של Java ולזמני הפעלה ארוכים.

במכונה שמתארחת בצד הלקוח, מומלץ להחליף את מסד הנתונים של HyperSQL בבק-אנד מלא של מסד נתונים של MySQL כשהגודל של מסד הנתונים הפנימי של HyperSQL חורג מ-600MB. כדי לבדוק את הגודל של מסד הנתונים של HyperSQL, בודקים את הגודל של הקובץ looker.script:

cd looker
cd .db
ls -lah

אם הקובץ looker.script גדול מ-600MB, צריך לפעול לפי ההוראות הבאות כדי להעביר את הנתונים למסד נתונים חיצוני של MySQL.

הקצאת מכונה ומשתמש ב-MySQL

אתם יכולים להקצות מכונה של MySQL 8.4.X (מומלץ) או MySQL 8.0.X כדי להשתמש בה כ-backend. אין תמיכה בגרסאות MySQL שקודמות ל-8.0.

בגרסה 26.6 של Looker ואילך יש תמיכה ב-MySQL 8.4.X למסד הנתונים לקצה העורפי של Looker. במכונות באירוח בצד הלקוח שמשתמשות ב-MySQL 8.0.X למסד הנתונים בקצה העורפי של Looker, מומלץ לעדכן ל-MySQL 8.4.X ברגע שמעדכנים את המכונה של Looker לגרסה 26.6 ואילך.

ב-AWS RDS, מכונה מסוג db.m5.large כנראה מספיקה בתור קצה עורפי למכונה אחת של Looker. למרות שהשימוש בפועל במסד הנתונים יהיה כנראה בטווח של 5-10GB, מומלץ להקצות 100-150GB של אחסון SSD כי ה-IOPS שהוקצה מבוסס על נפח האחסון המבוקש.

‫MySQL 8.4.X

החל מגרסה 26.6, Looker תומך בשימוש ב-MySQL 8.4.X כמסד הנתונים הפנימי. ב-MySQL 8.4.X, אפשר להשתמש בכל אחד מהפלאגינים הבאים לאימות ב-MySQL, כמו שמתואר בקטעים הבאים:

שימוש ב-caching_sha2_password

ב-MySQL 8.4.X, פלאגין האימות שמוגדר כברירת מחדל הוא caching_sha2_password. ב-Looker יש שתי דרכים להשתמש בפלאגין של caching_sha2_password:

  1. כשמשתמשים בחיבור SSL למסד הנתונים הפנימי: לא צריך מפתח ציבורי של RSA. ‫Looker מתחבר באופן מאובטח למסד הנתונים באמצעות פרטי הכניסה של המשתמש שסופקו. כדי להגדיר חיבור SSL למסד הנתונים, עיינו בקטע יצירת קובץ פרטי כניסה למסד נתונים בדף הזה.
  2. אם לא מתחברים עם SSL מופעל: כברירת מחדל, Looker משתמש באפשרות --get-server-public-key כדי להתחבר למסד הנתונים הפנימי כשחשבון המשתמש שסופק ל-Looker משתמש בפלאגין caching_sha2_password. אם SSL לא מופעל, צריך לוודא שסביבת הרשת מאובטחת.

כדי להשתמש בפלאגין caching_sha2_password בכל אחת מהדרכים, מגדירים את המשתמש באמצעות ההצהרה הבאה:

CREATE USER 'DB_username' IDENTIFIED WITH caching_sha2_password BY 'password';

מחליפים את מה שכתוב בשדות הבאים:

  • DB_username: שם משתמש
  • ‫password: סיסמה ייחודית ומאובטחת

שימוש ב-mysql_native_password

Looker פועל עם הפלאגין mysql_native_password כדי לאמת את מסדי הנתונים של MySQL באמצעות מנהל ההתקן של JDBC. כדי ש-MySQL 8.4.X יעבוד עם הפלאגין mysql_native_password, צריך לבצע את השלבים הנוספים הבאים:

  1. מגדירים את מסד הנתונים של MySQL כדי להפעיל את הפלאגין mysql_native_password. אפשר לעשות את זה בכמה דרכים, בהתאם לאופן שבו מסד הנתונים של MySQL נפרס ולסוג הגישה שיש לכם להגדרות:

    1. מפעילים את שרת MySQL באמצעות --mysql-native-password=ON.
    2. מגדירים את המאפיין בקובץ התצורה my.cnf:

      [mysqld]
      mysql_native_password=ON
      
    3. אם מכונת MySQL מתארחת ב- Google Cloud, ב-AWS או ב-Azure, הפלאגין mysql_native_password אמור לפעול באופן אוטומטי. הוראות מפורטות מופיעות במאמרי העזרה של הספק.

  2. יוצרים את המשתמש:

    CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';
    

    מחליפים את מה שכתוב בשדות הבאים:

    • DB_username: שם משתמש
    • ‫password: סיסמה ייחודית ומאובטחת

‫MySQL 8.0.X

ב-MySQL 8.0.X, פלאגין האימות שמוגדר כברירת מחדל הוא caching_sha2_password. ‫Looker משתמש בפלאגין mysql_native_password כדי לנסות לאמת את מסדי הנתונים של MySQL באמצעות מנהל ההתקן של JDBC. כדי ש-MySQL 8.0.X יפעל כמו שצריך, צריך לבצע את השלבים הנוספים הבאים:

  1. מגדירים את מסד הנתונים של MySQL כך שישתמש בפלאגין mysql_native_password. אפשר לעשות את זה בכמה דרכים, בהתאם לאופן שבו מסד הנתונים של MySQL 8 נפרס ולסוג הגישה שיש לכם להגדרות:

    • מתחילים את התהליך עם הדגל --default-auth=mysql_native_password

    • מגדירים את המאפיין בקובץ התצורה my.cnf:

      [mysqld]
      default-authentication-plugin=mysql_native_password
      
    • אם המכונה של מסד הנתונים מתארחת דרך AWS RDS, צריך להגדיר את הפרמטר default_authentication_plugin דרך קבוצת פרמטרים של RDS שחלה על המכונה הזו של מסד הנתונים.

  2. יוצרים את המשתמש:

    CREATE USER 'DB_username' IDENTIFIED WITH mysql_native_password BY 'password';
    

    מחליפים את מה שכתוב בשדות הבאים:

    • DB_username: שם משתמש
    • ‫password: סיסמה ייחודית ומאובטחת

כוונון MySQL

משנים את ההגדרות הבאות במכונה של MySQL.

הגדלת הגודל המקסימלי של החבילה

גודל ברירת המחדל של max_allowed_packet ב-MySQL קטן מדי להעברת מסד נתונים, ועלול לגרום לשגיאה PACKET_TOO_LARGE בהעברה. מגדירים את max_allowed_packet לערך המקסימלי המותר של 1073741824:

max_allowed_packet = 1073741824

הגדרת אלגוריתם לטבלה זמנית

ב-MySQL 8, הטיפול בטבלאות זמניות פנימיות שונה מאשר בגרסאות קודמות. הגדרות ברירת המחדל עלולות לגרום לבעיות בהרצת חלק מהשאילתות שנדרשות להפעלת Looker, במיוחד במכונות של Looker עם הרבה משתמשים ופרויקטים. השיטה המומלצת היא להגדיר את הגדרת השרת הגלובלית הבאה:

internal_tmp_mem_storage_engine = MEMORY

הגדרת קבוצות תווים

מגדירים את פרמטרי ברירת המחדל הבאים לשימוש ב-UTF8mb4, שתומך במערכות תווים של UTF8. אפשר לקרוא את המאמר In MySQL, never use "utf8"‎. במאמר Use "utf8mb4"‎ מוסבר למה אנחנו ממליצים להשתמש ב-UTF8mb4 ולא ב-UTF8 עם MySQL.

character_set_client = utf8mb4
character_set_results = utf8mb4
character_set_connection = utf8mb4
character_set_database = utf8mb4
character_set_server = utf8mb4
collation_connection = utf8mb4_general_ci
collation_server = utf8mb4_general_ci

במכונות של Amazon RDS, כדי להחיל את ההגדרה הזו צריך ליצור או לשנות קבוצת פרמטרים ולערוך את ההגדרות המתאימות. מומלץ להעתיק את קבוצת הפרמטרים הנוכחית ולבצע את השינויים בעותק, במיוחד אם אתם משתפים קבוצות פרמטרים בין כמה מכונות RDS. אחרי ששומרים את קבוצת הפרמטרים, מחילים אותה על מכונת ה-RDS. יכול להיות שתצטרכו להפעיל מחדש את המכשיר.

הגדרת סכימת הרפליקה

‫Looker מסתמך על פונקציונליות שמחייבת יומן בינארי בפורמט mixed או row. אם אתם מארחים מכונה משלכם של MySQL, אתם יכולים להגדיר את binlog_format ל-mixed או ל-row באמצעות אחת מהפקודות הבאות:

SET GLOBAL binlog_format = 'MIXED';

או

SET GLOBAL binlog_format = 'ROW';

יצירת מסד נתונים והענקת הרשאת משתמש

יוצרים מסד נתונים במכונה של מסד הנתונים:

create database DB_name default character set DB_charset default collate DB_collation;

לאחר מכן, נותנים הרשאות למשתמש שיצרתם כשהקציתם את המכונה והמשתמש של MySQL:

grant all on DB_name.* to 'DB_username'@'%';
grant all on looker_tmp.* to 'DB_username'@'%';

מחליפים את מה שכתוב בשדות הבאים:

  • ‫DB_name: שם מסד הנתונים
  • ‫DB_charset: קבוצת התווים שתואמת להגדרות הפרמטרים של שרת MySQL. כדי לקבל תמיכה מלאה ב-UTF-8, צריך להשתמש ב-utf8mb4.
  • ‫DB_collation: האוסף שתואם להגדרות הפרמטרים של שרת MySQL. ‫Looker דורש utf8mb4_general_ci.
  • DB_username: שם משתמש

מסד הנתונים looker_tmp בשורה האחרונה לא חייב להיות קיים בפועל, אבל ההצהרה grant נדרשת לצורך דיווח פנימי.

יצירת קובץ של פרטי כניסה למסד נתונים

צריך להגדיר ל-Looker לאיזה מסד נתונים של MySQL להתחבר ובאילו פרטי כניסה להשתמש. בספרייה של Looker, יוצרים קובץ בשם looker-db.yml עם התוכן הבא, ומחליפים את DB_hostname,‏ DB_username,‏ DB_password ו-DB_name בערכים של מסד הנתונים:

dialect: mysql_8
host: DB_hostname
username: DB_username
password: DB_password
database: DB_name
port: 3306

אם מסד הנתונים של MySQL דורש חיבור SSL, מוסיפים את השורה הבאה לקובץ looker-db.yml:

ssl: true

אם רוצים להפעיל גם אימות של אישור ה-SSL, מוסיפים את השורה הבאה לקובץ looker-db.yml:

verify_ssl: true

אפשר גם לציין פרמטרים נוספים של JDBC שנתמכים על ידי מנהל ההתקן של MariaDB JDBC, על ידי הוספת jdbc_additional_params. לדוגמה, אם אתם צריכים להשתמש בקובץ ספציפי של מאגר אישורים, אתם יכולים להוסיף את הפרמטר הבא למחרוזת החיבור של MySQL JDBC:

jdbc_additional_params: trustStore=/path/to/my/truststore.jks&keyStore=/path/to/my/keystore.jks

בהתקנות באירוח בצד הלקוח, אפשר לציין את המספר המקסימלי של חיבורים ש-Looker יכול ליצור עם מסד הנתונים על ידי הוספת max_connections. לדוגמה, כדי להגביל את מספר החיבורים בו-זמנית למסד הנתונים ל-10, מוסיפים את הקוד הבא:

max_connections: 10

במסגרת תוכנית ההצפנה של Looker, כל הנתונים הרגישים במסד הנתונים מוצפנים במנוחה. גם אם מישהו יקבל גישה לפרטי הכניסה למסד הנתונים בטקסט פשוט וייכנס למסד הנתונים, Looker מצפינה או מגבבת נתונים רגישים לפני האחסון. זה כולל רכיבים כמו סיסמאות, פרטי כניסה למסד נתונים של ניתוח נתונים ומטמון של שאילתות. עם זאת, אם אתם לא רוצים לאחסן את הסיסמה בטקסט לא מוצפן עבור ההגדרה הזו בקובץ looker-db.yml בדיסק, אתם יכולים להגדיר את משתנה הסביבה LOOKER_DB כך שיכיל רשימה של מפתחות וערכים לכל שורה בקובץ looker-db.yml. לדוגמה:

export LOOKER_DB="dialect=mysql_8&host=localhost&username=root&password=&database=looker&port=3306"

גיבוי הספרייה .db

מגבים את הספרייה .db, שמכילה את הקבצים שנדרשים כדי ליצור את מסד הנתונים HyperSQL בזיכרון, למקרה שיהיה צורך לשחזר את HyperSQL:

cp -r .db .db-backup
tar -zcvf db-backup.tar.gz ./.db-backup

העברת מסד הנתונים

העברת מסד הנתונים ל-MySQL יכולה להימשך שעות במכונה בינונית או גדולה, במיוחד אם מסד הנתונים של HyperSQL הוא בנפח של 1GB או יותר. אנחנו ממליצים לשדרג זמנית את מכונת ה-EC2 ל-m5.2xlarge (עם זיכרון RAM בנפח 32GB כדי לאפשר את ה-heap בנפח 26GB שצוין בשלבים) במהלך ההעברה, מה שמקצר את הזמן הנדרש לכ-10 דקות.

  1. במארח של Looker:

    cd looker
    ./looker stop
    vi looker
    
  2. בסקריפט לטעינה בזמן ההפעלה של Looker, יוצרים שורה שנייה חדשה בקובץ:

    exit
    
  3. עוצרים את המכונה במסוף AWS. אחרי שהיא נעצרת, משנים את הגודל של מכונת ה-EC2 ל-m5.2xlarge. לאחר מכן, מפעילים מחדש את המכונה.

  4. מבצעים SSH למארח בתור משתמש Looker. קודם כל, מוודאים ש-Java לא פועלת, ואז מריצים את הפקודה:

    cd looker
    java -Xms26000m -Xmx26000m -jar looker.jar migrate_internal_data  looker-db.yml
    

    כשמריצים את השלב migrate_internal_data, יכול להיות ש-libcrypt לא יימצא ויופיע דוח קריסות שמתחיל כך:

    NotImplementedError: getppid unsupported or native support failed to load
    ppid at org/jruby/RubyProcess.java:752
    ppid at org/jruby/RubyProcess.java:749
    

    במקרה כזה, צריך להגדיר את LD_LIBRARY_PATH באופן ידני לפני שמריצים את פקודת Java:

    export LD_LIBRARY_PATH=$HOME/looker/.tmp/:$LD_LIBRARY_PATH
    
  5. בסיום, עוצרים את המכונה ממסוף AWS.

  6. עכשיו אפשר לשחזר את המכונה לגודל המקורי שלה.

  7. מפעילים מחדש את המכונה.

הפעלת Looker

  1. עורכים את הסקריפט לטעינה בזמן ההפעלה של Looker ומוחקים את השורה exit שהוספתם קודם.

  2. מוודאים שלא הוגדרו ארגומנטים ב-LOOKERARGS בסקריפט לטעינה בזמן ההפעלה. במקום זאת, צריך להעביר את כל הארגומנטים אל הקובץ lookerstart.cfg כדי שגרסאות חדשות של הסקריפט לטעינה בזמן ההפעלה לא יחליפו אותם. שומרים את הסקריפט לטעינה בזמן ההפעלה ויוצאים ממנו.

  3. עריכה של lookerstart.cfg. הוא אמור להיראות כך:

    LOOKERARGS="-d looker-db.yml"
    

    אם היו ארגומנטים אחרים בסקריפט לטעינה בזמן ההפעלה של Looker, מוסיפים אותם לקובץ lookerstart.cfg.

  4. מעבירים לארכיון את הספרייה .db, אם היא עדיין לא הועברה לארכיון.

    mv .db .db-backup
    tar -zcvf db-backup.tar.gz ./.db-backup
    rm -rf ./.db-backup/
    
  5. מפעילים את Looker:

    ./looker start
    

איך מוודאים ש-Looker משתמש במסד הנתונים החדש

אם Looker משתמש ב-MySQL בקצה העורפי, אמורים להופיע חיבורי רשת בין המכונה של Looker לבין המכונה החדשה של מסד הנתונים. כדי לבדוק את זה, מריצים את הפקודה הבאה במכונה של Looker:

netstat -na | grep 3306

אמורים להופיע כמה חיבורים למכונה של מסד הנתונים. הפלט הבא הוא דוגמה שמציגה מכונה של מסד נתונים בכתובת ה-IP‏ 10.0.3.155:

looker@instance1:~$ netstat -na | grep 3306
tcp6       0      0 10.0.5.131:56583        10.0.3.155:3306         ESTABLISHED
tcp6       0      0 10.0.5.131:56506        10.0.3.155:3306         ESTABLISHED
tcp6       0      0 10.0.5.131:56582        10.0.3.155:3306         ESTABLISHED
tcp6       0      0 10.0.5.131:56508        10.0.3.155:3306         ESTABLISHED

גיבוי של Looker

אחרי המעבר לקצה העורפי של MySQL, הגיבויים האוטומטיים של Looker ב-S3 לא יפעלו יותר. מומלץ לגבות את מסד הנתונים של MySQL לפחות פעם ביום, וגם לגבות את מערכת הקבצים של ספריית העבודה של Looker פעם ביום. יכול להיות שהספרייה looker/log/ לא נכללת בגיבויים של מערכת הקבצים. מידע נוסף זמין בדף התיעוד יצירת גיבויים.

פתרון בעיות

בקטע הזה מוסבר איך לפתור בעיות נפוצות שיכולות להתרחש כשמשתמשים במסד נתונים לקצה העורפי של MySQL עם Looker.

תיקייה משותפת ריקה או שגיאות Illegal mix of collations אחרי עדכון

אחרי שמעדכנים מכונה של Looker באירוח בצד הלקוח שמשתמשת במסד נתונים לקצה העורפי מסוג MySQL 8.0.x או 8.4.x, יכול להיות שהתיקייה Shared תופיע כריקה בממשק המשתמש של Looker. יכול להיות שגם מרכזי בקרה ותצוגות Look לא יופיעו בתוצאות החיפוש, למרות שעדיין אפשר לפתוח אותם באמצעות כתובות ה-URL הישירות שלהם. ביומני הקצה העורפי או בתגובות הרשת של הדפדפן, בקשות API פנימיות נכשלות עם שגיאת HTTP 500 Internal Server Error וחריגת SQL מסוג Illegal mix of collations.

הבעיה הזו מתרחשת כשההשוואה (collation) שמוגדרת כברירת מחדל (@@collation_database) במסד הנתונים לקצה העורפי של MySQL מוגדרת ל-utf8mb4_0900_ai_ci, שהיא ברירת המחדל של MySQL 8, במקום ל-utf8mb4_general_ci. בכל חיבור ל-MySQL, ‏ Looker מגדיר את המשתנה collation_connection של הסשן ל-@@collation_database. גם אם collation_server מוגדר ל-utf8mb4_general_ci והטבלאות הקיימות משתמשות ב-utf8mb4_general_ci, אם משאירים את ברירת המחדל של מסד הנתונים מוגדרת ל-utf8mb4_0900_ai_ci, MySQL יקצה את utf8mb4_0900_ai_ci לטבלאות חדשות שנוצרו במהלך עדכון ולטבלאות זמניות שנוצרו בזיכרון כשמציגים את תוכן התיקייה. ואז MySQL דוחה פעולות JOIN בין הטבלאות האלה לבין טבלאות utf8mb4_general_ci קיימות.

כדי לפתור את הבעיה, צריך להתאים את ה-collation של מסד הנתונים והטבלה ל-utf8mb4_general_ci:

  1. לפני שמשנים את ההשוואות של מסד הנתונים או הטבלה, צריך לגבות את מסד הנתונים של הקצה העורפי של MySQL.
  2. מוודאים שהפרמטרים collation_connection ו-collation_server מוגדרים לערך utf8mb4_general_ci בהגדרות או בקבוצת הפרמטרים של MySQL, כמו שמתואר בקטע הגדרת קבוצות תווים.
  3. מגדירים את ערכת התווים ואת ההשוואה שיוגדרו כברירת מחדל במסד הנתונים לקצה העורפי של Looker:

    ALTER DATABASE DB_name CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    

    מחליפים את DB_name בשם של מסד הנתונים לקצה העורפי של Looker.

  4. מאתרים טבלאות קבועות במסד הנתונים של Looker בקצה העורפי שלא משתמשות ב-collation‏ utf8mb4_general_ci:

    SELECT TABLE_NAME, TABLE_COLLATION
    FROM information_schema.TABLES
    WHERE TABLE_SCHEMA = 'DB_name'
      AND TABLE_TYPE = 'BASE TABLE'
      AND TABLE_COLLATION != 'utf8mb4_general_ci';
    
  5. לכל טבלה מושפעת שהוחזרה על ידי השאילתה, ממירים את הטבלה לשימוש ב-utf8mb4 וב-utf8mb4_general_ci:

    ALTER TABLE table_name CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;
    

    מחליפים את table_name בשם של הטבלה הרלוונטית.

  6. מפעילים מחדש את המכונה של Looker, או מפעילים מחדש כל צומת בפריסה באשכול, כדי שחיבורים חדשים למסד הנתונים וטבלאות זמניות יקבלו בירושה את ה-collation של utf8mb4_general_ci.