פתרונות ארכיטקטורה באירוח בצד הלקוח: הסברים על רכיבים

בדף הזה מפורטות שיטות נפוצות לרכיבים ספציפיים בארכיטקטורה של Looker, ומוסבר איך להגדיר אותם בפריסה.

ל-Looker יש כמה יחסי תלות לאירוח השרת, לטיפול בעומסי עבודה אד-הוק ומתוזמנים, למעקב אחר פיתוח מודלים איטרטיביים וכדומה. יחסי התלות האלה נקראים רכיבים בדף הזה, וכל רכיב מפורט בקטעים הבאים:

ההגדרות של המארח

מערכת הפעלה והפצה

‫Looker פועל היטב בגרסאות הנפוצות ביותר של Linux: ‏RedHat, ‏SUSE ו-Debian/Ubuntu. בדרך כלל, נגזרות של ההפצות האלה שנועדו לפעול בסביבה מסוימת ועברו אופטימיזציה לכך הן תקינות. לדוגמה, הפצות Google Cloud או AWS של Linux תואמות ל-Looker. ‫Debian/Ubuntu היא גרסת Linux הנפוצה ביותר בקהילת Looker, ואלה הגרסאות המוכרות ביותר לתמיכה של Looker. הכי קל להשתמש ב-Debian/Ubuntu או במערכת הפעלה של ספק שירותי ענן ספציפי שנגזרת מ-Debian/Ubuntu.

‫Looker פועל במכונה הווירטואלית של Java‏ (JVM). כשבוחרים הפצה, כדאי לבדוק אם הגרסאות של OpenJDK 11 מעודכנות. יכול להיות שאפשר להריץ את Looker בהפצות ישנות יותר של Linux, אבל גרסת Java והספריות שנדרשות ל-Looker בשביל תכונות ספציפיות חייבות להיות עדכניות. אם ה-JVM לא מכיל את כל הספריות והגרסאות המומלצות של Looker, ‏ Looker לא יפעל כרגיל. כדי להשתמש ב-Looker, צריך את Java HotSpot 1.8 עדכון 161 ואילך או את Java OpenJDK 11.0.12 ואילך.

מעבד (CPU) וזיכרון

צמתים של 4x16 (4 מעבדים ו-16GB של RAM) מספיקים למערכת פיתוח או למכונה בסיסית של Looker לבדיקות שמשמשת צוות קטן. עם זאת, בדרך כלל זה לא מספיק לשימוש בסביבת ייצור. מניסיוננו, צמתים של 16x64 (‏16 מעבדים ו-64GB של RAM) הם איזון טוב בין מחיר לביצועים. זיכרון RAM בנפח של יותר מ-64GB יכול להשפיע על הביצועים, כי אירועי איסוף הם בעלי שרשור יחיד ועוצרים את כל השרשורים האחרים כדי לפעול.

נפח אחסון בדיסק

בדרך כלל, 100GB של מקום בכונן מספיקים למערכת ייצור.

שיקולים לגבי אשכולות

‫Looker פועל על Java JVM, ו-Java עלולה להתקשות בניהול זיכרון של יותר מ-64GB. ככלל, אם נדרש קיבולת נוספת, כדאי להוסיף עוד צומתי 16x64 לאשכול במקום להגדיל את הצמתים מעבר ל-16x64. יכול להיות שנעדיף להשתמש בארכיטקטורה של אשכולות כדי להגביר את הזמינות.

באשכול, הצמתים של Looker צריכים לשתף חלקים מסוימים של מערכת הקבצים. הנתונים המשותפים כוללים:

  • מודלים של LookML
  • מודלים של LookML למפתחים
  • קישוריות לשרת Git

מכיוון שמערכת הקבצים משותפת ומארחת כמה מאגרי Git, הטיפול בגישה בו-זמנית ובנעילת קבצים הוא קריטי. מערכת הקבצים צריכה להיות תואמת ל-POSIX. מערכת קובצי רשת (NFS) פועלת וזמינה ב-Linux. צריך ליצור מכונת Linux נוספת ולהגדיר את NFS כדי לשתף את הדיסק. ברירת המחדל של NFS היא נקודת כשל בודדת פוטנציאלית, לכן כדאי לשקול הגדרה של יתירות כשל או הגדרה של זמינות גבוהה.

גם המטא-נתונים של Looker צריכים להיות מרוכזים, ולכן צריך להעביר את מסד הנתונים הפנימי שלו ל-MySQL. זה יכול להיות שירות MySQL או פריסה ייעודית של MySQL. בקטע מסד נתונים פנימי (קצה עורפי) שבדף הזה מפורט מידע נוסף.

הגדרת JVM

הגדרות ה-JVM של Looker מוגדרות בתוך הסקריפט לטעינה בזמן ההפעלה של Looker. אחרי כל עדכון, צריך להפעיל מחדש את Looker כדי שהשינויים יופיעו. אלה הגדרות ברירת המחדל:

java \
  -XX:+UseG1GC -XX:MaxGCPauseMillis=2000 \
  -Xms$JAVAMEM -Xmx$JAVAMEM \
  -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps \
  -Xloggc:/tmp/gc.log ${JAVAARGS} \
  -jar looker.jar start ${LOOKERARGS}

משאבים

הגדרות המשאבים מוגדרות בסקריפט לטעינה בזמן ההפעלה של Looker.

JAVAMEM="2300m"
METAMEM="800m"

הקצאת הזיכרון ל-JVM צריכה להביא בחשבון את התקורה של מערכת ההפעלה שבה Looker פועל. כלל האצבע הכללי הוא שאפשר להקצות ל-JVM עד 60% מסך הזיכרון, אבל יש אזהרות בהתאם לגודל המכונה. במכונות עם זיכרון כולל מינימלי של 8GB, מומלץ להקצות 4-5GB ל-Java ו-800MB ל-Meta. במכונות גדולות יותר, אפשר להקצות חלק קטן יותר מהזיכרון למערכת ההפעלה. לדוגמה, במכונות עם זיכרון כולל של 60GB, מומלץ להקצות 36GB ל-Java ו-1GB ל-Meta. חשוב לציין שהקצאת הזיכרון של Java צריכה בדרך כלל להתאים לנפח הזיכרון הכולל של המכונה, אבל Meta אמורה להספיק בנפח של 1GB.

בנוסף, מכיוון ש-Looker משתף משאבי מערכת עם תהליכים אחרים כמו Chromium לעיבוד, צריך לבחור את כמות הקצאת הזיכרון שמוקצית ל-Java בהקשר של עומס העיבוד הצפוי וגודל המכונה. אם צפוי עומס עיבוד נמוך, אפשר להקצות ל-Java נתח גדול יותר מהזיכרון הכולל. לדוגמה, במכונה עם זיכרון כולל של 60GB, אפשר להקצות ל-Java‏ 46GB, שזה יותר מההמלצה הכללית של 60%. הקצאות המשאבים המדויקות שמתאימות לכל פריסה משתנות, לכן כדאי להשתמש ב-60% כבסיס ולהתאים לפי השימוש.

איסוף אשפה

ב-Looker עדיף להשתמש במנגנון איסוף הזבל הכי מודרני שזמין לגרסת Java. כברירת מחדל, הזמן הקצוב לתפוגה של איסוף האשפה הוא 2 שניות, אבל אפשר לשנות אותו על ידי עריכת האפשרות הבאה בהגדרות ההפעלה:

-XX:MaxGCPauseMillis=2000

במכונה גדולה יותר עם כמה ליבות, אפשר לקצר את הזמן הקצוב לתפוגה של איסוף האשפה.

יומנים

כברירת מחדל, יומני איסוף האשפה של Looker מאוחסנים ב-/tmp/gc.log. כדי לשנות את זה, צריך לערוך את האפשרות הבאה בהגדרות ההפעלה:

-Xloggc:/tmp/gc.log

JMX

כדי לנהל את Looker, יכול להיות שתצטרכו לעקוב אחרי השימוש כדי לשפר את הקצאת המשאבים. מומלץ להשתמש ב-JMX כדי לעקוב אחרי השימוש בזיכרון של JVM.

אפשרויות ההפעלה של Looker

אפשרויות ההפעלה מאוחסנות בקובץ שנקרא lookerstart.cfg. המקור של הקובץ הזה נמצא בסקריפט המעטפת שמפעיל את Looker.

מאגרים של פרוטוקולי Thread

Looker היא אפליקציה מרובת-תהליכים, ויש לה כמה מאגרי תהליכים. מאגרי ה-threads האלה נעים בין שרת האינטרנט הראשי לבין שירותי משנה ייעודיים כמו תזמון, רינדור וחיבורים למסדי נתונים חיצוניים. בהתאם לתהליכי העבודה של העסק, יכול להיות שתצטרכו לשנות את מאגרי הכתובות האלה מהגדרת ברירת המחדל. בפרט, יש שיקולים מיוחדים לטופולוגיות של אשכולות שמוזכרות בדף דפוסים ושיטות של ארכיטקטורת תשתית באירוח בצד הלקוח.

אפשרויות לתפוקת תזמון גבוהה

בכל הצמתים שאינם מתזמנים, מוסיפים את --scheduler-threads=0 למשתנה הסביבה LOOKERARGS ב-lookerstart.cfg. בלי שרשורי מתזמן, לא יפעלו משימות מתוזמנות בצמתים האלה.

בכל הצמתים הייעודיים של המתזמן, מוסיפים את --scheduler-threads=<n> למשתנה הסביבה LOOKERARGS ב-lookerstart.cfg. כברירת מחדל, Looker מתחיל עם 10 תהליכי תזמון, אבל אפשר להגדיל את המספר הזה ל-<n>. עם <n> תהליכי תזמון, כל צומת יוכל לבצע <n> משימות תזמון בו-זמנית. באופן כללי, מומלץ שהערך של <n> יהיה קטן מפי 2 ממספר המעבדים. המארח המומלץ הגדול ביותר הוא מארח עם 16 מעבדים וזיכרון בנפח 64GB, כך שהגבול העליון של השרשורים של המתזמן צריך להיות פחות מ-32.

אפשרויות עיבוד (rendering) עם תפוקה גבוהה

בכל הצמתים שאינם צומתי רינדור, מוסיפים את --concurrent-render-jobs=0 למשתנה הסביבה LOOKERARGS בקובץ lookerstart.cfg. בלי צומתי רינדור, לא יופעלו משימות רינדור בצמתים האלה.

בכל צומתי הרינדור הייעודיים, מוסיפים את --concurrent-render-jobs=<n> למשתנה הסביבה LOOKERARGS ב-lookerstart.cfg. כברירת מחדל, Looker מתחיל עם שני שרשורי עיבוד, אבל אפשר להגדיל את המספר ל-<n>. עם <n> שרשורי עיבוד, כל צומת יוכל לבצע <n> משימות עיבוד בו-זמנית.

כל משימת רינדור יכולה לצרוך כמות משמעותית של זיכרון. מומלץ להקצות כ-2GB לכל משימת רינדור. לדוגמה, אם לתהליך הליבה של Looker‏ (Java) מוקצים 60% מסך הזיכרון, ו-20% מהזיכרון שנותר שמורים למערכת ההפעלה, נשארים 20% למשימות רינדור. במכונה של 64GB, נשארים 12GB, וזה מספיק ל-6 משימות עיבוד בו-זמניות. אם צומת מוקדש לעיבוד ולא נכלל במאגר של מאזן העומסים שמטפל במשימות אינטראקטיביות, אפשר להקטין את הזיכרון של תהליך הליבה של Looker כדי לאפשר יותר משימות עיבוד. במכונה של 64GB, אפשר להקצות כ-30% (20GB) לתהליך הליבה של Looker. אם שומרים 20% לשימוש כללי של מערכת ההפעלה, נשארים 50% (32GB) לעיבוד, וזה מספיק ל-16 משימות עיבוד בו-זמניות.

מסד נתונים פנימי (בקצה העורפי)

שרת Looker שומר מידע על ההגדרות שלו, חיבורים למסדי נתונים, משתמשים, קבוצות ותפקידים, תיקיות, דוחות Look ומרכזי בקרה שמוגדרים על ידי המשתמשים ונתונים שונים אחרים במסד נתונים פנימי.

במכונה עצמאית של Looker בגודל בינוני, הנתונים האלה מאוחסנים במסד נתונים HyperSQL בזיכרון, שמוטמע בתהליך של Looker עצמו. הנתונים של מסד הנתונים הזה מאוחסנים בקובץ <looker install directory>/.db/looker.script. למרות שמסד הנתונים הזה נוח וקל, יש לו בעיות בביצועים בשימוש כבד. לכן מומלץ להתחיל עם מסד נתונים מרוחק של MySQL. אם זה לא אפשרי, מומלץ לעבור למסד נתונים מרוחק של MySQL כשהקובץ ~/looker/.db/looker.script מגיע לגודל של 600MB. האשכולות חייבים להשתמש במסד נתונים של MySQL.

שרת Looker מבצע הרבה פעולות קריאה וכתיבה קטנות במסד הנתונים של MySQL. בכל פעם שמשתמש מפעיל Look או Explore,‏ Looker בודק את מסד הנתונים כדי לוודא שהמשתמש עדיין מחובר, שיש לו הרשאות לגשת לנתונים, שיש לו הרשאות להפעיל את ה-Look או ה-Explore וכו'. ‫Looker גם יכתוב נתונים במסד הנתונים של MySQL, כמו ה-SQL בפועל שהופעל והשעה שבה הבקשה התחילה והסתיימה. אינטראקציה אחת בין משתמש לאפליקציית Looker יכולה לגרום ל-15 או 20 פעולות קריאה וכתיבה קטנות במסד הנתונים של MySQL.

MySQL

גרסת שרת MySQL צריכה להיות 8.0.X או 8.4.X. גרסה 8.4.X נתמכת החל מ-Looker 26.6 והיא מומלצת. מגדירים את השרת כך שישתמש בערכת התווים utf8mb4, ב-collation‏ utf8mb4_general_ci ובמנוע האחסון InnoDB. הוראות להגדרה ושלבים להעברת נתונים ממסד נתונים קיים של HyperSQL ל-MySQL מפורטים במאמר העברת מסד הנתונים לקצה העורפי של Looker ל-MySQL.

כשמגדירים את Looker לשימוש ב-MySQL, צריך ליצור קובץ YAML שמכיל את פרטי החיבור. נותנים לקובץ ה-YAML את השם looker-db.yml ומוסיפים את ההגדרה -d looker-db.yml בקטע LOOKERARGS של הקובץ lookerstart.cfg.

MariaDB

ל-MySQL יש רישיון כפול, והוא זמין גם כקוד פתוח וגם כמוצר מסחרי. ‫Oracle המשיכה לשפר את MySQL, ו-MySQL פוצל ל-MariaDB. גרסאות MariaDB המקבילות ל-MySQL פועלות עם Looker, אבל הן לא פותחו על ידי צוותי ההנדסה של Looker ולא נבדקו על ידם. לכן, הפונקציונליות לא נתמכת או מובטחת.

גרסאות בענן

אם אתם מארחים את Looker בתשתית הענן שלכם, הגיוני לארח את מסד הנתונים של MySQL באותה תשתית ענן. שלושת ספקי הענן העיקריים – Amazon AWS,‏ Microsoft Azure ו- Google Cloud. ספקי שירותי הענן מנהלים את רוב התחזוקה וההגדרה של מסד הנתונים של MySQL, ומציעים שירותים כמו עזרה בניהול הגיבויים ושחזור מהיר. המוצרים האלה פועלים היטב עם Looker.

שאילתות של פעילות המערכת

מסד הנתונים של MySQL משמש לאחסון מידע על האופן שבו המשתמשים משתמשים ב-Looker. כל משתמש ב-Looker שיש לו הרשאה לצפות במודל System Activity יכול לגשת למספר מרכזי בקרה מובנים ב-Looker כדי לנתח את הנתונים האלה. המשתמשים יכולים גם לגשת לניתוחים של מטא-נתונים ב-Looker כדי ליצור ניתוחים נוספים. מסד הנתונים של MySQL משמש בעיקר לשאילתות "תפעוליות" קטנות ומהירות. שאילתות "ניתוח" גדולות ואיטיות שנוצרות על ידי המודל של פעילות המערכת יכולות להתחרות בשאילתות התפעוליות האלה ולהאט את Looker. בנוסף, שאילתות תחזוקה אוטומטיות ברקע (ניקויים אינטנסיביים) שמטרגטות טבלאות מטא-נתונים גדולות שמכילות היסטוריה של שנים, יכולות לצרוך כמות משמעותית של פעולות קלט/פלט לשנייה (IOPs) במסד הנתונים ולהשפיע על הביצועים הכוללים. בקטע תחזוקת מסד נתונים בקצה העורפי ושמירת מטא-נתונים מפורטות שיטות מומלצות לניהול טבלאות של מטא-נתונים.

במקרים כאלה, אפשר לשכפל את מסד הנתונים של MySQL למסד נתונים אחר. גם מערכות בניהול עצמי וגם מערכות מסוימות בניהול בענן מספקות הגדרה בסיסית של שכפול למסדי נתונים אחרים. הגדרת הרפליקציה לא נכללת במסמך הזה.

כדי להשתמש ברפליקה לשאילתות של System Activity, צריך ליצור עותק של הקובץ looker-db.yml, למשל בשם looker-usage-db.yml, לשנות אותו כך שיצביע על הרפליקה, ולהוסיף את ההגדרה --internal-analytics-connection-file looker-usage-db.yml לקטע LOOKERARGS בקובץ lookerstart.cfg.

אפשר להריץ את השאילתות של System Activity במכונה של MySQL או במסד נתונים של Google BigQuery. הם לא נבדקים מול מסדי נתונים אחרים.

תחזוקה של מסד נתונים בקצה העורפי ושמירת מטא-נתונים

מכונות Looker באירוח בצד הלקוח עם מסד נתונים לקצה העורפי בניהול עצמי (כמו MySQL) מבצעות משימות תחזוקה אוטומטיות ברקע, כולל ניקוי אינטנסיבי של טבלאות מטא-נתונים (לדוגמה, טבלאות היסטוריית השאילתות). במהלך כמה שנים של שימוש, בטבלאות האלה יכולות להצטבר מיליוני רשומות ישנות. הפעלה של תהליכי ניקוי אוטומטיים בטבלאות הענקיות האלה יכולה לנצל את כל פעולות הקלט/פלט הזמינות לשנייה (IOPs), לפגוע באופן חמור בביצועים של מסד הנתונים בקצה העורפי ולשבש את מערכת הייצור.

אם המערכת שלכם חווה שימוש גבוה ב-IOPs כתוצאה מניקוי פעיל, כדאי לאפשר לתהליך הניקוי האינטנסיבי האוטומטי להסתיים. כדי למנוע פגיעה בביצועים בעתיד ולשמור על טבלאות המטא-נתונים בגודל סביר, האדמינים צריכים ליישם את השיטות המומלצות הבאות:

  1. צמצום תקופת השמירה של המטא-נתונים: כדי להגביל את הגודל של הטבלאות האלה, אפשר לצמצם את הפרמטר Extract History Retention Days בחלונית Admin ב-Looker ל-90 ימים או פחות.
  2. תחזוקה פיזית: מבצעים ניקוי ידני של הרשומות בטבלאות הגדולות ביותר (כמו טבלת היסטוריית השאילתות), ואז מריצים פקודת OPTIMIZE TABLE ב-MySQL כדי לפנות מקום בכונן הפיזי ולבנות מחדש את האינדקסים של הטבלאות.
  3. בדיקת הגדרת הזיכרון: מוודאים שהגדרת הזיכרון של מסד הנתונים (כמו InnoDB Buffer Pool) מספיקה כדי לטפל בשאילתות אינטנסיביות. באשכולות פעילים מאוד יכול להיות שיהיה צורך לשנות את innodb_buffer_pool_size (ראו את הקטע הגדרת הביצועים של MySQL בהמשך הדף).

הגדרת הביצועים של MySQL

בנוסף להגדרות שנדרשות כדי להעביר את מסד הנתונים של Looker לקצה העורפי של MySQL, יכול להיות שאשכולות פעילים מאוד יפיקו תועלת מכוונון ומהגדרה נוספים. אפשר להגדיר את ההגדרות האלה בקובץ /etc/my.cnf, או דרך מסוף Google Cloud במכונות שמנוהלות בענן.

קובץ התצורה my.cnf מחולק לכמה חלקים. השינויים בהגדרות שמתוארים בקטע הזה מתבצעים בחלק [mysqld].

הגדרת הגודל של מאגר המאגרים של InnoDB

גודל מאגר המאגרים של InnoDB הוא ה-RAM הכולל שמשמש לאחסון המצב של קובצי הנתונים של InnoDB בזיכרון. אם השרת מיועד להפעלת MySQL, צריך להגדיר את innodb_buffer_pool_size ל-50%-70% מכלל הזיכרון של המערכת.

אם הגודל הכולל של מסד הנתונים קטן, אפשר להגדיר את מאגר הנתונים הזמני של InnoDB לגודל של מסד הנתונים, במקום ל-50% או יותר מהזיכרון.

בדוגמה הזו, לשרת יש זיכרון של 64GB, ולכן מאגר ה-buffer של InnoDB צריך להיות בין 32GB ל-45GB. ככל שהמספר גדול יותר, כך זה טוב יותר.

[mysqld]
...
innodb_buffer_pool_size=45G

הגדרת המכונות של מאגר המאגרים של InnoDB

כאשר כמה שרשורים מנסים לחפש במאגר מאגרים גדול, הם עלולים להתחרות. כדי למנוע את זה, מאגר המאגרים מחולק ליחידות קטנות יותר שאפשר לגשת אליהן באמצעות שרשורים שונים בלי התנגשות. כברירת מחדל, מאגר הנתונים הזמני מחולק ל-8 מכונות. זה יוצר פוטנציאל לצוואר בקבוק של 8 שרשורים. הגדלת מספר המופעים של מאגר המאגרים מפחיתה את הסיכוי לצוואר בקבוק. צריך להגדיר את innodb_buffer_pool_instances כך שכל מאגר מאגרים יקבל לפחות 1GB של זיכרון.

[mysqld]
...
innodb_buffer_pool_instances=32

אופטימיזציה של קובץ היומן של InnoDB

כשטרנזקציה מתבצעת, מסד הנתונים יכול לעדכן את הנתונים בקובץ עצמו או לשמור פרטים על הטרנזקציה ביומן. אם מסד הנתונים קורס לפני שקובצי הנתונים מתעדכנים, אפשר "להפעיל מחדש" את קובץ היומן כדי להחיל את השינויים. כתיבה בקובץ היומן היא פעולת append קטנה. כדאי להוסיף ליומן בזמן השמירה, ואז לאסוף כמה שינויים בקובצי הנתונים ולכתוב אותם בפעולת קלט/פלט אחת. כאשר קובץ היומן מתמלא, מסד הנתונים צריך להשהות את העיבוד של טרנזקציות חדשות ולכתוב את כל הנתונים שהשתנו בחזרה לדיסק.

ככלל אצבע, קובץ היומן של InnoDB צריך להיות גדול מספיק כדי להכיל טרנזקציות של שעה אחת.

בדרך כלל יש שני קובצי יומן של InnoDB. הם צריכים להיות בערך 25% ממאגר המאגרים של InnoDB. לדוגמה, במסד נתונים עם מאגר מאגרים של 32GB, קובצי היומן של InnoDB צריכים להיות בגודל כולל של 8GB, או 4GB לכל קובץ.

[mysqld]
...
innodb_log_file_size=8GB

הגדרת קיבולת הקלט/פלט של InnoDB

‫MySQL יגביל את מהירות הכתיבה לדיסק כדי לא להעמיס על השרת. ערכי ברירת המחדל הם שמרניים ברוב השרתים. כדי להשיג ביצועים אופטימליים, כדאי להשתמש בכלי sysbench כדי למדוד את מהירות הכתיבה האקראית לדיסק הנתונים, ואז להשתמש בערך הזה כדי להגדיר את קיבולת הקלט/פלט כך ש-MySQL יכתוב נתונים מהר יותר.

במערכת שמתארחת בענן, ספק הענן אמור להיות מסוגל לדווח על הביצועים של הדיסקים שמשמשים לאחסון נתונים. בשרת MySQL באירוח עצמי, מודדים את המהירות של כתיבה אקראית לדיסק הנתונים בפעולות קלט/פלט לשנייה (IOPS). אחת הדרכים למדוד את זה היא באמצעות כלי השירות sysbench של Linux. משתמשים בערך הזה בשביל innodb_io_capacity_max, ובערך של חצי עד שלושה רבעים מהערך הזה בשביל innodb_io_capacity. לכן, בדוגמה הבאה, נראה את הערכים אם נמדוד 800 IOPS.

[mysqld]
...
innodb_io_capacity=500
innodb_io_capacity_max=800

הגדרת שרשורים של InnoDB

‫MySQL יפתח לפחות שרשור אחד לכל לקוח שמקבל שירות. אם הרבה לקוחות מחוברים בו-זמנית, זה יכול להוביל לעיבוד של מספר עצום של שרשורים. זה יכול לגרום למערכת להשקיע יותר זמן בהחלפה מאשר בעיבוד.

כדי לקבוע את המספר האידיאלי של השרשורים, צריך לבצע השוואה בין ביצועים. כדי לבדוק, מגדירים את מספר השרשורים בין מספר המעבדים (או ליבות המעבד) במערכת לבין פי 4 ממספר המעבדים. במערכת עם 16 ליבות, הערך הזה יהיה כנראה בין 16 ל-64.

[mysqld]
...
innodb_thread_concurrency=32

עמידות העסקה

ערך עסקה של 1 מאלץ את MySQL לכתוב לדיסק בכל עסקה. אם השרת קורס, העסקה לא תאבד, אבל הביצועים של מסד הנתונים יושפעו. הגדרת הערך הזה ל-0 או ל-2 יכולה לשפר את הביצועים, אבל היא עלולה לגרום לאובדן של טרנזקציות נתונים של כמה שניות.

[mysqld]
...
innodb_flush_log_at_trx_commit=1

הגדרת שיטת ה-flush

מערכת ההפעלה בדרך כלל מבצעת אגירה של כתיבות לדיסק. מכיוון שגם MySQL וגם מערכת ההפעלה מבצעות אגירה, יש פגיעה בביצועים. צמצום שיטת ה-flush בשכבה אחת של אגירת נתונים יכול לשפר את הביצועים.

[mysqld]
...
innodb_flush_method=O_DIRECT

הפעלת קובץ אחד לכל טבלה

כברירת מחדל, MySQL משתמש בקובץ נתונים אחד לכל הנתונים. ההגדרה innodb_file_per_table תיצור קובץ נפרד לכל טבלה, וכך תשפר את הביצועים ואת ניהול הנתונים.

[mysqld]
...
innodb_file_per_table=ON

השבתת הנתונים הסטטיסטיים על מטא-נתונים

ההגדרה הזו משביתה את איסוף הנתונים הסטטיסטיים בטבלאות מטא-נתונים פנימיות, ומשפרת את ביצועי הקריאה.

[mysqld]
...
innodb_stats_on_metadata=OFF

השבתת המטמון של השאילתות

מטמון השאילתות הוצא משימוש, ולכן הגדרת query_cache_size ו-query_cache_type ל-0 משביתה אותו.

[mysqld]
...
query_cache_size=0
query_cache_type=0

הגדלת מאגר הנתונים של ההצטרפות

ה-join_buffer משמש לביצוע צירופים בזיכרון. הגדלת המכסה יכולה לשפר פעולות מסוימות.

[mysqld]
...
join_buffer_size=512KB

הגדלת הטבלה הזמנית וגודל ה-heap המקסימלי

המשתנים tmp_table_size ו-max_heap_table_size מגדירים ערכי ברירת מחדל סבירים לטבלאות זמניות בזיכרון, לפני שהן נאלצות לעבור לדיסק.

[mysqld
...
tmp_table_size=32MB
max_heap_table_size=32MB

שינוי המטמון הפתוח של הטבלה

ההגדרה table_open_cache קובעת את גודל המטמון שבו נשמרים תיאורי הקבצים של טבלאות פתוחות. ההגדרה table_open_cache_instances מחלקת את המטמון לכמה חלקים קטנים יותר. יש פוטנציאל לתחרות על משאבים ב-table_open_cache, ולכן חלוקה לחלקים קטנים יותר עוזרת להגביר את בו-זמניות.

[mysqld]
...
table_open_cache=2048
table_open_cache_instances=16

שירות Git

Looker מיועד לעבוד עם שירות Git כדי לספק ניהול גרסאות של קובצי LookML. יש תמיכה בשירותי אירוח עיקריים של Git, כולל GitHub,‏ GitLab ו-Bitbucket. ספקי שירותי Git מציעים ערך מוסף, כמו ממשק משתמש גרפי (GUI) לצפייה בשינויים בקוד ותמיכה בתהליכי עבודה כמו בקשות משיכה ואישורי שינויים. אם צריך, אפשר להריץ את Git בשרת Linux רגיל.

אם שירות אירוח של Git לא מתאים לפריסה שלכם בגלל כללי אבטחה, הרבה מספקי השירות האלה מציעים גרסאות שאפשר להריץ בסביבה שלכם. במיוחד GitLab, שמתארחת בדרך כלל באופן עצמאי, ויכולה לשמש כמוצר בקוד פתוח ללא עלות רישיון או כמוצר נתמך ברישיון. ‫GitHub Enterprise זמין כשירות באירוח עצמי, והוא מוצר מסחרי נתמך.

בקטעים הבאים מפורטים הבדלים בין ספקי השירות הנפוצים ביותר.

‫GitHub/GitHub Enterprise

בדף התיעוד הגדרה ובדיקה של חיבור Git, ‏GitHub משמש כדוגמה.

‫GitLab/gitlab.com

בפוסט שימוש ב-GitLab לניהול גרסאות ב-Looker בקהילת Looker מפורטים השלבים להגדרה של GitLab. אם המאגר שלכם מכיל קבוצות משנה, אפשר להוסיף אותן לכתובת ה-URL של המאגר בפורמט HTTPS או SSH:

https://gitlab.com/accountname/subgroup/reponame

git@gitlab.com:accountname/subgroup/reponame.git

בנוסף, יש שלוש דרכים שונות לאחסן מפתחות SSH שנוצרו על ידי Looker ב-GitLab: כמפתח SSH של משתמש, כמפתח פריסה של מאגר או כמפתח פריסה משותף גלובלי. הסבר מפורט יותר זמין במסמכי התיעוד של GitLab.

Google Cloud מקור

בפוסט לקהילה שימוש ב-Cloud Source Repositories לניהול גרסאות ב-Looker מוסבר איך להגדיר את Git באמצעות Cloud Source Repositories.

Bitbucket Cloud

בפוסט לקהילה שימוש ב-Bitbucket לניהול גרסאות ב-Looker מוסבר איך להגדיר את Git עם Bitbucket Cloud. החל מאוגוסט 2021, Bitbucket Cloud לא תומך בסודות ב-webhooks לפריסה.

שרת Bitbucket

כדי להשתמש בבקשות משיכה עם Bitbucket Server, יכול להיות שתצטרכו לבצע את השלבים הבאים:

  1. כשפותחים בקשת משיכה, Looker משתמש באופן אוטומטי במספר היציאה שמוגדר כברירת מחדל (7999) בכתובת ה-URL. אם אתם משתמשים במספר יציאה מותאם אישית, תצטרכו להחליף את מספר היציאה בכתובת ה-URL באופן ידני.
  2. תצטרכו להפעיל את ה-webhook לפריסה של הפרויקט כדי לסנכרן את הסתעפות הייצור ב-Looker עם ההסתעפות הראשית של המאגר.

Phabricator diffusion

בפוסט לקהילה הגדרת Phabricator ו-Looker לניהול גרסאות מוסבר איך להגדיר את Git עם Phabricator.

רשת

חיבורים נכנסים

אפליקציית האינטרנט של Looker

כברירת מחדל, Looker מאזין לבקשות HTTPS ביציאה 9999. ב-Looker נעשה שימוש באישור בחתימה עצמית עם CN של self-signed.looker.com. לחלופין, אפשר להגדיר את שרת Looker כך שיבצע את הפעולות הבאות:

  1. לקבל חיבורי HTTP משרת proxy או ממאזן עומסים עם סיום SSL, באמצעות דגל ההפעלה --ssl-provided-externally-by=<s>. הערך צריך להיות כתובת ה-IP של שרת ה-Proxy, או שם מארח שאפשר לפתור באופן מקומי לכתובת ה-IP של שרת ה-Proxy. מערכת Looker תקבל חיבורי HTTP רק מכתובת ה-IP הזו.
  2. להשתמש באישור SSL שסופק על ידי הלקוח, עם דגל ההפעלה --ssl-keystore=<s>.

Looker API

‫Looker API מאזין ליציאה 19999. אם ההתקנה דורשת גישה ל-API, למאזן העומסים צריכים להיות כללי ההעברה הנדרשים. אותם שיקולי SSL חלים גם על אפליקציית האינטרנט הראשית. מומלץ להשתמש ביציאה נפרדת מאפליקציית האינטרנט.

מאזני עומסים

לרוב משתמשים במאזן עומסים כדי לקבל בקשת HTTPS ביציאה 443 באמצעות האישור של הלקוח, ואז להעביר את הבקשה לצומת של שרת Looker ביציאה 9999 באמצעות האישור בחתימה עצמית או HTTP. אם מאזני העומסים משתמשים באישור בחתימה עצמית של Looker, צריך להגדיר אותם כך שיקבלו את האישור הזה.

חיבורים לא פעילים וזמנים קצובים לתפוגה

כשמשתמש מתחיל בקשה גדולה ב-Looker, זה יכול לגרום לשאילתה שעלולה להיות יקרה להרצה במסד הנתונים. אם המשתמש נוטש את הבקשה בדרך כלשהי – למשל, על ידי סגירת המכסה של המחשב הנייד, התנתקות מהרשת או סגירת הכרטיסייה בדפדפן – Looker רוצה לדעת על כך ולסיים את השאילתה במסד הנתונים.

כדי לטפל במצב הזה, כשאפליקציית האינטרנט של הלקוח שולחת בקשה להריץ שאילתת מסד נתונים, הדפדפן פותח חיבור שקע באמצעות בקשת HTTP לטווח ארוך לשרת Looker. החיבור הזה יישאר פתוח ולא פעיל. השקע הזה ינותק אם אפליקציית האינטרנט של הלקוח תופסק או תנותק בדרך כלשהי. השרת יזהה את הניתוק ויבטל את כל השאילתות הקשורות למסד הנתונים.

מנגנונים לאיזון עומסים מזהים לעיתים קרובות את החיבורים הפתוחים האלה כשהם לא פעילים, וסוגרים אותם. כדי להפעיל את Looker בצורה יעילה, צריך להגדיר את מאזן העומסים כך שהחיבור הזה יישאר פתוח למשך הזמן של השאילתה הארוכה ביותר שמשתמש עשוי להריץ. מומלץ להגדיר זמן קצוב לתפוגה של 60 דקות לפחות.

חיבורים יוצאים

לשרתי Looker יכולה להיות גישה יוצאת ללא הגבלה לכל המשאבים, כולל האינטרנט הציבורי. כך אפשר לפשט הרבה משימות, כמו התקנת Chromium, שדורשת גישה ל-Package Repository של הפצת Linux.

אלה החיבורים היוצאים ש-Looker עשוי להזדקק להם.

חיבור למסד נתונים פנימי

כברירת מחדל, MySQL מאזין לחיבורים ביציאה 3306. צמתים של Looker צריכים להיות מסוגלים ליזום חיבורים ל-MySQL ביציאה הזו. בהתאם לאופן האירוח של המאגר, יכול להיות שתצטרכו לעבור דרך חומת אש.

שירותים חיצוניים

שרתי הטלמטריה והרישיונות של Looker זמינים באמצעות HTTPS באינטרנט הציבורי. יכול להיות שתצטרכו להוסיף לרשימת ההיתרים את תנועת הנתונים מצומת Looker אל ping.looker.com:443 ואל license.looker.com:443.

חיבורים למחסני נתונים

יכול להיות שיהיה צורך בחיבור דרך האינטרנט הציבורי למסדי נתונים שמתארחים בענן. לדוגמה, אם אתם משתמשים ב-BigQuery, יכול להיות שתצטרכו להוסיף את accounts.google.com:443 ו-www.googleapis.com:443 לרשימת ההיתרים. אם מסד הנתונים נמצא מחוץ לתשתית שלכם, התייעצו עם מארח מסד הנתונים לגבי פרטי הרשת.

שירותי SMTP

כברירת מחדל, Looker שולח דואר יוצא באמצעות SendGrid. יכול להיות שתצטרכו להוסיף את smtp.sendgrid.net:587 לרשימת ההיתרים. אפשר לשנות את הגדרות ה-SMTP בהגדרות האישיות כדי להשתמש גם ב-mail handler אחר.

מרכזי פעולות, שרתי פעולות ו-webhooks

הרבה יעדים של תזמון, במיוחד לפעולות webhook ואלה שמופעלים בחלונית הניהול של Looker, כוללים שליחת נתונים באמצעות בקשות HTTPS.

  • ב-webhooks, המשתמשים מציינים את היעדים האלה בזמן הריצה, והם עשויים להיות מנוגדים למטרה של חומת האש בחיבורים יוצאים.
  • במרכז פעולות, הבקשות האלה נשלחות אל actions.looker.com. פרטים נוספים זמינים במסמכי התיעוד בנושא הגדרת Looker Action Hub.
  • בשרתי פעולות אחרים, הבקשות האלה נשלחות לדומיינים שצוינו בהגדרות של שרת הפעולות על ידי אדמינים בחלונית הניהול של Looker.

שרת proxy

אם אי אפשר להגיע ישירות לאינטרנט הציבורי, אפשר להגדיר את Looker כך שישתמש בשרת proxy לבקשות HTTP(S) על ידי הוספת שורה כמו זו ל-lookerstart.cfg:

JAVAARGS="-Dhttp.proxyHost=myproxy.example.com
  -Dhttp.proxyPort=8080
  -Dhttp.nonProxyHosts=127.0.0.1|localhost
  -Dhttps.proxyHost=myproxy.example.com
  -Dhttps.proxyPort=8080"

חשוב לזכור שהתקשורת בין הצמתים מתבצעת באמצעות HTTPS, כך שאם אתם משתמשים בשרת proxy והמכונה שלכם מקובצת, בדרך כלל תרצו להוסיף את כתובות ה-IP או שמות המארחים של כל הצמתים באשכול לארגומנט Dhttp.nonProxyHosts.

תקשורת בין צמתים

מזהה מארח פנימי

בתוך אשכול, כל צומת צריך להיות מסוגל לתקשר עם הצמתים האחרים. כדי לאפשר את זה, שם המארח או כתובת ה-IP של כל צומת מצוינים בהגדרת ההפעלה. כשהצומת יופעל, הערך הזה ייכתב במאגר MySQL. חברים אחרים באשכול יכולים להשתמש בערכים האלה כדי לתקשר עם הצומת הזה. כדי לציין את שם המארח או את כתובת ה-IP בהגדרת ההפעלה, מוסיפים את -H node1.looker.example.com למשתנה הסביבה LOOKERARGS ב-lookerstart.cfg.

מכיוון ששם המארח חייב להיות ייחודי לכל צומת, הקובץ lookerstart.cfg צריך להיות ייחודי בכל מכונה. במקום להגדיר את שם המארח או את כתובת ה-IP בקוד, אפשר להשתמש בפקודה hostname -I או hostname --fqdn כדי למצוא אותם בזמן הריצה. כדי להטמיע את זה, מוסיפים את -H $(hostname -I) או את -H $(hostname --fqdn) למשתנה הסביבה LOOKERARGS ב-lookerstart.cfg.

יציאות פנימיות

בנוסף ליציאות 9999 ו-19999, שמשמשות לשרתי האינטרנט ושרת API, בהתאמה, הצמתים באשכול יתקשרו זה עם זה באמצעות שירות של מתווך הודעות, שמשתמש ביציאות 1551 ו-61616. היציאות 9999 ו-19999 צריכות להיות פתוחות לתנועה של משתמשי קצה, אבל היציאות 1551 ו-61616 צריכות להיות פתוחות בין צומתי האשכול.