ניתוח נתונים באמצעות BI Engine ו-Looker

‫Looker היא פלטפורמה ארגונית לבינה עסקית, לאפליקציות נתונים ולניתוח נתונים מוטמעים. ‫Looker מאפשר לכם לחקור, לשתף ולהציג באופן חזותי את נתוני החברה שלכם, כדי לקבל החלטות עסקיות טובות יותר.

איך Looker עובד

מומחי נתונים בכל ארגון יכולים להשתמש ב-Looker כדי לתאר את הנתונים שלהם באמצעות שפת מודלים קלה לשימוש שנקראת LookML. ‫LookML אומר ל-Looker איך לשלוח שאילתות לנתונים, כך שכל אחד בארגון יכול ליצור דוחות ומרכזי בקרה קריאים כדי לבדוק דפוסים של נתונים. ‫Looker מציע תכונות נוספות ליצירת אפליקציות וחוויות נתונים בהתאמה אישית.

פלטפורמת Looker פועלת עם מסדי נתונים טרנזקציוניים כמו Oracle ו-MySQL, וגם עם מאגרי נתונים אנליטיים כמו BigQuery, ‏ Snowflake,‏ Redshift ועוד. בעזרת Looker אפשר ליצור מודלים עקביים של נתונים על בסיס כל הנתונים שלכם, במהירות ובדיוק. ‫Looker מציע ממשק מאוחד לגישה לכל הנתונים של הארגון.

שילוב של Looker עם BigQuery

‫Looker תומך באירוח ב- Google Cloud. מכיוון ש-Looker הוא פלטפורמה עצמאית, הוא מתחבר לנתונים ב-BigQuery וגם לעננים ציבוריים אחרים.

לא צריך Looker כדי להשתמש ב-BigQuery. עם זאת, אם תרחיש השימוש שלכם ב-BigQuery כולל בינה עסקית, אפליקציות נתונים או ניתוח מוטמע, כדאי לבדוק את Looker כספק של השירותים האלה.

אם כבר יש לכם מופע Looker פעיל, תוכלו לעיין בהוראות לקישור Looker ל-BigQuery.

איך מתחילים לעבוד עם Looker ו-BigQuery

‫BI Engine משתלב בצורה חלקה עם כל כלי בינה עסקית (BI), כולל Looker. מידע נוסף מופיע בסקירה הכללית על BI Engine.

יצירת מערך נתונים ב-BigQuery

השלב הראשון הוא ליצור מערך נתונים ב-BigQuery כדי לאחסן בו את הטבלה שמנוהלת על ידי BI Engine. כדי ליצור מערך נתונים, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, לוחצים על הפרויקט.

4. בחלונית הפרטים, לוחצים על הצגת פעולות ואז על יצירת מערך נתונים.

5. בדף Create dataset, מבצעים את הפעולות הבאות:

   • בשדה Dataset ID (מזהה מערך הנתונים), מזינים biengine_tutorial.

   • בקטע Data location, בוחרים באפשרות us (multiple regions in United States), מיקום במספר אזורים שבו מאוחסנים מערכי נתונים ציבוריים.

   • במדריך הזה, אפשר לסמן את האפשרות Enable table expiration ואז לציין את מספר הימים עד שהטבלה תפוג.

     

6. משאירים את כל שאר הגדרות ברירת המחדל ולוחצים על יצירת מערך נתונים.

יצירת טבלה על ידי העתקת נתונים ממערך נתונים שגלוי לכולם

במדריך הזה נעשה שימוש במערך נתונים שזמין דרך תוכנית מערכי הנתונים הציבוריים של Google Cloud. מערכי נתונים ציבוריים הם מערכי נתונים ש-BigQuery מארח כדי שתוכלו לגשת אליהם ולשלב אותם באפליקציות שלכם.

בקטע הזה, יוצרים טבלה על ידי העתקת נתונים ממערך הנתונים San Francisco 311 service requests. אפשר לעיין במערך הנתונים באמצעות מסוףGoogle Cloud .

יצירת הטבלה

כדי ליצור את הטבלה:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית הימנית, לוחצים על כלי הניתוחים:

   

3. בחלונית Explorer, מחפשים את מערך הנתונים san_francisco_311.

4. לוחצים על מערך הנתונים ואז על סקירה כללית > טבלאות.

5. לוחצים על הטבלה 311_service_requests.

6. בסרגל הכלים, לוחצים על העתקה.

   

7. בתיבת הדו-שיח העתקת הטבלה, בקטע יעד, מבצעים את הפעולות הבאות:

   • בקטע Project (פרויקט), לוחצים על Browse (עיון) ובוחרים את הפרויקט.
   • בקטע Dataset (מערך נתונים), בוחרים באפשרות biengine_tutorial.

   • בשדה טבלה, מזינים 311_service_requests_copy.

     

8. לוחצים על Copy.

9. אופציונלי: אחרי שהעתקתם את הטבלה, תוכלו לוודא שהתוכן שלה נכון. לשם כך, מרחיבים את PROJECT_NAME > biengine_tutorial ולוחצים על 311_service_requests_copy > תצוגה מקדימה. מחליפים את PROJECT_NAME בשם הפרויקט שלכם במדריך הזה. Google Cloud

יצירת הזמנה ל-BI Engine

1. במסוף Google Cloud , בקטע Administration, עוברים לדף BI Engine.

   כניסה לדף BI Engine

   הערה: אם מוצגת בקשה להפעיל את BigQuery Reservation API, לוחצים על הפעלה.

2. לוחצים על Create reservation (יצירת הזמנה).

3. בדף Create Reservation, מגדירים את ההזמנה של BI Engine:

   • ברשימה Project (פרויקט), מאמתים את הפרויקט Google Cloud .
   • בוחרים מיקום מהרשימה מיקום. המיקום צריך להיות זהה למיקום של מערכי הנתונים שאתם שולחים להם שאילתות.

   • משנים את המחוון GiB of Capacity (קיבולת ב-GiB) לכמות נפח הזיכרון שרוצים לשריין. בדוגמה הבאה, הקיבולת מוגדרת כ-2 GiB. הגודל המקסימלי הוא ‎250 GiB.

     

4. לוחצים על הבא.

5. בקטע Preferred Tables, אפשר לציין טבלאות להאצה באמצעות BI Engine. כדי למצוא את שמות הטבלאות, מבצעים את הפעולות הבאות:

   1. בשדה Table Id (מזהה הטבלה), מקלידים חלק מהשם של הטבלה שרוצים להאיץ באמצעות BI Engine – לדוגמה, 311.

   2. בוחרים את שמות הטבלאות מתוך רשימת השמות המוצעים.

      רק טבלאות שצוינו עומדות בדרישות להאצה. אם לא מציינים טבלאות מועדפות, כל השאילתות בפרויקט יכולות להיות מואצות.

6. לוחצים על הבא.

7. בקטע Confirm and submit (אישור ושליחה), בודקים את ההסכם.

8. אם אתם מסכימים לתנאי ההסכם, לוחצים על יצירה.

אחרי שתאשרו את ההזמנה, הפרטים שלה יוצגו בדף הזמנות.

חיבור באמצעות Looker

קיצור דרך: אם כבר יש לכם מודל Looker שמשתמש במערך נתונים של BigQuery עם חשבון שירות, בפרויקט שמופעל בו BI Engine, לא נדרשת הגדרה נוספת.

בהוראות הבאות מוסבר איך להגדיר את Looker עם BigQuery.

1. נכנסים ל-Looker כאדמינים.

2. במאמרי העזרה של Looker בנושא BigQuery, משלימים את הקטעים הבאים:

   1. יצירת חשבון שירות
   2. הגדרת OAuth לחיבור BigQuery ב-Looker
   הערה: חשוב לוודא שחשבון השירות שאתם יוצרים משתמש באותו פרויקט לחיוב כמו הפרויקט שבו הפעלתם הזמנה של BI Engine.

3. לוחצים על הכרטיסייה פיתוח ובוחרים באפשרות מצב פיתוח.

4. יוצרים מודל ופרויקט LookML למערך הנתונים. מידע נוסף זמין בהוראות לחיבור Looker למסד הנתונים.

5. בתפריט Explore, עוברים אל explore שמשויך לשם קובץ המודל החדש Explore 311_service_requests_copy (או כל שם אחר שנתתם ל-explore).

החיבור בין Looker ל-BigQuery בוצע בהצלחה. אתם יכולים להשתמש בתכונה 'פעילות המערכת' ב-Looker כדי ליצור דוח שימוש ב-Looker ולנתח את הביצועים של השאילתות שלכם בהשוואה למדדי ביצועים ספציפיים ל-BigQuery. כדי לעיין במדדים שונים של ביצועי שאילתות ב-BigQuery BI Engine, אפשר לעיין במאמר מדדים של BigQuery BI Engine.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם במדריך למתחילים הזה, אתם יכולים למחוק את הפרויקט, למחוק את ההזמנה של BI Engine או לבצע את שתי הפעולות.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו כתובת URL של appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו. אם אתם מתכננים להיעזר במספר מדריכי לימוד או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud, עוברים לדף Manage resources.

   כניסה לדף BI Engine

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.

3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת ההזמנה

לחלופין, אם אתם רוצים לשמור את הפרויקט, אתם יכולים למחוק את הזמנת הקיבולת כדי להימנע מעלויות נוספות של BI Engine.

כדי למחוק את ההזמנה:

1. במסוף Google Cloud , בקטע Administration, עוברים לדף BI Engine.

   כניסה לדף BI Engine

   הערה: אם מוצגת בקשה להפעיל את BigQuery Reservation API, לוחצים על הפעלה.

2. בקטע הזמנות, מוצאים את ההזמנה.

3. בעמודה פעולות, לוחצים על הסמל משמאל להזמנה ובוחרים באפשרות מחיקה.

4. בתיבת הדו-שיח למחוק את ההזמנה?, מזינים מחיקה ולוחצים על מחיקה.

המאמרים הבאים

יש עוד הרבה אפשרויות שקשורות לניהול Looker, להתאמה אישית של מודל הנתונים שלו ולחשיפת נתונים למשתמשים. מידע נוסף זמין במקורות המידע הבאים:

• מסמכי Looker
• שיטות מומלצות לשימוש ב-Looker
• הדרכה בנושא Looker