ניתוח נתונים באמצעות BI Engine ו-Looker

‫Looker היא פלטפורמה ארגונית לבינה עסקית (BI), לאפליקציות נתונים ולניתוח נתונים מוטמעים. בעזרת Looker אתם יכולים לחקור, לשתף ולהציג באופן חזותי את נתוני החברה שלכם, כדי לקבל החלטות עסקיות טובות יותר.

איך Looker פועל

Looker מאפשר למומחי נתונים בכל ארגון לתאר את הנתונים שלהם באמצעות שפת מודלים קלה שנקראת LookML. ‫LookML אומר ל-Looker איך לשלוח שאילתות לגבי נתונים, כדי שכל מי שבארגון יוכל ליצור דוחות ומרכזי בקרה שקל לקרוא, ולחקור דפוסים של נתונים. ב-Looker יש תכונות נוספות ליצירת אפליקציות וחוויות מותאמות אישית של נתונים.

הפלטפורמה של Looker פועלת עם מסדי נתונים טרנזקציוניים כמו Oracle ו-MySQL, וגם עם מאגרי נתונים אנליטיים כמו BigQuery, ‏ Snowflake,‏ Redshift ועוד. בעזרת Looker אפשר ליצור מודלים עקביים של נתונים על סמך כל הנתונים, במהירות ובדייקנות. ‫Looker מספק ממשק אחיד לגישה לכל הנתונים של הארגון.

שילוב של Looker עם BigQuery

‫Looker תומך באירוח ב- Google Cloud. Looker לא תלוי בפלטפורמה, ולכן הוא מתחבר לנתונים ב-BigQuery וגם בעננים ציבוריים אחרים.

אתם לא צריכים את Looker כדי להשתמש ב-BigQuery. עם זאת, אם תרחיש השימוש שלכם ב-BigQuery כולל בינה עסקית, אפליקציות נתונים או ניתוח נתונים מוטמע, כדאי לבדוק את Looker כספק של השירותים האלה.

אם כבר יש לכם מכונה של Looker, תוכלו לקרוא איך מחברים את Looker ל-BigQuery.

איך מתחילים לעבוד עם Looker ו-BigQuery

‫BI Engine משתלב בצורה חלקה עם כל כלי של בינה עסקית (BI), כולל Looker. מידע נוסף מופיע בסקירה הכללית על BI Engine.

יצירת מערך נתונים ב-BigQuery

השלב הראשון הוא ליצור קבוצת נתונים ב-BigQuery כדי לאחסן את הטבלה שמנוהלת על ידי BI Engine. כדי ליצור את קבוצת הנתונים, יש לבצע את השלבים הבאים:

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בחלונית השמאלית, לוחצים על Explorer:

    כפתור מודגש לחלונית Explorer.

    אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

  3. בחלונית Explorer, לוחצים על הפרויקט.

  4. בחלונית הפרטים, לוחצים על View actions ואז על Create dataset.

  5. בדף Create dataset, מבצעים את הפעולות הבאות:

    • בשדה Dataset ID, מזינים biengine_tutorial.

    • בקטע Data location, בוחרים באפשרות us (multiple regions in United States), המיקום במספר אזורים שבו מאוחסנים מערכי הנתונים שגלויים לכולם.

    • במדריך הזה, אתם יכולים לבחור באפשרות Enable table expiration ואז לציין את מספר הימים עד שתוקף הטבלה יפוג.

      הדף Create dataset

  6. משאירים את כל שאר הגדרות ברירת המחדל ולוחצים על Create dataset.

יצירת טבלה על ידי העתקת נתונים ממערך נתונים שגלוי לכולם

במדריך הזה אנחנו משתמשים במערך נתונים שזמין דרך תוכנית מערכי הנתונים הציבוריים של Google Cloud. מערכי נתונים ציבוריים הם מערכי נתונים שמתארחים ב-BigQuery, ואתם יכולים לגשת אליהם ולשלב אותם באפליקציות שלכם.

בקטע הזה יוצרים טבלה על ידי העתקת נתונים ממערך הנתונים San Francisco 311 בקשות שירות. אפשר לעיין במערך הנתונים באמצעות מסוףGoogle Cloud .

יוצרים את הטבלה

כדי ליצור את הטבלה:

  1. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה ל-BigQuery

  2. בחלונית השמאלית, לוחצים על Explorer:

    כפתור מודגש לחלונית Explorer.

  3. בחלונית Explorer, מחפשים את מערך הנתונים san_francisco_311.

  4. לוחצים על מערך הנתונים ואז על סקירה כללית > טבלאות.

  5. לוחצים על הטבלה 311_service_requests.

  6. בסרגל הכלים, לוחצים על העתקה.

    הדגשה של אפשרות ההעתקה.

  7. בתיבת הדו-שיח Copy table, בקטע Destination:

    • בקטע Project, לוחצים על Browse ובוחרים את הפרויקט.
    • בשדה Dataset, בוחרים באפשרות biengine_tutorial.

    • בשדה Table, מזינים 311_service_requests_copy.

      חלון העתקת הטבלה עם אפשרויות היעד

  8. לוחצים על Copy.

  9. אופציונלי: אחרי שפעולת ההעתקה מסתיימת, מאמתים את תוכן הטבלה על ידי הרחבת PROJECT_NAME > biengine_tutorial ולחיצה על 311_service_requests_copy > Preview. מחליפים את PROJECT_NAME בשם הפרויקט ב- Google Cloud במדריך הזה.

יצירת הזמנה של BI Engine

  1. במסוף Google Cloud , בקטע Administration נכנסים לדף BI Engine.

    כניסה לדף BI Engine

  2. לוחצים על Create reservation.

  3. בדף Create Reservation, מגדירים את ההזמנה של BI Engine:

    • ברשימה Project, מוודאים שהפרויקט הוא Google Cloud .
    • ברשימה Location, בוחרים מיקום. המיקום צריך להתאים למיקום של מערכי הנתונים שאתם שולחים אליהם שאילתות.

    • מזיזים את פס ההזזה GiB of Capacity לנפח הזיכרון שרוצים להקצות. בדוגמה הבאה הקיבולת מוגדרת ל-2GiB. הגודל המקסימלי הוא 250GiB.

      מיקום הקיבולת של BI Engine

  4. לוחצים על הבא.

  5. בקטע Preferred Tables, מציינים את הטבלאות שרוצים להאיץ באמצעות BI Engine. כדי למצוא שמות של טבלאות:

    1. בשדה Table Id, מקלידים חלק מהשם של הטבלה שרוצים להאיץ באמצעות BI Engine, לדוגמה 311.

    2. בוחרים את שמות הטבלאות מתוך רשימת השמות המוצעים.

      רק טבלאות מסוימות מתאימות להאצה. אם לא צוינו טבלאות מועדפות, כל השאילתות בפרויקט יכולות לעבור האצה.

  6. לוחצים על הבא.

  7. בקטע אישור ושליחה, קוראים את ההסכם.

  8. אם אתם מסכימים לתנאי ההסכם, לוחצים על יצירה.

אחרי שמאשרים את ההזמנה, הפרטים שלה מופיעים בדף Reservations.

הזמנה שאושרה

חיבור באמצעות Looker

כאן מוסבר איך להגדיר את Looker עם BigQuery.

  1. מתחברים ל-Looker כאדמינים.

  2. במסמכי התיעוד של Looker בנושא BigQuery, משלימים את החלקים הבאים:

    1. יצירת חשבון שירות
    2. הגדרת OAuth לחיבור BigQuery ב-Looker.

  3. לוחצים על הכרטיסייה Develop ובוחרים באפשרות מצב פיתוח.

  4. יוצרים מודל ופרויקט LookML למערך הנתונים. למידע נוסף, קראו את ההוראות לחיבור Looker למסד הנתונים.

  5. בתפריט Explore, עוברים ל-Explore שמשויך לשם הקובץ של המודל החדש Explore 311_service_requests_copy (או השם שנתתם ל-Explore).

קישרתם בהצלחה את Looker ל-BigQuery. אתם יכולים להשתמש בתכונה System Activity ב-Looker כדי ליצור דוח שימוש ב-Looker ולנתח את הביצועים של השאילתות שלכם בהשוואה למדדי ביצועים ספציפיים ל-BigQuery. במאמר מדדי BigQuery BI Engine מפורטים מדדים שונים לבדיקת הביצועים של שאילתות ב-BigQuery BI Engine.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך למתחילים, אפשר למחוק את הפרויקט, למחוק את ההזמנה של BI Engine או למחוק את שניהם.

מחיקת הפרויקט

הדרך הקלה ביותר לבטל את החיוב היא למחוק את הפרויקט שיצרתם בשביל המדריך.

כדי למחוק את הפרויקט:

  • התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
  • מאבדים את מזהה הפרויקט בהתאמה אישית. כשיוצרים פרויקט, אפשר ליצור מזהה פרויקט בהתאמה אישית לשימוש בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו. אם אתם מתכננים להיעזר במספר מדריכי לימוד או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

  1. במסוף Google Cloud , נכנסים לדף Manage resources.

    כניסה לדף BI Engine

  2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.

  3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

מחיקת ההזמנה

לחלופין, אם אתם מתכוונים להשאיר את הפרויקט, אתם יכולים למחוק את הזמנת הקיבולת כדי להימנע מעלויות נוספות של BI Engine.

כדי למחוק את ההזמנה:

  1. במסוף Google Cloud , בקטע Administration נכנסים לדף BI Engine.

    כניסה לדף BI Engine

  2. בקטע הזמנות, מאתרים את ההזמנה.

  3. בעמודה Actions, לוחצים על הסמל שמשמאל להזמנה ובוחרים באפשרות Delete.

  4. בתיבת הדו-שיח Delete reservation?‎, כותבים Delete ולוחצים על DELETE.

המאמרים הבאים

יש עוד הרבה אפשרויות נוספות שקשורות לניהול Looker, להתאמה אישית של מודל הנתונים שלו ולחשיפת נתונים למשתמשים. מידע נוסף זמין במקורות המידע הבאים: