חיבור ברירת מחדל ל-BigQuery ב-Looker (Google Cloud Core)‎

כדי להפעיל את ניתוח הנתונים, צריך לקשר את Looker (Google Cloud core) למסד נתונים. אפשר ליצור חיבור ברירת מחדל למסד נתונים של SQL סטנדרטי ב-BigQuery באמצעות החיבור המהיר ל-BigQuery.

האריח BigQuery QuickStart (התחלה מהירה של BigQuery) בדף הבית.

לפני שמתחילים

כדי להגדיר חיבור מהיר ל-BigQuery, צריך את ההרשאות הבאות.

הרשאות ב-Looker

אם יש לכם אחת מההרשאות הבאות ב-Looker, תוכלו לראות ולערוך את הדף BigQuery QuickStart Connection בדף Home של מופע Looker (Google Cloud core):

הרשאות IAM

במקרים של הגדרת חיבור ל-BigQuery, אפשר להשתמש ב-Application Default Credentials ‏ (ADC) כדי לבצע אימות במופעים של Looker (Google Cloud core). כשמשתמשים ב-ADC, החיבור יאומת במסד הנתונים באמצעות פרטי הכניסה של חשבון השירות של Looker (Google Cloud core). לחשבון השירות צריכות להיות ההרשאות הבאות ב-IAM כדי לגשת למערך הנתונים ב-BigQuery:

  • בפרויקט שמכיל את מערך הנתונים ב-BigQuery, לחשבון השירות של Looker צריכות להיות ההרשאות הבאות ב-IAM:

  • בפרויקט לחיוב, לחשבון השירות של Looker צריכים להיות תפקידי ה-IAM הבאים:

אם לחשבון השירות של Looker (Google Cloud core) עדיין אין את תפקידי ה-IAM הנדרשים, צריך להשתמש בכתובת האימייל של חשבון השירות כשמעניקים תפקידים בפרויקט הזה. כדי למצוא את כתובת האימייל של חשבון השירות, עוברים לדף IAM במסוף Google Cloud ומסמנים את התיבה Include Google-provided role grants. האימייל יהיה בפורמט service-<project number>@gcp-sa-looker.iam.gserviceaccount.com. משתמשים בכתובת האימייל הזו כדי להקצות את התפקידים המתאימים לחשבון השירות.

הגדרת חיבור מהיר ל-BigQuery

משתמשים עם ההרשאות המתאימות יכולים לראות ולערוך את הקישור המהיר ל-BigQuery מהדף דף הבית או מהדף קישורים בחלונית ניהול. בדף Connections, החיבור של BigQuery QuickStart מופיע בשם Default BigQuery Connection. במופע חדש, שדות מזהה פרויקט האחסון ומזהה פרויקט החיוב יוגדרו כברירת מחדל לערך None.

בדף הבית, לוחצים על הכפתור בדיקת החיבור כדי לנהל את החיבור. כדי לסגור את כרטיס דף הבית, לוחצים על X או על האפשרות BigQuery Quick Start (התחלה מהירה של BigQuery) בסרגל הצד Discover (גילוי).

המדריך למתחילים בנושא חיבור ל-BigQuery כולל את הקטעים הבאים:

מזהה פרויקט לחיוב

מזהה הפרויקט משמש כמזהה ייחודי של Google Cloud פרויקט החיוב. פרויקט החיוב הוא Google Cloud הפרויקט שמחויב על השימוש ב-BigQuery, אבל עדיין אפשר לשלוח שאילתות למערכי נתונים בפרויקט אחר Google Cloud אם מפתחי LookML מציינים שמות טבלאות עם היקף מלא בפרמטר sql_table_name של התצוגות, הניתוחים או הצירופים של LookML. זהו שדה חובה.

כדי לבצע אימות למסד נתונים של BigQuery באמצעות OAuth: בחיבורים ל-BigQuery, ‏ Looker (Google Cloud core) יכול להשתמש באופן אוטומטי בפרטי הכניסה של אפליקציית OAuth שבהם השתמש האדמין של Looker (Google Cloud core) כשהוא יצר את המופע. מידע נוסף זמין במאמר בנושא יצירה של לקוח OAuth ופרטי כניסה למופע של Looker (Google Cloud core).

מרחיבים את הקטע פרטי סטטוס כדי לבדוק את הגדרות החיבור.

מערך נתונים ראשי

הדף קבוצת נתונים ראשית מכיל את ההגדרות הבאות.

מזהה פרויקט האחסון

בשדה מזהה פרויקט האחסון, מזינים את מזהה הפרויקט של הפרויקט שמכיל את מערך הנתונים ב-BigQuery שאליו רוצים להתחבר, גם אם זה אותו פרויקט שמכיל את מופע Looker (Google Cloud core). זהו שדה חובה.

מערך נתונים ראשי

מערך הנתונים הראשי הוא המקום שבו BigQuery יחפש טבלאות אם המיקום שלהן לא צוין בטקסט של שאילתת ה-SQL. שימו לב: שאילתות של Looker (Google Cloud core) יכולות להפנות לטבלאות בכל פרויקט או מערך נתונים, כל עוד השאילתות משתמשות בשמות טבלאות עם היקף מלא בפורמט project_id.dataset_name.table_name. חשבון השירות של Looker (Google Cloud core) צריך גם את הרשאות ה-IAM המתאימות כדי לגשת לטבלאות במיקום הזה. זהו שדה חובה.

מידע נוסף על מערכי נתונים זמין בדף מאמרי העזרה בנושא קישור Looker ל-BigQuery.

מרחיבים את הקטע פרטי סטטוס כדי לבדוק את הגדרות החיבור.

הגדרת הגדרות אופציונליות לחיבור BigQuery

בקטע הגדרות אופציונליות מופיעות האפשרויות הבאות:

  • מספר החיבורים המקסימלי לכל צומת: המספר המקסימלי של חיבורים למסד הנתונים שמותרים בכל זמן נתון. הערה: ההגדרה הזו היא לכל צומת בפריסת Looker (Google Cloud core). הערך צריך להיות בין 5 ל-100, ואפשר להשאיר אותו על ערך ברירת המחדל בהתחלה. מידע נוסף על ההגדרה הזו זמין בקטע Max connections per node בדף התיעוד Connecting Looker to your database.

  • Connection Pool Timeout: מספר השניות שהשאילתה תמתין לפני שתפוג כשהמאגר מלא. אפשר להשאיר את ערך ברירת המחדל בהתחלה. מידע נוסף על ההגדרה הזו זמין בקטע Connection Pool Timeout (פסק זמן של מאגר חיבורים) בדף התיעוד Connecting Looker to your database (חיבור Looker למסד הנתונים).

  • פרמטרים נוספים של JDBC: מוסיפים פרמטרים נוספים של JDBC, כמו תוויות BigQuery (מידע נוסף זמין בקטע תוויות של משימות ותגובות הקשר לחיבורי BigQuery בדף הזה).

  • לוח זמנים לתחזוקה: ביטוי Cron שמציין את התדירות המקסימלית של בדיקות להפעלת קבוצת נתונים ותחזוקה של PDT. מידע נוסף על ההגדרה הזו זמין במסמכי התיעוד בנושא תזמון תחזוקה.

  • ‫SSL: בוחרים אם רוצים להשתמש בהצפנת SSL כדי להגן על הנתונים בזמן שהם עוברים בין Looker (Google Cloud core) לבין מסד הנתונים. פרוטוקול SSL הוא רק אחת מהאפשרויות שבהן אפשר להשתמש כדי להגן על הנתונים. אפשרויות מאובטחות אחרות מתוארות בדף התיעוד בנושא הפעלת גישה מאובטחת למסד נתונים.

  • אימות SSL: בוחרים אם רוצים לדרוש אימות של אישור ה-SSL שבו נעשה שימוש בחיבור. מידע נוסף על ההגדרה הזו זמין בקטע אימות SSL בדף התיעוד חיבור Looker למסד הנתונים.

  • טעינה מראש של טבלאות ועמודות: ב-SQL Runner, כל פרטי הטבלה נטענים מראש ברגע שבוחרים חיבור וסכימה. כך, כשתלחצו על שם של טבלה, SQL Runner יציג במהירות את העמודות של הטבלה. עם זאת, כשמדובר בחיבורים ובסכימות עם הרבה טבלאות או עם טבלאות גדולות מאוד, יכול להיות שלא תרצו ש-SQL Runner יטען מראש את כל המידע.

  • שליפה ושמירה במטמון של סכימה: כדי לייעל את הכתיבה של SQL, חלק מהתכונות של כתיבת SQL, כמו aggregate awareness, משתמשות בסכימת המידע של מסד הנתונים ב-Looker (Google Cloud core). מידע נוסף על ההגדרה הזו זמין בקטע שליפת סכימת מידע לכתיבת SQL בדף התיעוד קישור Looker למסד הנתונים.

  • הפעלת PDTs: מפעילים את המתג הפעלת PDTs כדי להפעיל טבלאות נגזרות קבועות. כשמפעילים PDT, בחלון Optional Settings מופיעים שדות PDT נוספים והקטע PDT Overrides.

  • מסד נתונים זמני: מזינים את מערך הנתונים ב-BigQuery שבו Looker (Google Cloud core) ייצור טבלאות נגזרות קבועות. כדאי להגדיר את מערך הנתונים הזה מראש, עם הרשאות הכתיבה המתאימות. חובה למלא את השדה הזה כדי להשתמש ב-PDT.

  • מספר החיבורים המקסימלי של PDT Builder: הגדרת מספר החיבורים המקסימלי של PDT Builder מוגדרת כברירת מחדל לערך 1, אבל אפשר להגדיר אותה עד 100. עם זאת, הערך לא יכול להיות גבוה מהערך שמוגדר בחיבורים מקסימליים לכל צומת. מידע נוסף על ההגדרה הזו זמין בקטע מספר החיבורים המקסימלי של כלי ה-PDT Builder בדף התיעוד חיבור Looker למסד הנתונים. חשוב להגדיר את הערך הזה בקפידה. אם הערך גבוה מדי, יכול להיות שתעמיסו על מסד הנתונים. אם הערך נמוך, יכול להיות ש-PDT שפועלים לאורך זמן או טבלאות מצטברות יעכבו את היצירה של טבלאות קבועות אחרות או יאטו את השאילתות האחרות בחיבור.

  • ניסיון חוזר לבניית טבלאות PDT שנכשלו: המתג ניסיון חוזר לבניית טבלאות PDT שנכשלו מגדיר איך הכלי ליצירה מחדש של Looker (Google Cloud core) ינסה לבנות מחדש טבלאות PDT שמופעלות על ידי טריגרים ונכשלו במחזור הקודם של הכלי ליצירה מחדש. מידע נוסף על ההגדרה הזו זמין בקטע ניסיון חוזר של בניית PDT שנכשלה בדף התיעוד קישור Looker למסד הנתונים.

  • ‫PDT API Control: המתג PDT API Control קובע אם אפשר להשתמש בקריאות ל-API‏ start_pdt_build,‏ check_pdt_build ו-stop_pdt_build עבור החיבור הזה. אם המתג PDT API Control מושבת, קריאות ה-API האלה ייכשלו אם הן מפנות ל-PDT בחיבור הזה.

  • PDT Overrides: אם מסד הנתונים שלכם תומך בטבלאות נגזרות קבועות, והפעלתם את המתג Enable PDTs בהגדרות החיבור, Looker (Google Cloud core) יציג את הקטע PDT Overrides. בקטע PDT Overrides (שינויים ב-PDT), אפשר להזין פרמטרים נפרדים של JDBC (מארח, יציאה, מסד נתונים, שם משתמש, סיסמה, סכימה, פרמטרים נוספים ומשפטים אחרי ההתחברות) שספציפיים לתהליכי PDT. מידע נוסף על ההגדרה הזו זמין בקטע PDT Overrides בדף התיעוד Connecting Looker to your database.

  • אזור הזמן של מסד הנתונים: אזור הזמן שבו מסד הנתונים שומר מידע שמבוסס על זמן. מערכת Looker (Google Cloud core) צריכה לדעת את זה כדי להמיר ערכי זמן עבור המשתמשים, וכך להקל על ההבנה והשימוש בנתונים שמבוססים על זמן. מידע נוסף מופיע בדף התיעוד בנושא שימוש בהגדרות אזור הזמן.

  • אזור הזמן של השאילתות: האפשרות אזור הזמן של השאילתות מוצגת רק אם השבתתם את האפשרות אזורי זמן ספציפיים למשתמש. מידע נוסף מופיע בדף התיעוד בנושא שימוש בהגדרות אזור הזמן.

מרחיבים את הקטע פרטי סטטוס כדי לבדוק את הגדרות החיבור.

בדיקה

בקטע בדיקה, בודקים ומשנים את פרטי החיבור שהזנתם בקטעים הקודמים.

מרחיבים את הקטע פרטי סטטוס כדי לבדוק את הגדרות החיבור. לוחצים על סמל העריכה לצד כל קטע כדי לחזור לקטע הזה ולשנות את ההגדרות.

שמירה ובדיקה של החיבור

כדי לשמור את השינויים שביצעתם בחיבור ל-BigQuery QuickStart, לוחצים על שמירה.

אפשר לבדוק את הגדרות החיבור מכמה מקומות בממשק המשתמש של Looker (Google Cloud core):

  • מרחיבים את הקטע פרטי סטטוס בחלק התחתון של אחד מדפי החיבור של QuickStart ולוחצים על בדיקת החיבור.
  • בדף Home (בית), מרחיבים את הקטע Status Details (פרטי הסטטוס) בחלק התחתון של כרטיס ה-QuickStart Connection (חיבור מהיר), ולוחצים על Test Connection (בדיקת החיבור).
  • בדף ניהול חשבון ארגוני Connections, לוחצים על הלחצן Test (בדיקה) לצד החיבור, כמו שמתואר בדף מאמרי העזרה Connections.

אחרי שמזינים את הגדרות החיבור, לוחצים על בדיקה כדי לוודא שהמידע נכון ושהמסד נתונים יכול להתחבר.

אם החיבור לא עובר אחת או יותר מהבדיקות, הנה כמה אפשרויות לפתרון בעיות:

המאמרים הבאים