Databricks

אתם יכולים להגדיר את המכונה של Databricks כך שתעבוד עם Looker כדי לנתח את הנתונים ולהמחיש אותם באופן חזותי לצורך דיווח תפעולי. ‫Looker מתחבר ל-Databricks רק כש-Unity Catalog מופעל. כדי להגדיר את החיבור צריך להצפין את התנועה ברשת, ליצור משתמש ייעודי ב-Looker ולהגדיר את הרשאות המשתמש.

הצפנת התנועה ברשת

מומלץ להצפין את תעבורת הנתונים ברשת בין אפליקציית Looker לבין מסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף הפעלת גישה מאובטחת למסד נתונים.

יצירת משתמש Looker

Looker מבצע אימות ל-Databricks באמצעות אסימוני גישה אישיים. כדי ליצור אסימון גישה אישי למשתמש Databricks לשימוש ב-Looker, פועלים לפי ההוראות במסמכי התיעוד של Databricks.

מוסיפים הרשאות למשתמש הזה באמצעות GRANT.

למשתמש ב-Looker צריכות להיות לפחות ההרשאות SELECT ו-READ_METADATA.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

מידע על השרת

פועלים לפי המסמכים של Databricks כדי למצוא את נתיב ה-HTTP של אשכול Databricks. בדף הזה, המונח הזה יופיע בתור <YOUR_HTTP_PATH>.

הגדרה של טבלאות נגזרות מתמידות (PDT)

כדי להשתמש בטבלאות נגזרות מתמידות (PDT), צריך ליצור מסד נתונים נפרד.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

בנוסף, צריך להעניק למשתמשים הרשאות כתיבה נוספות.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

יצירת החיבור של Looker למסד הנתונים

בקטע Admin ב-Looker, בוחרים באפשרות Connections ולוחצים על Add Connection.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים. בהמשך מפורטות חלק מההגדרות:

  • שם: מציינים את שם החיבור. כך תתייחסו לחיבור בפרויקטים של LookML.
  • Dialect: מציינים את הניב Databricks.
  • מארח: מציינים את כתובת ה-URL של סביבת העבודה ב-Databricks. לדוגמה, dbc-yyyyyyyy.cloud.databricks.com/.
  • יציאה: מציינים את יציאת מסד הנתונים. ברירת המחדל היא 443.
  • ‫Database: מציינים את שם מסד הנתונים שבו רוצים להשתמש בשאילתות של Looker. ערך ברירת המחדל הוא default.
  • ‫Catalog: במסדי נתונים של Databricks שמופעל בהם Unity Catalog, מציינים את שם הקטלוג שבו רוצים להשתמש לשאילתות של Looker. אם לא תציינו קטלוג, Looker יגש לסכימות מהקטלוג שמוגדר כברירת מחדל בלבד. מידע נוסף זמין במאמר הפונקציונליות של Looker עם Databricks Unity Catalog.
  • אימות: בוחרים באפשרות חשבון מסד נתונים או OAuth:
    • משתמשים ב-Database Account כדי לציין טוקן גישה אישי של Databricks שישמש להתחברות ל-Looker (הוראות מפורטות בקטע יצירת משתמש ב-Looker).
      • בשדה שם משתמש, מזינים את הערך token (לא מזינים בשדה הזה את כתובת האימייל של המשתמש ב-Databricks).
      • בשדה Password, מזינים את טוקן הגישה האישי של Databricks.
    • משתמשים ב-OAuth כדי להגדיר את OAuth לחיבור. מידע נוסף זמין בקטע הגדרת OAuth לחיבורים של Databricks.
  • הפעלת PDT: משתמשים במתג הזה כדי להפעיל טבלאות נגזרות מתמידות. כשהטבלאות הנגזרות הקבועות מופעלות, בחלון Connection מופיעות הגדרות נוספות של טבלאות נגזרות קבועות והקטע PDT Overrides. הערה: לא ניתן להשתמש ב-PDT בחיבורים ל-Databricks שמשתמשים ב-OAuth.
  • מסד נתונים זמני: מזינים את מסד הנתונים שבו רוצים לאחסן את טבלאות ה-PDT.
  • ‫Max number of PDT builder connections: מציינים את מספר ה-PDT שאפשר ליצור בו-זמנית בחיבור הזה. הגדרת ערך גבוה מדי עלולה להשפיע לרעה על זמני השאילתות. מידע נוסף זמין בדף התיעוד קישור של Looker למסד הנתונים.

  • פרמטרים נוספים של JDBC: מוסיפים פרמטרים נוספים של JDBC. בקטע פרמטרים נתמכים של JDBC שבדף הזה מפורטים הפרמטרים שנתמכים ב-Looker.

  • לוח זמנים לתחזוקה: ביטוי cron שמציין מתי Looker צריך לבדוק קבוצות נתונים וטבלאות נגזרות מתמידות (PDT). מידע נוסף על ההגדרה הזו זמין במסמכי התיעוד של לוח זמנים לתחזוקה.

  • ‫SSL: מסמנים את התיבה כדי להשתמש בחיבורי SSL.

  • אימות SSL: מסמנים את התיבה כדי לאכוף אימות קפדני של אישור SSL.

  • מספר החיבורים המקסימלי לכל צומת: בהתחלה אפשר להשאיר את ההגדרה הזו בערך ברירת המחדל. מידע נוסף על ההגדרה הזו זמין בקטע מספר החיבורים המקסימלי לכל צומת בדף התיעוד קישור Looker למסד הנתונים.

  • Connection Pool Timeout: אפשר להשאיר את ההגדרה הזו בערך ברירת המחדל בהתחלה. מידע נוסף על ההגדרה הזו זמין בקטע Connection Pool Timeout בדף התיעוד Connecting Looker to your database.

  • SQL Runner Precache: כדי ש-SQL Runner לא יטען מראש את פרטי הטבלה, אלא רק כשבוחרים טבלה, מבטלים את הסימון בתיבה הזו. מידע נוסף על ההגדרה הזו זמין בקטע SQL Runner Precache בדף התיעוד Connecting Looker to your database.

  • אחזור סכימת מידע לכתיבת SQL: כשההגדרה הזו מופעלת, Looker משתמש בסכימת המידע של מסד הנתונים כדי לייעל את כתיבת ה-SQL. מידע נוסף על ההגדרה הזו זמין בקטע שליפת סכימת מידע לכתיבת SQL בדף התיעוד קישור Looker למסד הנתונים.

  • אזור זמן של מסד הנתונים: מציינים את אזור הזמן שבו יש להשתמש במסד הנתונים. אם לא רוצים להמיר את אזור הזמן, משאירים את השדה הזה ריק. מידע נוסף זמין בדף התיעוד בנושא שימוש בהגדרות אזור הזמן.

כדי לוודא שהחיבור בוצע בהצלחה, לוחצים על הלחצן בדיקת החיבור בקטע פרטי הסטטוס בחלק התחתון של הדף הגדרות החיבורים.

אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Admin (ניהול) בקטע Connections (חיבורים) ב-Looker.

הפונקציונליות של Looker עם Databricks Unity Catalog

‫Looker תומך בחיבורים למסדי נתונים של Databricks עם Unity Catalog מופעל. אפשר לציין את שם הקטלוג בשדה Catalog (קטלוג) בחלון Connection (חיבור) של Looker כשיוצרים חיבור Looker למסד הנתונים, או כשעורכים חיבור Looker קיים למסד נתונים של Databricks.

אם מסד הנתונים שלכם ב-Databricks מופעל עבור Unity Catalog, אתם יכולים לציין קטלוג של Databricks בשדה Catalog בחיבור Looker. כשמציינים קטלוג של Databricks, ‏Looker משתמש בקטלוג בתרחישים הבאים:

  • כשמפיקים פרויקט LookML חדש ממסד הנתונים, Looker יוצר את קובצי הפרויקט על סמך הטבלאות בקטלוג המוגדר של החיבור.
  • בפרויקטים קיימים, כשמשתמשים ב-Looker IDE כדי ליצור תצוגה מטבלה, מערכת Looker יוצרת קובצי תצוגה רק מהטבלאות בקטלוג המוגדר של החיבור.
  • כשמשתמשים ב-SQL Runner, אפשר לבחור רק סכימות מהקטלוג שהוגדר בחיבור.

אם מסד הנתונים שלכם ב-Databricks מופעל עבור Unity Catalog ולחיבור Looker אין ערך בשדה Catalog, רוב הפונקציות של Looker יגשו לסכימות רק מהקטלוג שמוגדר כברירת מחדל, כמו בתרחישים הבאים:

  • כשיוצרים פרויקט LookML חדש ממסד הנתונים, המערכת של Looker יוצרת את קובצי הפרויקט על סמך הטבלאות בקטלוג ברירת המחדל של Unity Catalog.
  • בפרויקטים קיימים, כשמשתמשים ב-Looker IDE כדי ליצור תצוגה מטבלה, Looker יכול ליצור קובצי תצוגה רק מהטבלאות בקטלוג ברירת המחדל של Unity Catalog.
  • כשמשתמשים ב-SQL Runner, אפשר לבחור רק סכימות מקטלוג ברירת המחדל של Unity Catalog.

הגדרת OAuth לחיבורים ל-Databricks

‫Looker תומך ב-OAuth לחיבורים ל-Databricks, כלומר כל משתמש ב-Looker מאמת את עצמו במסד הנתונים ומאשר ל-Looker להריץ שאילתות במסד הנתונים באמצעות חשבון המשתמש שלו ב-OAuth.

באמצעות OAuth, מנהלי מסדי נתונים יכולים לבצע את המשימות הבאות:

  • ביקורת של משתמשי Looker שמריצים שאילתות על מסד הנתונים
  • אכיפת בקרות גישה שמבוססות על תפקידים באמצעות הרשאות ברמת מסד הנתונים
  • להשתמש בטוקנים של OAuth לכל התהליכים והפעולות שניגשים למסד הנתונים, במקום להטמיע מזהים וסיסמאות של מסד הנתונים בכמה מקומות.
  • ביטול ההרשאה של משתמש מסוים ישירות דרך מסד הנתונים

בחיבורים ל-Databricks שמשתמשים ב-OAuth, המשתמשים צריכים להיכנס שוב מדי פעם כשתוקף הטוקנים של OAuth פג.

שימו לב לנקודות הבאות לגבי חיבורי OAuth ברמת מסד הנתונים:

  • אם משתמש מאפשר לטוקן ה-OAuth שלו לפוג, כל לוחות הזמנים או ההתראות של Looker שבבעלות המשתמש יושפעו. כדי למנוע את זה, Looker תשלח התראה באימייל לבעלים של כל תזמון וכל התראה לפני שתוקף אסימון ה-OAuth הפעיל הנוכחי יפוג. מערכת Looker שולחת את הודעות האימייל האלה 14 ימים, 7 ימים ויום אחד לפני שתוקף האסימון פג. המשתמש יכול לעבור לדף המשתמש שלו ב-Looker כדי לאשר מחדש את Looker למסד הנתונים ולמנוע הפרעות בלוחות הזמנים ובהתראות שלו. פרטים נוספים זמינים בדף התיעוד התאמה אישית של הגדרות חשבון המשתמש.
  • מכיוון שחיבורים למסדי נתונים שמשתמשים ב-OAuth הם "לכל משתמש", גם כללי המדיניות של השמירה במטמון הם לכל משתמש ולא רק לכל שאילתה. כלומר, במקום להשתמש בתוצאות שנשמרו במטמון בכל פעם שאותה שאילתה מופעלת במהלך תקופת השמירה במטמון, Looker ישתמש בתוצאות שנשמרו במטמון רק אם אותו משתמש הפעיל את אותה שאילתה במהלך תקופת השמירה במטמון. למידע נוסף על שמירה במטמון, קראו את דף התיעוד בנושא שאילתות לשמירה במטמון.
  • טבלאות נגזרות מתמידות (PDT) לא נתמכות בחיבורים של Databricks עם OAuth.
  • כשמשתמשים ב-sudo כאדמינים של Looker בשם משתמש אחר, הם משתמשים באסימון הגישה של המשתמש הזה ב-OAuth. אם פג התוקף של טוקן הגישה של המשתמש, האדמין לא יכול ליצור טוקן חדש בשם המשתמש שקיבל הרשאות sudo. מידע על השימוש בפקודה sudo מופיע בדף העזרה בנושא משתמשים.
  • כשמשתמש מתחיל תהליך הרשאה של OAuth לחיבור Databricks ב-Looker, מוצגת ב-Looker תיבת דו-שיח עם הכותרת Authorize OAuth Connection. בתיבת הדו-שיח הזו מודיעים למשתמש שהרשאת החיבור מאפשרת למופע Looker לגשת לנתונים שלו בשמו, ושלמשתמשי Looker עם הרשאות מיוחדות, כמו אדמינים או מפתחים, עשויה להיות גישה לנתונים שלו. המשתמש צריך ללחוץ על אישור כדי להמשיך להתחבר ל-Databricks. פרטי ההסכמה האלה מאוחסנים באחסון המקומי של הדפדפן של המשתמש, והדיאלוג מופיע שוב אם האחסון המקומי נמחק. אחרי שהמשתמש בוחר באפשרות Authorize, ב-Databricks לא מוצגת תיבת דו-שיח נוספת להבעת הסכמה מהמשתמש.
  • כדי להשתמש ב-OAuth לחיבור Databricks, צריך שיהיו לכם משתמשים או חשבונות שירות ב-Databricks שאפשר להשתמש בהם לשאילתות של Looker. בנוסף, צריך לתת למשתמשים ולחשבונות השירות את ההרשאות ב-Databricks ש-Looker יצטרך כדי לגשת למקורות הנתונים ולבצע את הפעולות הנדרשות ב-Databricks.

כדי ליצור חיבור של Databricks ל-Looker באמצעות OAuth, צריך לבצע את השלבים הכלליים הבאים, שמפורטים בקטעים הבאים:

  1. הפעלת אפליקציית OAuth בהתאמה אישית ב-Databricks
  2. הגדרת החיבור ב-Looker

הפעלת אפליקציית OAuth בהתאמה אישית ב-Databricks

כדי להשתמש ב-OAuth לחיבור של Looker ל-Databricks, צריך להפעיל את Looker כאפליקציית OAuth בהתאמה אישית למסד הנתונים של Databricks. כך עושים את זה:

  1. נכנסים למסוף החשבון ב-Databricks.
  2. לוחצים על סמל ההגדרות בחלונית הצדדית.
  3. בחלון הגדרות, לוחצים על הכרטיסייה חיבורי אפליקציות.
  4. בכרטיסייה חיבורים לאפליקציות, לוחצים על הוספת חיבור.

  5. בתיבת הדו-שיח Add connection (הוספת חיבור) ב-Databricks, מזינים את הערכים הבאים:

    • שם האפליקציה: מציינים שם תיאורי, כמו 'שילוב של Looker'.

    • כתובות URL להפניה אוטומטית: מזינים את כתובת ה-URL של Looker שאליה Databricks יפנה את המשתמשים אחרי אישור מוצלח, בפורמט הבא (מחליפים את example.looker.com בכתובת ה-URL של מופע Looker):

      https://example.looker.com/external_oauth/redirect

    • היקפי גישה: בוחרים באפשרות SQL כדי לאפשר ל-Looker לשלוח שאילתות לנתונים באמצעות SQL.

    • יצירת סוד לקוח: מפעילים את האפשרות הזו.

  6. בתיבת הדו-שיח Add connection ב-Databricks, לוחצים על Add.

  7. מעתיקים את מזהה הלקוח ואת סוד הלקוח שנוצרו ב-Databricks ושומרים אותם במקום מאובטח.

עיבוד הרישום של אפליקציית OAuth במסד הנתונים של Databricks עשוי להימשך עד 30 דקות. מידע נוסף זמין במסמכי התיעוד הרשמיים של Databricks.

הגדרת החיבור ב-Looker

אחרי שמגדירים את Looker כאפליקציית OAuth בהתאמה אישית במסד הנתונים של Databricks, אפשר להגדיר חיבור של Looker ל-Databricks שמשתמש ב-OAuth.

  1. בקטע Admin ב-Looker, בוחרים באפשרות Connections ולוחצים על Add Connection.
  2. ממלאים את פרטי החיבור, כמו שמתואר בקטע יצירת החיבור של Looker למסד הנתונים בדף הזה.
  3. בשדה Authentication, בוחרים באפשרות OAuth.
  4. כשבוחרים באפשרות OAuth, ‏Looker מציג את השדות מזהה לקוח OAuth ו-סוד לקוח OAuth. בערכים האלה, מזינים את מזהה הלקוח ואת סוד הלקוח שנוצרו על ידי Databricks כשהפעלתם את Looker כאפליקציית OAuth בהתאמה אישית ב-Databricks.
  5. לוחצים על הלחצן בדיקה בתחתית הדף הגדרות חיבורים כדי לוודא ש-Looker יכול ליצור את תהליך OAuth ולהתחבר למופע Databricks.

פרמטרים נתמכים של JDBC

ב-Databricks, ‏ Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה מופיע במסמכי התיעוד של מסד הנתונים.

  • Auth_Flow
  • AuthMech
  • catalogSchemaSwitch
  • ConnSchema
  • httpPath
  • LogLevel
  • OAuth2ClientId
  • OAuth2Secret
  • PWD
  • SocketTimeout
  • ssl
  • transportMode
  • UID
  • UserAgentEntry

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, גם הניב של מסד הנתונים צריך לתמוך בהן.

החל מגרסה 26.20 של Looker, ‏Databricks תומך בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות (PDT) שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
ביטול שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
אחוזון ייחודי
SQL Runner Show Processes
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
ספירת SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
איגום חיבורים
סקיצות HLL
מודעות מצטברת
PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים אנליטיים במסד הנתונים
יומנים בהתאמה אישית