Databricks

הצפנה של תנועה ברשת

מומלץ להצפין את תעבורת הנתונים ברשת בין אפליקציית Looker לבין מסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף הפעלת גישה מאובטחת למסד נתונים.

יצירת משתמש Looker

Looker מבצע אימות ל-Databricks באמצעות אסימוני גישה אישיים. כדי ליצור אסימון גישה אישי למשתמש Databricks לשימוש ב-Looker, פועלים לפי ההוראות בתיעוד של Databricks.

מוסיפים הרשאות למשתמש באמצעות GRANT.

לפחות, למשתמש Looker צריכות להיות ההרשאות SELECT ו-READ_METADATA.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

מידע על השרת

פועלים לפי ההוראות בתיעוד של Databricks כדי למצוא את נתיב ה-HTTP של אשכול Databricks. בדף הזה, נתייחס אליו כאל <YOUR_HTTP_PATH>.

הגדרת טבלאות נגזרות מתמידות (PDT)

כדי להשתמש בטבלאות נגזרות מתמידות (PDT), צריך ליצור מסד נתונים נפרד.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

בנוסף, תצטרכו להעניק למשתמשים הרשאות כתיבה נוספות.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

יצירת חיבור Looker למסד הנתונים

בקטע Admin (ניהול) ב-Looker, בוחרים באפשרות Connections (חיבורים) ואז לוחצים על Add Connection (הוספת חיבור).

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף חיבור Looker למסד הנתונים. בהמשך מפורטות חלק מההגדרות:

  • שם: מציינים את שם החיבור. כך תתייחסו לחיבור בפרויקטים של LookML.
  • דיאלקט: מציינים את הדיאלקט Databricks.
  • מארח: מציינים את כתובת ה-URL של סביבת העבודה ב-Databricks. לדוגמה, dbc-yyyyyyyy.cloud.databricks.com/.
  • יציאה: מציינים את יציאת מסד הנתונים. ערך ברירת המחדל הוא 443.
  • מסד נתונים: מציינים את שם מסד הנתונים שבו רוצים להשתמש בשאילתות של Looker. ערך ברירת המחדל הוא default.
  • ‫Catalog: במסדי נתונים של Databricks עם Unity Catalog מופעל, מציינים את שם הקטלוג שבו רוצים להשתמש בשאילתות של Looker. אם לא מציינים קטלוג, Looker יגש לסכימות רק מהקטלוג שמוגדר כברירת מחדל. מידע נוסף זמין במאמר פונקציונליות של Looker עם Databricks Unity Catalog.
  • אימות: בוחרים באפשרות חשבון מסד נתונים או OAuth:
    • משתמשים בחשבון מסד נתונים כדי לציין אסימון גישה אישי של Databricks שישמש לחיבור ל-Looker (הוראות מפורטות מופיעות בקטע יצירת משתמש Looker).
      • בשדה שם משתמש, מזינים את הערך token (לא מזינים בשדה הזה את כתובת האימייל של המשתמש ב-Databricks).
      • בשדה Password (סיסמה), מזינים את טוקן הגישה האישי של Databricks.
    • משתמשים ב-OAuth כדי להגדיר OAuth לחיבור. מידע נוסף זמין בקטע הגדרת OAuth לחיבורים ל-Databricks.
  • הפעלת PDT: משתמשים במתג הזה כדי להפעיל טבלאות נגזרות מתמידות. כשמפעילים PDT, בחלון Connection מופיעות הגדרות נוספות של PDT והקטע PDT Overrides. הערה: לא ניתן להשתמש ב-PDT בחיבורים ל-Databricks שמשתמשים ב-OAuth.
  • מסד נתונים זמני: מזינים את מסד הנתונים שבו רוצים להשתמש לאחסון של PDT.
  • מספר החיבורים המקסימלי של כלי ליצירת PDT: מציינים את מספר האפשרויות האפשריות ליצירת PDT בו-זמנית בחיבור הזה. הגדרת ערך גבוה מדי עלולה להשפיע לרעה על זמני השאילתות. מידע נוסף זמין בדף התיעוד בנושא חיבור Looker למסד הנתונים.

  • פרמטרים נוספים של JDBC: מוסיפים פרמטרים נוספים של JDBC. רשימת הפרמטרים ש-Looker תומך בהם מופיעה בקטע פרמטרים נתמכים של JDBC בדף הזה.

  • לוח זמנים לתחזוקה: ביטוי cron שמציין מתי Looker צריך לבדוק קבוצות נתונים וטבלאות נגזרות קבועות. מידע נוסף על ההגדרה הזו זמין במסמכי התיעוד בנושא תזמון תחזוקה.

  • ‫SSL: מסמנים את התיבה כדי להשתמש בחיבורי SSL.

  • אימות SSL: מסמנים את התיבה כדי לאכוף אימות קפדני של אישור SSL.

  • מספר החיבורים המקסימלי לכל צומת: אפשר להשאיר את ההגדרה הזו בערך ברירת המחדל בהתחלה. מידע נוסף על ההגדרה הזו זמין בקטע Max connections per node בדף התיעוד Connecting Looker to your database.

  • Connection Pool Timeout (זמן קצוב לתפוס חיבור ממאגר): אפשר להשאיר את ההגדרה הזו בערך ברירת המחדל בהתחלה. מידע נוסף על ההגדרה הזו זמין בקטע Connection Pool Timeout (פסק זמן של מאגר חיבורים) בדף התיעוד Connecting Looker to your database (חיבור Looker למסד הנתונים).

  • SQL Runner Precache: כדי ש-SQL Runner לא יטען מראש את פרטי הטבלה, אלא יטען אותם רק כשבוחרים טבלה, צריך לבטל את הסימון של תיבת הסימון הזו. מידע נוסף על ההגדרה הזו זמין בקטע SQL Runner Precache בדף התיעוד Connecting Looker to your database.

  • אזור זמן של מסד הנתונים: מציינים את אזור הזמן שבו יש להשתמש במסד הנתונים. אם לא רוצים להמיר את אזור הזמן, משאירים את השדה הזה ריק. מידע נוסף מופיע בדף התיעוד בנושא שימוש בהגדרות אזור הזמן.

לוחצים על בדיקה כדי לבדוק את החיבור ולוודא שהוא מוגדר בצורה נכונה. אם מוצגת האפשרות אפשר להתחבר, לוחצים על התחברות. הפעולה הזו מריצה את שאר בדיקות החיבור כדי לוודא שחשבון השירות הוגדר בצורה נכונה ועם התפקידים המתאימים. מידע לפתרון בעיות זמין בדף בנושא בדיקת הקישוריות למסד הנתונים.

פונקציונליות של Looker עם Databricks Unity Catalog

‫Looker תומך בחיבור למסדי נתונים של Databricks עם Unity Catalog מופעל. אפשר לציין את שם הקטלוג בשדה Catalog בחלון Connection של Looker כשיוצרים חיבור Looker למסד הנתונים, או כשעורכים חיבור Looker קיים למסד נתונים של Databricks.

אם מסד הנתונים שלכם ב-Databricks מופעל עבור Unity Catalog, אתם יכולים לציין קטלוג של Databricks בשדה Catalog של חיבור Looker. כשמציינים קטלוג של Databricks, ‏ Looker משתמש בקטלוג בתרחישים הבאים:

  • כשמפיקים פרויקט LookML חדש ממסד הנתונים, מערכת Looker יוצרת את קובצי הפרויקט על סמך הטבלאות בקטלוג המוגדר של החיבור.
  • בפרויקטים קיימים, כשמשתמשים ב-Looker IDE כדי ליצור תצוגה מטבלה, מערכת Looker יוצרת קובצי תצוגה רק מהטבלאות בקטלוג המוגדר של החיבור.
  • כשמשתמשים ב-SQL Runner, אפשר לבחור רק סכימות מהקטלוג המוגדר של החיבור.

אם מסד הנתונים שלכם ב-Databricks מופעל עבור Unity Catalog ולחיבור Looker אין ערך בשדה Catalog, רוב הפונקציות של Looker יגשו לסכימות רק מהקטלוג שמוגדר כברירת מחדל, כמו בתרחישים הבאים:

  • כשיוצרים פרויקט LookML חדש ממסד הנתונים, ‏ Looker יוצר את קובצי הפרויקט על סמך הטבלאות בקטלוג ברירת המחדל של Unity Catalog.
  • בפרויקטים קיימים, כשמשתמשים ב-Looker IDE כדי ליצור תצוגה מטבלה, ‏ Looker יכול ליצור קובצי תצוגה רק מהטבלאות בקטלוג ברירת המחדל של Unity Catalog.
  • כשמשתמשים ב-SQL Runner, אפשר לבחור רק סכימות מהקטלוג שמוגדר כברירת מחדל ב-Unity Catalog.

הגדרת OAuth לחיבורים ל-Databricks

‫Looker תומך ב-OAuth לחיבורים ל-Databricks, כלומר כל משתמש Looker מאומת במסד הנתונים ומאשר ל-Looker להריץ שאילתות במסד הנתונים באמצעות חשבון המשתמש שלו ב-OAuth.

פרוטוקול OAuth מאפשר לאדמינים של מסדי נתונים לבצע את המשימות הבאות:

  • ביקורת של משתמשי Looker שמריצים שאילתות על מסד הנתונים
  • אכיפת בקרות גישה מבוססות-תפקידים באמצעות הרשאות ברמת מסד הנתונים
  • שימוש באסימוני OAuth לכל התהליכים והפעולות שדורשים גישה למסד הנתונים, במקום להטמיע מזהים וסיסמאות של מסד הנתונים בכמה מקומות
  • ביטול ההרשאה של משתמש מסוים ישירות דרך מסד הנתונים

בחיבורים ל-Databricks שמשתמשים ב-OAuth, המשתמשים צריכים להיכנס שוב מדי פעם כשהטוקנים של OAuth פוקעים.

חשוב לשים לב לנקודות הבאות לגבי חיבורי OAuth ברמת מסד הנתונים:

  • אם תוקף טוקן OAuth של משתמש יפוג, זה ישפיע על כל התזמונים או ההתראות ב-Looker שהמשתמש הוא הבעלים שלהם. כדי למנוע את זה, מערכת Looker תשלח אימייל התראה לבעלים של כל תזמון ושל כל התראה לפני שתוקף אסימון ה-OAuth הפעיל הנוכחי יפוג. מערכת Looker תשלח את התראות האימייל האלה 14 ימים, 7 ימים ויום אחד לפני שתוקף האסימון יפוג. המשתמש יכול להיכנס לדף המשתמש שלו ב-Looker כדי לתת מחדש הרשאה ל-Looker לגשת למסד הנתונים, וכך למנוע שיבושים בלוחות הזמנים ובהתראות שלו. פרטים נוספים זמינים במאמר התאמה אישית של הגדרות חשבון משתמש.
  • חיבורים למסדי נתונים שמשתמשים ב-OAuth הם 'לכל משתמש', ולכן גם מדיניות הקאשינג היא לכל משתמש ולא רק לכל שאילתה. כלומר, במקום להשתמש בתוצאות שמורות במטמון בכל פעם שאותה שאילתה מופעלת במהלך תקופת השמירה במטמון, Looker ישתמש בתוצאות שמורות במטמון רק אם אותו משתמש הפעיל את אותה שאילתה במהלך תקופת השמירה במטמון. מידע נוסף על שמירה במטמון זמין בדף התיעוד בנושא שמירת שאילתות במטמון.
  • אין תמיכה בטבלאות נגזרות קבועות (PDT) בחיבורים ל-Databricks עם OAuth.
  • כשמשתמש אדמין ב-Looker מבצע פעולת sudo בתור משתמש אחר, הוא משתמש באסימון הגישה של המשתמש הזה מסוג OAuth. אם תוקף אסימון הגישה של המשתמש פג, האדמין לא יכול ליצור אסימון חדש בשם המשתמש עם הרשאות הסודו. מידע על השימוש בפקודה sudo מופיע בדף משתמשים.
  • כשמשתמש נכנס ל-Databricks מ-Looker באמצעות OAuth, ‏ Looker לא מציג תיבת דו-שיח להבעת הסכמה מהמשתמש מפורשת. כשמגדירים OAuth עם Looker, אתם מסכימים באופן מרומז שהמכונה של Looker תגשת למסד הנתונים שלכם ב-Databricks.
  • כדי להשתמש ב-OAuth לחיבור Databricks, צריכים להיות לכם משתמשים או סוכני שירות ב-Databricks שאפשר להשתמש בהם לשאילתות Looker. בנוסף, אתם צריכים לתת למשתמשים ולסוכני השירות את ההרשאות ב-Databricks ש-Looker יצטרך כדי לגשת למקורות הנתונים ולבצע את הפעולות הנדרשות ב-Databricks.

כדי ליצור חיבור Databricks ל-Looker באמצעות OAuth, צריך לבצע את השלבים הכלליים הבאים, שמפורטים בקטעים הבאים:

  1. הפעלת אפליקציית OAuth בהתאמה אישית ב-Databricks
  2. הגדרת החיבור ב-Looker

הפעלת אפליקציית OAuth מותאמת אישית ב-Databricks

כדי להשתמש ב-OAuth לחיבור Looker ל-Databricks, צריך להפעיל את Looker כאפליקציית OAuth בהתאמה אישית למסד הנתונים של Databricks. לשם כך, פועלים לפי השלבים הבאים:

  1. נכנסים למסוף החשבון של Databricks.
  2. לוחצים על סמל ההגדרות בחלונית הצדדית.
  3. בחלון הגדרות, לוחצים על הכרטיסייה קישורים לאפליקציות.
  4. בכרטיסייה App Connections (חיבורי אפליקציות), לוחצים על Add connection (הוספת חיבור).

  5. בתיבת הדו-שיח Add connection (הוספת חיבור) ב-Databricks, מזינים את הערכים הבאים:

    • שם האפליקציה: נותנים שם תיאורי, כמו "שילוב של Looker".

    • כתובות URL להפניה אוטומטית: מזינים את כתובת ה-URL של Looker שאליה Databricks יפנה את המשתמשים אחרי אישור מוצלח, בפורמט הזה (מחליפים את example.looker.com בכתובת ה-URL של מופע Looker):

      https://example.looker.com/external_oauth/redirect

    • היקפי גישה: בוחרים באפשרות SQL כדי לאפשר ל-Looker להריץ שאילתות על נתונים באמצעות SQL.

    • Generate a client secret (יצירת סוד לקוח): מפעילים את האפשרות הזו.

  6. לוחצים על Add (הוספה) בתיבת הדו-שיח Add connection (הוספת חיבור) של Databricks.

  7. מעתיקים את מזהה הלקוח ואת הסוד של הלקוח שנוצרו ב-Databricks ושומרים אותם בצורה מאובטחת.

תהליך הרישום של אפליקציית OAuth עשוי להימשך עד 30 דקות במסד הנתונים של Databricks. מידע נוסף זמין במסמכי התיעוד הרשמיים של Databricks.

הגדרת החיבור ב-Looker

אחרי שמגדירים את Looker כאפליקציית OAuth בהתאמה אישית במסד הנתונים של Databricks, אפשר להגדיר חיבור של Looker ל-Databricks באמצעות OAuth.

  1. בקטע Admin (ניהול) ב-Looker, בוחרים באפשרות Connections (חיבורים) ואז לוחצים על Add Connection (הוספת חיבור).
  2. ממלאים את פרטי החיבור, כמו שמתואר בקטע יצירת חיבור Looker למסד הנתונים בדף הזה.
  3. בשדה Authentication (אימות), בוחרים באפשרות OAuth.
  4. כשבוחרים באפשרות OAuth, שדות מזהה לקוח ב-OAuth וסוד לקוח ב-OAuth מוצגים ב-Looker. מזינים את מזהה הלקוח וסוד הלקוח שנוצרו על ידי Databricks כשהפעלתם את Looker כאפליקציית OAuth בהתאמה אישית ב-Databricks.
  5. לוחצים על הלחצן בדיקה בתחתית הדף הגדרות חיבורים כדי לוודא של-Looker יש אפשרות ליצור את זרימת OAuth ולהתחבר למופע Databricks.

פרמטרים נתמכים של JDBC

ב-Databricks, ‏ Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה זמין במסמכי התיעוד של מסד הנתונים.

  • Auth_Flow
  • AuthMech
  • catalogSchemaSwitch
  • ConnSchema
  • httpPath
  • LogLevel
  • OAuth2ClientId
  • OAuth2Secret
  • PWD
  • SocketTimeout
  • ssl
  • transportMode
  • UID
  • UserAgentEntry

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, הדיאלקט של מסד הנתונים שלכם צריך לתמוך בהן גם כן.

התכונות הבאות נתמכות ב-Databricks החל מ-Looker 26.10:

תכונה האם יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
ביטול שאילתה
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות
סוג מיקום
סוג הרשימה
מאון
אחוזון נפרד
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
מספר הפעמים שהופעל SQL Runner
SQL Explain
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
איגום חיבורים
רישומים מסוג HLL
מודעות מצטברת
המרות מצטברות של PDT
אלפיות שנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים אנליטיים בתוך מסד הנתונים
יומנים בהתאמה אישית