‫Apache Druid

הצפנה של תנועה ברשת

מומלץ להצפין את תעבורת הנתונים ברשת בין אפליקציית Looker לבין מסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף התיעוד הפעלת גישה מאובטחת למסד נתונים.

הגדרת אשכול Apache Druid

‫<DRUID_BASE_DIR> מתייחס לספריית הבסיס שבה מותקן אשכול Apache Druid בשרת.

הפעלת SQL

כדי להפעיל SQL במסד הנתונים של Druid, מוסיפים את השורה הזו לקובץ התצורה broker/runtime.properties:

<DRUID_BASE_DIR>/conf/druid/broker/runtime.properties

druid.sql.enable=true

השבתת הקירוב של COUNT DISTINCT (אופציונלי)

כברירת מחדל, Druid מבצע קירוב של COUNT DISTINCT. כדי לקבל תוצאות מדויקות, מוסיפים את השורה הזו לקובץ ההגדרות broker/runtime.properties:

<DRUID_BASE_DIR>/conf/druid/broker/runtime.properties

`druid.sql.planner.useApproximateCountDistinct=false`

יצירת חיבור Looker למסד הנתונים

בקטע ניהול ב-Looker, בוחרים באפשרות חיבורים ואז לוחצים על הוספת חיבור.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף חיבור Looker למסד הנתונים. הנה תיאור של חלק מההגדרות:

  • שם: שם החיבור.

  • ניב: Apache Druid,‏ Apache Druid 0.13+‎ (Apache Druide 0.13.x - 0.17.x) או Apache Druid 0.18+‎.

  • מארח: כתובת ה-DNS או כתובת ה-IP של ה-Broker באשכול. אפשר למצוא את זה בקובץ broker/runtime.properties.

  • ‫Port: היציאה של ה-Broker. יציאת ברירת המחדל היא 8082. אם האשכול מאובטח באמצעות SSL, יציאת ברירת המחדל היא 8182.

  • ‫Database: השם של מסד הנתונים. ערך ברירת המחדל הוא druid.

  • שם משתמש: שם המשתמש של מסד הנתונים, אם אשכול Apache Druid מוגדר להשתמש ב-Druid Basic Security. אם לא, אפשר לציין כל מחרוזת.

  • סיסמה: סיסמת המשתמש. אם האשכול לא מוגדר לשימוש ב-Druid Basic Security, אפשר לציין כל מחרוזת.

  • סכימה: סכימת ברירת המחדל לשימוש כשלא מצוינת סכימה. הזנת סכימה היא אופציונלית.

  • ‫Additional JDBC parameters: פרמטרים של Avatica JDBC מופרדים בנקודה ופסיק. רשימת הפרמטרים ש-Looker תומך בהם מופיעה בקטע פרמטרים נתמכים של JDBC בדף הזה.

    • אפשר להגדיר את המאפיינים הבאים כמאפייני חיבור:
      • useApproximateCountDistinct
      • useApproximateTopN
      • useFallback
      • sqlTimeZone

    לדוגמה: none useApproximateCountDistinct=false;truststore=/path/to/truststore.jks;truststore_password=changeit

  • לוח זמנים לתחזוקה: ביטוי cron שמציין מתי Looker צריך לבדוק קבוצות נתונים וטבלאות נגזרות מתמידות. מידע נוסף על ההגדרה הזו זמין במסמכי התיעוד של לוח זמנים לתחזוקה.

  • ‫SSL: בודקים אם אשכול Apache Druid מוגדר לשימוש ב-Druid TLS.

  • אימות SSL: מסמנים את התיבה כדי לאכוף אימות קפדני של שם המארח.

  • ‫Max connections per node: ערך ברירת המחדל הוא 25. אפשר להשאיר את ההגדרה הזו על ערך ברירת המחדל בהתחלה. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים.

  • הזמן הקצוב לתפוגה של מאגר החיבורים: ברירת המחדל היא 120 שניות.

  • SQL Runner Precache (טעינה מראש של נתונים ב-SQL Runner): כדי ש-SQL Runner לא יטען מראש את פרטי הטבלה, אלא יטען אותם רק כשבוחרים טבלה, צריך לבטל את הסימון של האפשרות הזו. מידע נוסף על ההגדרה הזו זמין במאמר בנושא טרום שמירה במטמון של SQL Runner.

  • ‫Database Time Zone (אזור הזמן של מסד הנתונים): אזור הזמן של מסד הנתונים. התמיכה קיימת ב-Apache Druid גרסה 0.13 ואילך וב-Apache Druid גרסה 0.18 ואילך.

כדי לוודא שהחיבור בוצע בהצלחה, לוחצים על הלחצן בדיקת החיבור בקטע פרטי הסטטוס בחלק התחתון של הדף הגדרות החיבורים.

‫Looker מריץ שאילתה SELECT 1 כדי לאמת חיבור בסיסי ולבצע בדיקת שאילתה. הוא לא מאמת ששילוב הקטלוג והסכימה קיים, או שלמשתמש יש את הגישה הנדרשת לסכימה הזו.

אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Admin (ניהול) בקטע Connections (חיבורים) ב-Looker.

בודקים את החיבור ב-SQL Runner. עוברים אל SQL Runner, בוחרים את החיבור והסכימה ובודקים אם אפשר לראות את הטבלאות של מסד הנתונים.

פרמטרים נתמכים של JDBC

ב-Apache Druid, ‏ Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה מופיע במאמרי העזרה של מסד הנתונים.

  • authentication
  • avatica_password
  • avatica_user
  • serialization
  • sqlTimeZone
  • timeZone
  • useApproximateCountDistinct
  • useApproximateTopN
  • useFallback
  • url

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, הניב של מסד הנתונים צריך לתמוך בהן גם כן.

‫Apache Druid

החל מגרסה 26.20 של Looker, ‏Apache Druid תומך בתכונות הבאות:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר המשתמשים ב-SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
מאגר חיבורים (connection pooling)
סקיצות HLL
מודעות מצטברת
PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

‫Apache Druid 0.13.x עד 0.17.x

‫Apache Druid 0.13.x - 0.17.x תומך בתכונות הבאות החל מ-Looker 26.20:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר המשתמשים ב-SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
מאגר חיבורים (connection pooling)
סקיצות HLL
מודעות מצטברת
PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

‫Apache Druid 0.18 ואילך

‫Apache Druid 0.18 ואילך תומך בתכונות הבאות החל מ-Looker 26.20:

תכונה יש תמיכה?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
סגירת שאילתות
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי אותיות רישיות (case-sensitive)
סוג מיקום
סוג הרשימה
מאון
מאון ייחודי
הצגת תהליכים ב-SQL Runner
‫SQL Runner Describe Table
הצגת אינדקסים ב-SQL Runner
‫SQL Runner Select 10
מספר המשתמשים ב-SQL Runner
הסבר על SQL
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
מאגר חיבורים (connection pooling)
סקיצות HLL
מודעות מצטברת
PDT מצטברות
אלפיות השנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים של ניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

השלבים הבאים

אחרי שמסיימים לקשר את מסד הנתונים, מגדירים את אפשרויות האימות.