Apache Spark

בדף הזה מוסבר איך לחבר את Looker ל-Apache Spark 3.

‫Looker מתחבר ל-Apache Spark 3 ומעלה דרך חיבור JDBC ל-Spark Thrift Server.

הצפנה של תנועה ברשת

מומלץ להצפין את תעבורת הנתונים ברשת בין אפליקציית Looker לבין מסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף הפעלת גישה מאובטחת למסד נתונים.

יצירת חיבור Looker למסד הנתונים

בקטע ניהול ב-Looker, בוחרים באפשרות חיבורים ואז לוחצים על הוספת חיבור.

ממלאים את פרטי החיבור. רוב ההגדרות משותפות לרוב הניבים של מסדי הנתונים. מידע נוסף זמין בדף חיבור Looker למסד הנתונים. בהמשך מפורטות חלק מההגדרות:

  • שם: השם של החיבור. כך יתייחסו לחיבור במודל LookML.
  • ניב: בוחרים באפשרות Apache Spark 3+‎.
  • מארח: המארח של שרת Thrift.
  • יציאה היציאה של שרת Thrift (10000 כברירת מחדל).
  • מסד נתונים: סכימת ברירת המחדל או מסד הנתונים שייבנה עבורם מודל. אם לא מציינים מסד נתונים לטבלה, המערכת מניחה שזהו מסד הנתונים.
  • שם משתמש: המשתמש ש-Looker יאמת.
  • סיסמה: הסיסמה האופציונלית של משתמש Looker.
  • הפעלת PDT: משתמשים במתג הזה כדי להפעיל טבלאות נגזרות מתמידות (PDT). כשהאפשרות PDT מופעלת, בחלון Connection מופיעות הגדרות נוספות של PDT והקטע PDT Overrides.
  • מסד נתונים זמני: סכימה או מסד נתונים זמניים לאחסון של PDT. צריך ליצור אותו מראש, עם הצהרה כמו CREATE SCHEMA looker_scratch;.
  • פרמטרים נוספים של JDBC: מוסיפים פרמטרים נוספים של JDBC. רשימת הפרמטרים הנתמכים מופיעה בקטע פרמטרים נתמכים של JDBC בדף הזה.
  • ‫SSL: לא מסמנים את התיבה הזו.
  • אזור הזמן של מסד הנתונים: אזור הזמן של הנתונים שמאוחסנים ב-Spark. בדרך כלל אפשר להשאיר את השדה הזה ריק או להגדיר בו את שעון UTC.
  • אזור הזמן של השאילתות: אזור הזמן שבו יוצגו הנתונים שנשלפו ב-Looker.

כדי לוודא שהחיבור בוצע בהצלחה, לוחצים על הלחצן בדיקת החיבור בקטע פרטי הסטטוס בחלק התחתון של הדף הגדרות החיבורים.

אם ב-Looker מוצגת ההודעה Can Connect (אפשר להתחבר), לוחצים על Connect (התחברות) כדי ליצור את החיבור.

החיבור למסד הנתונים יתווסף לרשימה בדף Connections Admin ב-Looker.

פרמטרים נתמכים של JDBC

ב-Apache Spark, ‏ Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה זמין במסמכי התיעוד של מסד הנתונים.

  • batchsize
  • cascadeTruncate
  • connectionProvider
  • createTableColumnTypes
  • createTableOptions
  • customSchema
  • dbtable
  • fetchsize
  • isolationLevel
  • keytab
  • lowerBound
  • numPartitions
  • oracle.jdbc.mapDateToTimestamp
  • partitionColumn
  • password
  • preferTimestampNTZ
  • prepareQuery
  • principal
  • pushDownAggregate
  • pushDownLimit
  • pushDownOffset
  • pushDownPredicate
  • pushDownTableSample
  • query
  • queryTimeout
  • sessionInitStatement
  • truncate
  • upperBound
  • url
  • user

תמיכה בתכונות

כדי ש-Looker יתמוך בתכונות מסוימות, הדיאלקט של מסד הנתונים צריך לתמוך בהן גם כן.

‫Apache Spark 3 ואילך

החל מ-Looker 26.16,‏ Apache Spark 3+ תומך בתכונות הבאות:

תכונה נתמך?
Looker (Google Cloud core)‎
צבירה סימטרית
טבלאות נגזרות
טבלאות נגזרות מתמידות שמבוססות על SQL
טבלאות נגזרות מתמידות מבוססות LookML
תצוגות יציבות
ביטול שאילתה
טבלאות ציר שמבוססות על SQL
אזורי זמן
SSL
סיכומי ביניים
פרמטרים נוספים של JDBC
תלוי רישיות
סוג מיקום
סוג הרשימה
מאון
אחוזון נפרד
SQL Runner Show Processes
SQL Runner Describe Table
SQL Runner Show Indexes
SQL Runner Select 10
מספר הפעלות של SQL Runner
SQL Explain
פרטי כניסה של OAuth 2.0
תגובות להוספת הקשר
איגום חיבורים
רישומים מסוג HLL
מודעות מצטברת
המרות מצטברות של PDT
אלפיות שנייה
מיקרו-שניות
תצוגות מהותיות
מדדים של השוואה בין תקופות שונות
ספירה משוערת של ערכים ייחודיים
מודלים לניתוח נתונים במסד הנתונים
יומנים בהתאמה אישית

השלבים הבאים

אחרי שיוצרים את החיבור, מגדירים את אפשרויות האימות.