Looker תומך בחיבורים ל-Amazon Athena, שירות שאילתות אינטראקטיבי שמאפשר לנתח נתונים ב-Amazon S3 באמצעות SQL סטנדרטי. Amazon Athena פועל בלי שרת (serverless), כך שאין תשתית שצריך לנהל. החיוב מתבצע רק על השאילתות שמופעלות.
הצפנת התנועה ברשת
מומלץ להצפין את התנועה ברשת בין אפליקציית Looker למסד הנתונים. כדאי לשקול אחת מהאפשרויות שמתוארות בדף התיעוד הפעלת גישה מאובטחת למסד נתונים.
הגדרת חיבור ל-Amazon Athena
בדף הזה מוסבר איך לחבר את Looker למכונה של Amazon Athena.
ודאו שיש לכם:
- זוג מפתחות גישה ל-Amazon AWS.
קטגוריית S3 שמכילה את הנתונים שרוצים לשלוח אליהם שאילתות ב-Looker באמצעות Amazon Athena. למפתחות הגישה של Amazon AWS צריכה להיות גישת קריאה וכתיבה לקטגוריה הזו. אם אתם מתכננים להשתמש בטבלאות נגזרות מתמידות (PDT), מפתחות הגישה של AWS צריכים לכלול גם הרשאות ליצירה ולניהול של מסדי נתונים, טבלאות ותצוגות ב-AWS Glue Data Catalog. ההרשאות הנדרשות כוללות את
glue:CreateDatabase,glue:CreateTable,glue:UpdateTableו-glue:DeleteTable, וגם אתglue:BatchCreatePartitionאם אתם משתמשים ב-PDT מחולקים למחיצות. אם מגדירים שינויים ב-PDT, צריך לתת את ההרשאות האלה למפתחות הגישה לשינויים ב-PDT. מידע נוסף זמין במאמר Fine-grained access to databases and tables in the AWS Glue Data Catalog במסמכי התיעוד של Amazon Athena.אתם צריכים לדעת איפה נמצאים הנתונים של המכונה של Amazon Athena. שם האזור מופיע בחלק הימני העליון של מסוף Amazon.
בקטע Admin ב-Looker, בוחרים באפשרות Connections ולוחצים על Add Connection.
ממלאים את פרטי החיבור:
- שם: מציינים את שם החיבור. כך תתייחסו לחיבור בפרויקטים של LookML.
- Dialect: בוחרים באפשרות Amazon Athena.
- מארח ויציאה: מציינים את שם המארח והיציאה כפי שמתואר במסמכי התיעוד של Athena לגבי פורמט כתובת ה-URL של JDBC. המארח צריך להיות נקודת קצה חוקית של אמזון (כמו
athena.eu-west-1.amazonaws.com), והיציאה צריכה להישאר443. בדף הזה מופיעה רשימה עדכנית של נקודות קצה שתומכות ב-Athena. - מסד נתונים: מציינים את מסד הנתונים שרוצים ליצור לו מודל כברירת מחדל. אפשר לגשת למסדי נתונים אחרים, אבל Looker מתייחס למסד הנתונים הזה כברירת המחדל.
- שם משתמש: מציינים את מזהה מפתח הגישה ל-AWS.
- Password: מזינים את מפתח הגישה הסודי ל-AWS.
- Enable PDTs: מתג להפעלה של טבלאות נגזרות מתמידות (PDT). כשמפעילים את ה-PDT, מופיעים שדות נוספים של PDT והקטע PDT Overrides של החיבור.
- Temp Database: מציינים את השם של ספריית הפלט בקטגוריית S3 שבה רוצים ש-Looker יכתוב את ה-PDT. צריך לציין את הנתיב המלא לספריית הפלט בשדה Additional JDBC parameters. מידע נוסף זמין בקטע ציון קטגוריית S3 לפלט של תוצאות שאילתות ול-PDT בדף הזה.
- Max number of PDT builder connections: מציינים את מספר ה-PDT שאפשר ליצור בו-זמנית בחיבור הזה. אם הערך הזה גבוה מדי, הוא עלול להשפיע לרעה על זמני השאילתות. מידע נוסף זמין בדף התיעוד קישור של Looker למסד הנתונים.
- Additional JDBC parameters: פרמטרים נוספים לחיבור:
- הפרמטר
s3_staging_dirהוא קטגוריית S3 שבה Looker צריך להשתמש לפלט של תוצאות השאילתות ול-PDT. מידע נוסף זמין בקטע ציון קטגוריית S3 לפלט של תוצאות השאילתות ול-PDT בדף הזה. - סימון לתוצאות סטרימינג. אם המדיניות
athena:GetQueryResultsStreamמצורפת למשתמש Athena, אפשר להוסיף את;UseResultsetStreaming=1לסוף הפרמטרים הנוספים של JDBC כדי לשפר משמעותית את הביצועים של חילוץ קבוצת תוצאות גדולה. כברירת מחדל, הפרמטר הזה מוגדר כ-0. - פרמטרים אופציונליים נוספים שאפשר להוסיף למחרוזת החיבור של JDBC. רשימת הפרמטרים שנתמכים ב-Looker מופיעה בקטע פרמטרים נתמכים של JDBC בדף הזה.
- הפרמטר
- SSL: מתעלמים. כברירת מחדל, כל החיבורים ל-AWS API יוצפנו.
- מספר החיבורים המקסימלי לכל צומת: כברירת מחדל, הערך הוא 5. אפשר להגדיל את המספר הזה עד 20 אם Looker הוא מנוע השאילתות הראשי שפועל מול Athena. פרטים נוספים על מגבלות השירות זמינים במסמכי התיעוד של מגבלות השירות של Athena. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים.
- Connection Pool Timeout: מציינים את הזמן הקצוב לתפוגה של מאגר החיבורים. כברירת מחדל, הזמן הקצוב לתפוגה מוגדר ל-120 שניות. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים.
- SQL Runner Precache: מבטלים את הבחירה באפשרות הזו אם רוצים ש-SQL Runner יטען את פרטי הטבלה רק כשבוחרים טבלה. מידע נוסף זמין בדף התיעוד קישור Looker למסד הנתונים.
- אזור הזמן של מסד הנתונים: מציינים את אזור הזמן שבו משתמשים במסד הנתונים. אם אתם לא רוצים להמיר את אזור הזמן, השאירו את השדה הזה ריק. מידע נוסף זמין בדף התיעוד שימוש בהגדרות אזור הזמן.
כדי לוודא שהחיבור הצליח, לוחצים על הכפתור בדיקת החיבור בקטע פרטי הסטטוס בתחתית הדף הגדרות החיבור.
אם ב-Looker מוצגת ההודעה Can Connect, לוחצים על Connect כדי ליצור את החיבור.
החיבור למסד הנתונים יתווסף לרשימה בדף Admin Connections ב-Looker.
הגדרת קטגוריית S3 לפלט של תוצאות שאילתות ול-PDT
בשדה Additional JDBC parameters בדף Connections, מגדירים את הנתיב לקטגוריית S3 שבה Looker ישתמש כדי לאחסן את הפלט של תוצאות השאילתות, ומציינים את שם ספריית הפלט בקטגוריית S3 שבה רוצים ש-Looker יכתוב טבלאות נגזרות קבועות (PDT). מציינים את המידע הזה באמצעות הפרמטר s3_staging_dir.
הפרמטר s3_staging_dir של JDBC הוא דרך חלופית להגדיר את המאפיין S3OutputLocation של Amazon Athena, שנדרש לחיבורי JDBC של Athena. למידע נוסף ולרשימה של כל האפשרויות הזמינות של מנהלי התקנים של JDBC, אפשר לעיין במסמכי התיעוד של Athena בנושא אפשרויות של מנהלי התקנים של JDBC.
בשדה Additional JDBC parameters, מציינים את הפרמטר s3_staging_dir בפורמט הבא:
`s3_staging_dir=s3://<s3-bucket>/<output-path>`
כאשר:
-
<s3-bucket>הוא השם של קטגוריית S3 שמכילה את הנתונים שרוצים לשלוח אליהם שאילתות ב-Looker באמצעות Amazon Athena. -
<output-path>הוא הנתיב שבו Looker יכתוב את הפלט של תוצאות השאילתה.
כדי להגדיר את הספרייה שבה Looker יכתוב טבלאות PDT, מזינים את הנתיב של הספרייה בקטגוריית S3 בשדה Temp Database.
לדוגמה, אם רוצים ש-Looker יכתוב טבלאות PDT לתוך s3://<s3-bucket>/looker_scratch, מזינים את הערך הבא בשדה Temp Database:
`looker_scratch`
מזינים רק את הנתיב של הספרייה. Looker מקבל את השם של קטגוריית S3 מהפרמטר s3_staging_dir שמזינים בשדה Additional JDBC Parameters.
שיקולים לגבי קטגוריות S3
מומלץ להגדיר מחזורי חיים של אובייקטים ב-Amazon S3 כדי לנקות מדי פעם קבצים מיותרים בקטגוריית S3 שציינתם. יש לכך כמה סיבות:
- Athena שומרת את תוצאות השאילתות לכל שאילתה בקטגוריית S3. מידע נוסף זמין במאמר שאילתות ב-Athena.
- אם הפעלתם טבלאות נגזרות קבועות (PDT), כשנוצרת טבלה נגזרת קבועה, המטא-נתונים של הטבלה שנוצרה נשמרים בקטגוריית S3.
משאבים
- המסמכים של Amazon Athena
- מסוף Amazon Web Services ל-Athena (נדרשת התחברות ל-AWS)
- הפניות ל-Amazon Athena SQL ול-HiveQL
פרמטרים נתמכים של JDBC
ב-Amazon Athena, Looker תומך בפרמטרים הבאים של JDBC בשדה Additional JDBC parameters של החיבור. מידע על הפרמטרים האלה מופיע במסמכי התיעוד של מסד הנתונים.
ApplicationNameAwsCredentialsProviderArgumentsAwsCredentialsProviderClassAwsRegionCatalogDatabaseEnableResultReuseByAgeEndPointOverrideLogLevelMaxQueryExecutionPollingIntervalmaxResultReuseAgeInMinutesMetadataRetrievalMethodMinQueryExecutionPollingIntervalOutputLocationpassword-
ProxyHost: במכונות ציבוריות של Looker, הערך של הפרמטרProxyHostחייב להיות כתובת ה-IP הציבורית של המכונה. ProxyPortProxyPWDProxyUIDQueryExecutionPollingIntervalMultiplierRegionResultFetcherResultReuseByAgeConfigurations3_staging_dirS3OutputEncOptionS3OutputLocationSchemauserUseResultsetStreamingWorkGroup
תמיכה בתכונות
כדי ש-Looker יתמוך בתכונות מסוימות, גם הניב של מסד הנתונים צריך לתמוך בהן.
החל מגרסה 26.22 של Looker, Amazon Athena תומכת בתכונות הבאות:
| תכונה | יש תמיכה? |
|---|---|
| Looker (Google Cloud core) | |
| צבירה סימטרית | |
| טבלאות נגזרות | |
| טבלאות נגזרות מתמידות של SQL | |
| טבלאות נגזרות מתמידות מבוססות LookML | |
| תצוגות יציבות | |
| סגירת שאילתות | |
| טבלאות ציר שמבוססות על SQL | |
| אזורי זמן | |
| SSL | |
| סיכומי ביניים | |
| פרמטרים נוספים של JDBC | |
| תלוי אותיות רישיות (case-sensitive) | |
| סוג מיקום | |
| סוג הרשימה | |
| מאון | |
| מאון ייחודי | |
| הצגת תהליכים ב-SQL Runner | |
| תיאור טבלה ב-SQL Runner | |
| הצגת אינדקסים ב-SQL Runner | |
| SQL Runner Select 10 | |
| ספירת SQL Runner | |
| הסבר על קוד SQL | |
| פרטי כניסה של OAuth 2.0 | |
| הערות להוספת הקשר | |
| מאגר חיבורים (connection pooling) | |
| שרטוטי HLL | |
| מוּדעוּת מצטברת | |
| טבלאות PDT מצטברות | |
| אלפיות שנייה | |
| מיקרו-שניות | |
| תצוגות מהותיות | |
| מדדים להשוואה בין תקופות שונות | |
| ספירה משוערת של ערכים ייחודיים | |
| מודלים של ניתוח נתונים במסד הנתונים | |
| יומנים בהתאמה אישית |
השלבים הבאים
אחרי שמסיימים את החיבור למסד הנתונים, מגדירים את אפשרויות האימות.