BigQuery הוא מחסן נתונים (data warehouse) מנוהל של Google לניתוח נתונים, שמאפשר לנתח נתונים בקנה מידה של פטה-בייט בעלות נמוכה. המחבר של BigQuery ב-Data Studio מאפשר לכם לגשת לנתונים מהטבלאות, מהתצוגות ומהשאילתות המותאמות אישית של SQL ב-BigQuery, ולהציג אותם בצורה חזותית ישירות ב-Data Studio.
לפני שמתחילים
כדי לגשת לנתוני BigQuery ב-Data Studio, צריך לספק Google Cloud פרויקט שמקושר אליו חשבון לחיוב ב-Google Cloud.
BigQuery היא פלטפורמה בתשלום לניתוח נתונים. יכול להיות שתחויבו על עיבוד שאילתות או על אחסון כשאתם ניגשים לנתוני BigQuery דרך דוחות Data Studio. פרטים על תמחור של שאילתות וקיבולת זמינים במאמר תמחור ב-BigQuery.
התפקידים הנדרשים
כדי להריץ שאילתות על נתוני BigQuery ב-Data Studio, אתם צריכים הרשאה לקרוא נתונים ולהריץ משימות של שאילתות. מקצים את תפקידי ה-IAM הבאים בפרויקט או במערך הנתונים ב- Google Cloud :
- BigQuery Data Viewer (
roles/bigquery.dataViewer): מאפשר לקרוא נתונים ומטא-נתונים מטבלאות או מתצוגות. - BigQuery Job User (
roles/bigquery.jobUser): מאפשר להריץ משימות של שאילתות בפרויקט החיוב.
התפקידים הנדרשים תלויים במצב פרטי הכניסה לנתונים שבוחרים למקור הנתונים:
- פרטי הכניסה של הבעלים (ברירת מחדל): רק לבעלים של מקור הנתונים נדרשים התפקידים האלה. צופים בדוח יכולים לראות את התרשימים בלי שתהיה להם גישה משלהם ל-BigQuery.
- הרשאות הצפייה: לכל מי שצופה בדוח צריכות להיות ההרשאות האלה כדי לראות את הנתונים בדוח.
- פרטי כניסה לחשבון שירות: רק לחשבון השירות צריך להקצות את התפקידים האלה. במאמר הגדרת Google Cloud חשבון שירות ל-Data Studio מוסבר איך מגדירים חשבון שירות.
איך מתחברים ל-BigQuery
כדי לקשר את נתוני BigQuery לדוח ב-Data Studio:
שלבים לקישור
- נכנסים ל-Data Studio.
- לוחצים על
יצירה ואז על דוח. - כלי הדוחות ייפתח יחד עם החלונית הוספת נתונים לדוח.
- כדי ליצור מקור נתונים מוטמע חדש, בוחרים במחבר BigQuery.
- אפשרות חלופית: כדי להשתמש במקור נתונים קיים שאפשר לעשות בו שימוש חוזר, לוחצים על הכרטיסייה מקורות הנתונים שלי ובוחרים מקור נתונים מכל סוג שהוא שיצרתם בעבר או ששותף איתכם.
- מגדירים גישה למסד הנתונים באמצעות אחת מאפשרויות החיבור.
- לוחצים על הוספה.
אחרי רגע, תופיע בבד הציור של הדוח טבלה שמחוברת למקור הנתונים.
אפשרויות חיבור
מקור נתונים ב-BigQuery יכול לשלוף נתונים מטבלה או מתצוגה,או משאילתת SQL מותאמת אישית.
חיבור לטבלה או לתצוגה ב-BigQuery
טבלה ב-BigQuery מאחסנת נתונים בשורות ובעמודות (שדות). תצוגה ב-BigQuery היא טבלה וירטואלית שמוגדרת על ידי שאילתת SQL שמופעלת באופן דינמי בתוך מסוף BigQuery או באמצעות BigQuery API.
כדי להתחבר לטבלה או לתצוגה, מציינים את פרמטרי החיבור הבאים:
- פרויקט ב-BigQuery
- מערך נתונים
- טבלה או תצוגה ספציפיות. בנוסף, אפשר להתחבר ב-Data Studio לטבלאות עם חלוקה לפי תאריכים ולטבלאות שמעובדות כל כמה ימים (מרובות-ימים).
בחירת פרויקט
הפרויקטים מארגנים את המשאבים שלכם ב- Google Cloud וקובעים לאן יחויבו עלויות השאילתות אם הדוחות יחרגו מהמגבלות של BigQuery בחינם. אפשר להריץ שאילתות על נתונים בפרויקט אחד ולחייב את העלויות בפרויקט אחר. Google Cloud מידע נוסף על פרויקטים
בוחרים אחת מהאפשרויות הבאות בחלונית ההגדרה של מחבר:
- פרויקטים אחרונים: פרויקטים שפתחתם לאחרונה במסוף Google Cloud . אפשר גם להזין את מזהה הפרויקט באופן ידני. הפרויקט שנבחר משמש גם לחיוב וגם לגישה לנתונים.
- הפרויקטים שלי: מוצגים כל הפרויקטים שיש לכם גישה אליהם. אם פרויקט מסוים לא מופיע ברשימה, מקלידים את מזהה הפרויקט המדויק בשדה ההזנה.
- פרויקטים משותפים: פרויקטים שמשותפים בין מחלקות או ארגונים. אתם יכולים להגדיר פרויקטים שונים לבחירת נתונים ולביצוע חיוב.
בוחרים מערך נתונים
מערכי נתונים משמשים לארגון ולשליטה על הגישה לקבוצות של טבלאות ותצוגות. בוחרים מערך נתונים מהרשימה או מחפשים לפי מזהה מערך הנתונים.
מערכי נתונים ציבוריים של BigQuery הם מערכי נתונים לדוגמה שמשותפים באופן גלובלי ב-Google. כדי להריץ שאילתות על נתונים ציבוריים, צריך לבחור פרויקט לחיוב כדי לשלם על עלויות עיבוד השאילתות.
קישור לטבלאות מחולקות למחיצות (Partitions) לפי תאריך
Data Studio תומך בטבלאות עם חלוקה למחיצות לפי תאריך ב-BigQuery (DATE, DATETIME או TIMESTAMP). כשבוחרים טבלה עם חלוקה למחיצות לפי DATE, DATETIME או TIMESTAMP, אפשר להגדיר את עמודת המחיצה כמסנן התאריכים הראשי לתרשימים. שימוש בטבלאות עם מחיצות עוזר לתרשימים להיטען מהר יותר, תוך מזעור עלויות השאילתות.
מידע נוסף על חיבור לטבלאות עם חלוקה לפי תאריך ב-BigQuery
חיבור לטבלאות שמעובדות כל כמה ימים (הקידומת YYYYMMDD)
BigQuery תומך בביצוע שאילתות בכמה טבלאות מפולחות, שכל אחת מהן מאחסנת נתונים של יום אחד ומסתיימת ב-YYYYMMDD (לדוגמה, [prefix]_YYYYMMDD).
כש-Data Studio נתקל בטבלאות בפורמט עם הסיומת YYYYMMDD במהלך בחירת הטבלה, הוא מקבץ את הטבלאות היומיות תחת שמות קידומת נקיים ([prefix]_YYYYMMDD). כשיוצרים תרשים מטבלה של כמה ימים, Data Studio שולח אוטומטית שאילתה רק לגבי הנתונים של 28 הימים האחרונים. אפשר לשנות את חלון התאריכים הזה בכל שלב. לשם כך, צריך לערוך את המאפיינים של טווח התאריכים בכרטיסייה הגדרה של התרשים.
התחברות ל-BigQuery באמצעות שאילתת SQL מותאמת אישית
האפשרות CUSTOM QUERY מאפשרת לכם להתחבר לנתונים באמצעות כתיבת SQL. התחביר של שאילתות בהתאמה אישית מבוסס על דיאלקט SQL סטנדרטי. כדי להשתמש בתחביר של SQL מדור קודם, בוחרים באפשרות Use Legacy SQL (שימוש ב-SQL מדור קודם).
מומלץ לכתוב ולבדוק את השאילתה ישירות במסוף BigQuery, ואז להעתיק ולהדביק את סקריפט ה-SQL המאומת בתיבת עורך השאילתות המותאמת אישית ב-Data Studio.
שינוי פרויקט החיוב
ההגדרה Billing Project מאפשרת לכם לציין את הפרויקט Google Cloud שבאמצעותו משלמים על עלויות של הפעלת שאילתות בהתאמה אישית. אם הארגון שלכם פועל במסגרת פרויקטים רבים, אתם יכולים להזין את מזהה פרויקט החיוב בשדה באופן ידני.
כדי לשלוח שאילתה על נתונים בפרויקט אחד ולחייב פרויקט אחר, צריך לציין את פרויקט החיוב בשדה הזה ולהפנות באופן מפורש לפרויקט הנתונים בתוך סעיף FROM של השאילתה (FROM project_id.dataset_id.table_id).
שימוש בפרמטרים של שאילתה
פרמטרים מאפשרים לכם ליצור דוחות מותאמים אישית שקל יותר להגיב להם. אפשר להעביר פרמטרים במקור נתונים של BigQuery בחזרה לשאילתה הבסיסית. כדי להשתמש בפרמטר בשאילתה מותאמת אישית, צריך לפעול לפי הנחיות התחביר להפעלת שאילתות עם פרמטרים ב-BigQuery.
הוראות הגדרה מלאות, כללי תחביר של פרמטרים והגדרת אבטחה ברמת השורה באמצעות פרמטרים (@DS_START_DATE, @DS_END_DATE, @DS_USER_EMAIL) מפורטות במאמר שימוש בפרמטרים בשאילתה מותאמת אישית.
הערות וטיפים
ריכזנו כאן כמה הערות וטיפים שיעזרו לכם להפיק את המרב ממקורות הנתונים שלכם ב-BigQuery.
זו הפעם הראשונה שאתם משתמשים ב-Data Studio?
מידע נוסף על יכולות הדיווח העיקריות ב-Data Studio זמין במקורות המידע הבאים:
שילובים עם BigQuery
חלק ממוצרי Google ומכלים חיצוניים מייצאים נתונים ישירות לטבלאות ב-BigQuery. כשמקשרים את Data Studio ל-BigQuery, Data Studio מחשב באופן אוטומטי מדדים סטנדרטיים ומעצב את שמות השדות:
- עיון בנתוני BigQuery ב-Data Studio: אנליסטים של נתונים יכולים לעיין בנתוני BigQuery באמצעות Data Studio ישירות מתוך מסוף BigQuery. מריצים את השאילתה או בוחרים טבלה, ואז בוחרים באפשרות Explore in Data Studio כדי להציג את הנתונים בדוח אינטראקטיבי. מידע נוסף זמין במאמר בנושא ניתוח נתונים באמצעות Data Studio.
- ייצוא מ-Google Analytics ל-BigQuery: כש-Data Studio מזהה טבלה שנוצרה על ידי ייצוא מ-Google Analytics ל-BigQuery, מוצג לצד הטבלה סמל של Google Analytics. כשמחברים טבלה, Data Studio יוצר באופן אוטומטי הרבה מהמדדים הרגילים שמופיעים ב-Google Analytics כשדות מחושבים.
מדד מספר הרשומות
כל מקור נתונים של BigQuery כולל באופן אוטומטי את המדד מספר הרשומות ברשימת השדות. אפשר להשתמש ב-Record Count בתוך תרשימים כדי לספור רשומות או לאמת את המספר הכולל של השורות שמוחזרות על ידי השאילתה.
הדמיה של מצולעים מסוג GEOGRAPHY ב-BigQuery
אפשר להציג גבולות גיאו-מרחביים (GEOGRAPHY נתונים מרחביים של מצולעים) מ-BigQuery באמצעות Google Maps בדוח. לקבלת מדריך מפורט שלב אחר שלב לשימוש בנתונים ציבוריים של אזור מוגדר למפקד אוכלוסין, ראו הצגת פוליגונים של BigQuery GEOGRAPHY ב-Data Studio.
פתרון בעיות ומגבלות
אם התרשימים לא נטענים או שמוצגות אזהרות לגבי ההגדרות, כדאי לעיין במדריך פתרון בעיות במחבר BigQuery ומגבלות.
מקורות מידע שקשורים לנושא
- יצירת מקור נתונים ב-Data Studio
- תפקידים והרשאות בניהול זהויות והרשאות גישה
- דף הבית של התיעוד של Google BigQuery