התחברות אל Google BigQuery

‫BigQuery הוא מחסן נתונים מנוהל של Google לניתוח נתונים חסכוני בקנה מידה של פטה-בייט. המחבר של BigQuery ב-Data Studio מאפשר לכם לגשת לנתונים מהטבלאות שלכם ב-BigQuery מתוך Data Studio.

לפני שמתחילים

כדי לגשת לנתוני BigQuery ב-Data Studio, תצטרכו לספק חשבון לחיוב ב-Google Cloud. BigQuery הוא מוצר בתשלום, וייתכן שתחויבו על השימוש ב-BigQuery כשתיגשו אליו דרך Data Studio. כאן אפשר לקרוא מידע נוסף על תמחור BigQuery.

איך מתחברים ל-BigQuery

אפשר לחבר את Data Studio לטבלה, לתצוגה או לשאילתה מותאמת אישית ב-Google BigQuery.

שלבים לקישור

1. נכנסים ל-Data Studio.

2. לוחצים על יצירה ואז על דוח.

3. יוצג הכלי לעריכת דוחות, והחלונית הוספת נתונים לדוח תיפתח.

4. כדי ליצור מקור נתונים מוטמע חדש, בוחרים במחבר BigQuery.

   1. כדי לבחור מקור נתונים קיים שאפשר להשתמש בו שוב, לוחצים על הכרטיסייה מקורות הנתונים שלי ואז בוחרים מקור נתונים מכל סוג שהוא שיצרתם בעבר או ששותף איתכם.

5. מגדירים את החיבור של מקור הנתונים לנתונים ב-BigQuery. אפשר להתחבר לטבלה או לתצוגה ב-BigQuery,או להתחבר באמצעות שאילתת SQL בהתאמה אישית.

6. לוחצים על הוספה.

אחרי רגע, תופיע בבד הציור של הדוח טבלה שמחוברת למקור הנתונים.

הסבר על מקורות נתונים מוטמעים לעומת מקורות נתונים לשימוש חוזר

מקורות נתונים יכולים להיות מוטמעים או ניתנים לשימוש חוזר. הדוחות יכולים לכלול מקורות נתונים מוטמעים וגם מקורות נתונים שאפשר לעשות בהם שימוש חוזר.

מקורות נתונים שיוצרים בזמן עריכת דוח מוטמעים בדוח. כדי לערוך מקור נתונים מוטמע, צריך לעשות זאת בתוך הדוח. מקורות נתונים מוטמעים מקלים על שיתוף פעולה בדוחות ובמקורות נתונים. כל מי שיש לו הרשאת עריכה בדוח יכול גם לערוך את מקור הנתונים ולשנות את החיבור שלו. כשמשתפים או מעתיקים את הדוח, גם מקורות הנתונים שמוטמעים בו משותפים או מועתקים.

אפשר לעשות שימוש חוזר במקורות נתונים שיוצרים מדף הבית. אפשר לעשות שימוש חוזר במקורות הנתונים האלה בדוחות שונים. מקורות נתונים לשימוש חוזר מאפשרים לכם ליצור ולשתף מודל נתונים עקבי בכל הארגון. רק אנשים ששיתפתם איתם את מקור הנתונים לשימוש חוזר יכולים לערוך אותו. רק הבעלים של פרטי הכניסה למקורות הנתונים יכול לשנות את החיבור.

מידע נוסף על מקורות נתונים

זו הפעם הראשונה שאתם משתמשים ב-Data Studio?

משתמשים בחלונית המאפיינים כדי לשנות את הנתונים והסגנון של הטבלה. אפשר להשתמש בסרגל הכלים כדי להוסיף עוד תרשימים, אמצעי בקרה ורכיבים אחרים לדוח.

היכרות עם Data Studio

כדי לקבל מידע נוסף על Data Studio, אפשר לעיין במקורות המידע הבאים:

• מדריך למתחילים
• מדריך ליצירת דוח

חיבור לטבלה או לתצוגה ב-BigQuery

טבלה ב-BigQuery מכילה רשומות נפרדות שמסודרות בשורות. כל רשומה מורכבת מעמודות (שנקראות גם שדות). תצוגה ב-BigQuery היא טבלה וירטואלית שמוגדרת על ידי שאילתת SQL שמופעלת במסוף BigQuery.

כדי להתחבר לטבלה או לתצוגה, צריך לספק את הפרטים הבאים:

• פרויקט ב-BigQuery
• מערך נתונים
• טבלה או תצוגה

פרויקט

הפרויקטים מארגנים את המשאבים שלכם ב-BigQuery ומספקים את המידע הנדרש לחיוב אם הדוחות חורגים מהמכסות החינמיות של BigQuery. אתם יכולים להשתמש באותו פרויקט לחיוב ולניהול נתונים, או להשתמש בפרויקט אחד לנתונים ובפרויקט אחר לחיוב. מידע נוסף על פרויקטים ב-Google Cloud

בוחרים אחת מהאפשרויות הבאות כדי לבחור את הפרויקט:

• פרויקטים מהזמן האחרון
• הפרויקטים שלי
• פרויקטים משותפים

פרויקטים שנפתחו לאחרונה

האפשרות RECENT PROJECTS מציגה את הפרויקטים שנכנסתם אליהם לאחרונה במסוף Google Cloud . אפשר גם להזין את מזהה הפרויקט באופן ידני. הפרויקט שתבחרו ישמש לחיוב ולגישה לנתונים. אחרי שתבחרו פרויקט, תצטרכו לבחור מערך נתונים.

הפרויקטים שלי

האפשרות הפרויקטים שלי מאפשרת לכם לבחור כל פרויקט שיש לכם גישה אליו. אפשר גם להזין את מזהה הפרויקט באופן ידני. הפרויקט שתבחרו ישמש גם לחיוב וגם לגישה לנתונים. אחרי שבוחרים פרויקט, בוחרים מערך נתונים.

אם יש לכם גישה להרבה פרויקטים, יכול להיות שלא כולם יופיעו ברשימה. אם הרשימה חורגת מהמספר המקסימלי של הפריטים, אפשר להזין את הפרויקט הלא רשום ישירות על ידי הקלדה שלו בשדה ההזנה.

פרויקטים משותפים

האפשרות פרויקטים משותפים מאפשרת לכם לגשת לפרויקט ששותף איתכם. אתם יכולים לבחור פרויקטים שונים לנתונים ולחיוב.

מערכי נתונים

מערכי נתונים משמשים לארגון ולשליטה על הגישה לנתונים. בוחרים קבוצת נתונים מהרשימה או מחפשים קבוצת נתונים לפי שם.

מערכי נתונים ציבוריים

מערכי נתונים ציבוריים של BigQuery הם דוגמאות ציבוריות, שבהן מערך הנתונים משותף אבל הפרויקט לא. כדי לשלוח שאילתות לגבי הנתונים האלה, צריך לציין פרויקט חיוב משלכם, שישמש לחיוב על עלויות העיבוד של הנתונים המשותפים.

טבלה

אפשר לחבר מקור נתונים של Data Studio לטבלה או לתצוגה יחידה.

התחברות לטבלה מחולקת למחיצות לפי תאריך

‫Data Studio יכול להשתמש בטבלאות עם חלוקה למחיצות לפי תאריך ב-BigQuery. כשמתחברים לטבלה שמחולקת למחיצות לפי השדה DATE, DATETIME או TIMESTAMP,‏ Data Studio יכול להשתמש בשדה הזה כממד של טווח התאריכים לתרשימים שמבוססים על מקור הנתונים הזה.

מידע נוסף על קישור Data Studio לטבלאות עם חלוקה לפי תאריכים ב-BigQuery

התחברות ל-BigQuery באמצעות שאילתת SQL מותאמת אישית

האפשרות שאילתה בהתאמה אישית מאפשרת לכם להתחבר לנתונים באמצעות כתיבת SQL. התחביר של השאילתה בהתאמה אישית הוא דיאלקט SQL סטנדרטי. כדי להשתמש בדיאלקט SQL מדור קודם של BigQuery, בוחרים באפשרות Use Legacy SQL (שימוש ב-SQL מדור קודם).

משתמשים בממשק המשתמש של BigQuery כדי ליצור ולבדוק את השאילתה, ואז מעתיקים ומדביקים את השאילתה בתיבת השאילתה המותאמת אישית ב-Data Studio.

פרויקט החיוב

האפשרות פרויקט לחיוב מאפשרת לכם לספק פרויקט לחיוב עבור השאילתה המותאמת אישית שלכם. אתם יכולים לחפש את מזהה הפרויקט או להזין אותו באופן ידני. אם בארגון שלכם יש הרבה פרויקטים ב-BigQuery, יכול להיות שתצטרכו להשתמש בשיטה של הזנה ידנית כדי לאתר את הפרויקט.

כדי להשתמש בפרויקט אחד לחיוב ובפרויקט אחר לנתונים, בוחרים או מזינים את פרויקט החיוב בממשק המשתמש, ואז כוללים את פרויקט הנתונים בסעיף SELECT...FROM של השאילתה המותאמת אישית.

פרמטרים של שאילתה

פרמטרים מאפשרים לכם ליצור דוחות מותאמים אישית שקל יותר להגיב להם. אפשר להעביר פרמטרים במקור נתונים של BigQuery בחזרה לשאילתה הבסיסית. כדי להשתמש בפרמטר בשאילתה מותאמת אישית, צריך לפעול לפי הנחיות התחביר להפעלת שאילתות עם פרמטרים ב-BigQuery.

מידע נוסף על שימוש בפרמטרים בשאילתות מותאמות אישית

מגבלות של שאילתות מותאמות אישית

‫Data Studio משתמש ב-SQL המותאם אישית שלכם כהצהרת SELECT פנימית לכל שאילתה שנוצרת למסד הנתונים. בפועל, השאילתה המותאמת אישית שלכם יוצרת טבלה וירטואלית חדשה, ש-Data Studio מריץ עליה שאילתה באמצעות ה-SQL ה "חיצוני" שלו שנוצר. לכן, שאילתות מותאמות אישית ב-Data Studio כפופות להגבלות הבאות:

שאילתות SQL מותאמות אישית יכולות לכלול רק הצהרה אחת

לדוגמה, הקוד הבא לא יפעל כי יש בו כמה הצהרות SQL:

DECLARE cost_per_tb_in_dollar FLOAT64 DEFAULT 4.2;

SELECT total_bytes_billed / (1024 * 1024)* cost_per_tb_in_dollar)/(1024*1024))) FROM billing-table;

שימוש בשמות שדות חד-משמעיים בצירופים

שאילתות שיוך בהתאמה אישית לא יכולות לטפל בשמות עמודות כפולים. תרשימים שמבוססים על מקור נתונים שנוצר משאילתה בהתאמה אישית שכוללת שדות כפולים יחזירו שגיאת הגדרת משתמש שדומה לשגיאה הבאה:

כדי להימנע מהבעיה הזו, חשוב להשתמש בשמות שדות חד-משמעיים בשאילתות בהתאמה אישית.

לדוגמה, נניח שאתם מצטרפים לשתי טבלאות עם סכימות זהות, ומצטרפים לשדה Criteria_ID שנמצא בשתי הטבלאות.

    SELECT * FROM (
          SELECT Criteria_ID, Parent_ID, Name FROM 'table_1'
            ) As table_1
          LEFT JOIN (
            SELECT Criteria_ID, Parent_ID, Name FROM 'table_2'
            ) As table_2
          ON
            table_1.Criteria_ID = table_2.Criteria_ID

השאילתה הזו כוללת את שמות העמודות הכפולים הבאים:

• Criteria_ID
• Parent_ID
• Name

כדי להימנע מהשגיאה Field is ambiguous, אפשר לשנות את השם של השדות הכפולים באופן מפורש באמצעות מילת המפתח AS:

    SELECT *
          FROM (
            SELECT
              Criteria_ID AS Criteria_ID_1,
              Parent_ID AS Parent_ID_1,
              Name AS NAME_1
           FROM
             'table_1' ) AS table_1
           LEFT JOIN (
             SELECT
               Criteria_ID AS Criteria_ID_2,
               Parent_ID AS Parent_ID_2,
               Name AS NAME_2
             FROM
               'table_2' ) AS table_2
             ON
               table_1.Criteria_ID_1 = table_2.Criteria_ID_2;

אם אתם צריכים לשנות את השם של כמה שדות בלבד, אתם יכולים לבחור את כל השדות חוץ מאלה שאתם רוצים לשנות את השם שלהם. למשל:

SELECT * EXCEPT (city), city AS city_1 FROM 'table_1'

זמן קצוב לתפוגה של שאילתה

יכול להיות ששאילתות מותאמות אישית ב-Data Studio יפסיקו לפעול אחרי שלוש עד חמש דקות. אם זה קורה, אפשר לנסות את הפתרונות הבאים:

• לפשט את השאילתה כדי שהיא תפעל מהר יותר.
• מריצים את השאילתה במסד הנתונים ושומרים את התוצאות בטבלה נפרדת. אחר כך מתחברים לטבלה הזו במקור הנתונים.
• אם השאילתה ממשיכה להיכשל עם שגיאה HTTP 504 Gateway timeout, צריך להעביר את השאילתה המותאמת אישית לתצוגה מקורית של BigQuery או לתצוגה חומרית, ואז לעדכן את מקור הנתונים ב-Data Studio כדי להתחבר לתצוגה הזו.

טבלאות של כמה ימים

‫BigQuery תומך בשליחת שאילתות לטבלאות מרובות, כאשר כל טבלה מכילה נתונים של יום אחד. הטבלאות מוצגות בפורמט YYYYMMDD. כש-Data Studio מזהה טבלה בפורמט YYYYMMDD, הטבלה מסומנת כטבלה של כמה ימים, ורק הקידומת name_YYYYMMDD מוצגת בבחירת הטבלה.

כשיוצרים תרשים כדי להציג את הטבלה הזו, Data Studio יוצר באופן אוטומטי טווח תאריכים שמוגדר כברירת מחדל ל-28 הימים האחרונים, ואז שולח שאילתה ל-28 הטבלאות האחרונות. כדי להגדיר את ההגדרה הזו, עורכים את הדוח, בוחרים את התרשים ומשנים את המאפיינים של Date Range בכרטיסייה DATA של התרשים.

הצגת פקודות SQL שהונפקו ל-BigQuery

אתם יכולים לראות את כל ה-SQL של BigQuery שנוצר על ידי Data Studio מתוך ממשק המשתמש של היסטוריית השאילתות ב-BigQuery.

מדד מספר הרשומות

מקורות נתונים ב-BigQuery מספקים באופן אוטומטי את מדד ברירת המחדל מספר הרשומות. אתם יכולים להשתמש בזה כדי לפרק את המאפיינים ולהציג את מספר הרשומות שמצטברות בתרשימים.

תמיכה ב-VPC Service Controls

‫Data Studio יכול להתחבר לפרויקטים ב-BigQuery שמוגנים על ידי היקפים של VPC Service Controls‏ (VPC-SC) באמצעות רמות גישה מבוססות-IP לצופים. המחבר של BigQuery מעביר את כתובת ה-IP של הצופה בדוח אל BigQuery, שיכול לאכוף את כל רמות הגישה מבוססות ה-IP שהוגדרו.

הערה: שליחת הודעות אימייל מתוזמנות והתראות לא עובדת עם נתונים שמוגנים באמצעות רמות גישה מבוססות-IP עם VPC Service Controls. (מערכת Data Studio לא יכולה להעביר את כתובת ה-IP של נמען האימייל ל-BigQuery כדי להעריך את רמות הגישה מבוססות-IP כשהיא יוצרת את האימייל).

פתרון בעיות של כשלים בלתי צפויים ב-VPC Service Controls

בהמשך מפורטות שגיאות לא צפויות ב-VPC Service Controls והסבר איך לפתור אותן:

• תיאור הבעיה: יכול להיות שהמשתמשים ייתקלו בשגיאות Service Control Failure כשהם צופים בדוחות מחוץ ל-VPN, גם אם מערך הנתונים הראשי נמצא מחוץ להיקף של VPC-SC.
• סיבת השורש: השגיאה הזו נגרמת לעיתים קרובות ממקור נתונים של שאילתת BigQuery מותאמת אישית מדור קודם או 'וירטואלית' בדוח, שמשתמש בפרויקט חיוב שמוגן על ידי גבול גזרה של VPC-SC.
• פתרון עקיף: כדי לזהות ולתקן את מקורות הנתונים הנסתרים האלה, פועלים לפי השלבים הבאים:
  1. יוצרים עותק של הדוח שהושפע מהבעיה.
  2. בעותק החדש, עוברים אל Resource > Manage added data sources.
  3. מאתרים את המקורות מסוג BigQuery Custom SQL ומעדכנים אותם כך שישתמשו בפרויקט חיוב שלא מוגדר בו היקף, או מוחקים אותם אם הם כבר לא נחוצים.

הדמיה של מצולעים מסוג GEOGRAPHY ב-BigQuery

אתם יכולים להציג מצולעים של מיקום גיאוגרפי באמצעות ויזואליזציה של מפות Google בדוח. במדריך הזה מוסבר איך ליצור המחשה חזותית של מצולעים של מיקומי BigQuery באמצעות Data Studio.

ניתוח שאילתות של Data Studio באמצעות תוויות של משימות

לכל השאילתות שנשלחות מ-Data Studio ל-BigQuery יש את התווית requestor:looker_studio של משימת BigQuery. אפשר להשתמש בתווית הזו כדי לזהות שאילתות BigQuery שקשורות ל-Data Studio. מידע נוסף על תוויות ב-BigQuery זמין בדף התיעוד של BigQuery בנושא הצגת תוויות.

אם אתם הבעלים של מקור הנתונים ב-BigQuery, תוכלו גם לראות את פרטי העבודה על ידי לחיצה על הסמל Powered by BigQuery (מופעל על ידי BigQuery).

מידע נוסף על מעקב אחרי הביצועים והעלות של תרשימים ודוחות ב-Data Studio זמין בדף ניתוח נתונים באמצעות Data Studio במאמרי העזרה של BigQuery.

תיבת דו-שיח של BigQuery

אם יש לכם פרטי כניסה של בעלים למקור הנתונים ב-BigQuery, סמל BigQuery יוצג בפינה השמאלית העליונה של כל תרשים שמשתמש ב-BigQuery ב-Data Studio. מעבירים את העכבר מעל התרשים ולוחצים על סמל BigQuery כדי לפתוח את תיבת הדו-שיח BigQuery. בתיבת הדו-שיח מוצג קישור לדף פרטי המשימה ב-BigQuery. דף פרטי המשימה ב-BigQuery כולל את המידע הבא:

• שאילתת ה-SQL של התרשים
• הנתונים שהוחזרו על ידי שאילתת ה-SQL
• פירוט של שלבי השאילתה
• נתונים סטטיסטיים של שאילתות, כמו זמן ריצה כולל ומשבצות זמן שנעשה בהן שימוש

שיפור הביצועים באמצעות BigQuery Storage Read API

בשאילתות שמשתמשות בתוצאות עם מספור עמודים, הפעלה של BigQuery Storage Read API יכולה לשפר את זמני השאילתות. מערכת Data Studio משתמשת אוטומטית ב-Storage Read API אם זה משפר את זמני הריצה של השאילתות.

כדי להפעיל את BigQuery Storage Read API, צריך להעניק את ההרשאות הבאות למשתמש BigQuery שמחובר ל-Data Studio:

• bigquery.readsessions.create
• bigquery.readsessions.getData

מכסות ומגבלות כלליות

באופן כללי, מקורות נתונים של BigQuery כפופים לאותן מגבלות קצב ומגבלות מכסה שחלות על BigQuery עצמו.

מספר השורות המקסימלי

מספר השורות המקסימלי שאפשר להחזיר באמצעות מחבר BigQuery הוא 2 מיליון שורות. מערכת Data Studio תציין אם יש יותר מ-2 מיליון שורות של נתונים, אבל לא תציין את מספר השורות.

מספר הטבלאות המקסימלי

כשמשתמשים במחבר של Data Studio לחיבורים ל-BigQuery, יש מגבלה של 5,000 טבלאות לכל מערך נתונים. אם חורגים מהמגבלה הזו, יכול להיות שממשק המשתמש לא יגיב כש-Data Studio יטען את רשימת הטבלאות של מערך הנתונים.

אם הגעתם למגבלה הזו, תוכלו להשתמש באחד מהפתרונות הבאים:

• שימוש בשאילתה בהתאמה אישית: מתחברים ל-BigQuery באמצעות שאילתת SQL בהתאמה אישית במקום להתחבר לטבלה. לדוגמה: SELECT * FROM project.dataset.table.
• התחברות מ-BigQuery: במסוף BigQuery, משתמשים באפשרויות ייצוא או ניתוח נתונים, ואז בוחרים באפשרות פתיחה באמצעות Looker Studio.
• ניהול מערכי נתונים: אפשר לארגן מחדש את הטבלאות למערכי נתונים קטנים יותר עם פחות מ-5,000 טבלאות, או ליצור מערך נתונים ייעודי לדיווח עם טבלאות או תצוגות נחוצות בלבד.

הפונקציות MEDIAN ו-PERCENTILE

מקורות נתונים של BigQuery, ‏ MEDIAN ו-PERCENTILE מיושמים באמצעות הפונקציה APPROX_QUANTILES של BigQuery. החלת MEDIAN או PERCENTILE על נתונים מ-BigQuery עשויה להחזיר תוצאות שונות במקצת מהחלת MEDIAN או PERCENTILE על אותם נתונים מסוגים אחרים של מקורות נתונים.

מפתחות הצפנה בניהול הלקוח (CMEK)

מחבר BigQuery לא תומך במפתחות הצפנה בניהול הלקוח (CMEK). אם Google Cloud הפרויקט כפוף למדיניות ארגונית שמחייבת שימוש ב-CMEK, ‏ Data Studio לא יכול לשלוח שאילתות לנתונים ומחזיר שגיאת CONDITION_NOT_MET.

סוג הנתונים של TIME

‫Data Studio לא תומך בסוג הנתונים TIME של BigQuery. כל השדות מסוג TIME במערך הנתונים מומרים לשדות מסוג TEXT ב-Data Studio. כדי להציג נתוני זמן בדוחות, אפשר להשתמש באחד מהפתרונות הבאים כדי להמיר את הנתונים מסוג TIME לסוג הנתונים DATETIME:

פתרון עקיף 1: שימוש באילתא מותאמת אישית

שימוש בשאילתה מותאמת אישית של BigQuery כמקור נתונים ב-Data Studio. משלבים את השדה TIME עם תאריך 'פיקטיבי' כדי ליצור ערך DATETIME שנתמך ב-Data Studio.

שאילתת SQL בהתאמה אישית

SELECT
  *,
  -- Combine a dummy date (1970-01-01) with your TIME field
  DATETIME(DATE "1970-01-01", your_time_field) AS time_as_datetime
FROM
  `your_project.your_dataset.your_table`

• תוצאה: ב-Data Studio, הערך time_as_datetime מטופל כסוג הנתונים תאריך ושעה.
• התאמה אישית: כדי להסתיר את תאריך הדמה ולהציג רק את השעה: בדוח, עורכים את פורמט התצוגה של השדה time_as_datetime ובוחרים פורמט, כמו שעה או דקה, או מספקים פורמט מותאם אישית, כמו h:mm:ss. מידע נוסף על פורמטים של שדות

פתרון עקיף 2: שימוש בשדה מחושב

אם אתם לא רוצים לשנות את שאילתת ה-SQL, אתם יכולים לטפל בהמרה ישירות ב-Data Studio באמצעות שדה מחושב. בדוגמה הזו אנחנו מניחים שהשדה TIME ב-BigQuery מכיל נתונים בפורמט 'שעה:דקה:שנייה' (לדוגמה, 23:59:59).

נוסחה של שדה מחושב

PARSE_DATETIME("%H:%M:%S", CAST(your_time_field AS TEXT))

• תוצאה: הפונקציה PARSE_DATETIME ממירה את המחרוזת לאובייקט Date & Time. הפונקציה CAST מבטיחה שהערך your_time_field יטופל כערך TEXT. מכיוון שלא צוין תאריך במחרוזת, Data Studio מגדיר אוטומטית את חלק התאריך ל1 בינואר 1970. מידע נוסף על הפונקציה PARSEDATE
• התאמה אישית: כמו בפתרון העקיף של שאילתה בהתאמה אישית, אפשר לשנות את פורמט התצוגה של השדה בכרטיסייה הגדרה של התרשים כדי לוודא שבתרשימים יופיע רק מידע הזמן הרלוונטי.

מקורות מידע שקשורים לנושא

• יצירת מקור נתונים
• מידע נוסף על BigQuery