סקירה כללית על ניתוח הנתונים ב-BigQuery

במאמר הזה מוסבר איך BigQuery מעבד שאילתות, ומוצגות כמה תכונות שימושיות להבנה ולניתוח של הנתונים.

‫BigQuery מותאם להרצת שאילתות ניתוח על מערכי נתונים גדולים, כולל טרה-בייט של נתונים בשניות ופטה-בייט בדקות. הבנה של היכולות של BigQuery ושל האופן שבו הוא מעבד שאילתות יכולה לעזור לכם להפיק את המרב מההשקעות שלכם בניתוח נתונים.

תהליכי עבודה אנליטיים

‫BigQuery תומך בכמה תהליכי עבודה לניתוח נתונים:

  • ניתוח אד הוק. ‫BigQuery משתמש ב-GoogleSQL, הדיאלקט של SQL ב-BigQuery, כדי לתמוך בניתוח אד-הוק. אפשר להריץ שאילתות במסוף Google Cloud או באמצעות כלים של צד שלישי שמשולבים עם BigQuery.

  • ניתוח נתונים גיאו-מרחביים. ב-BigQuery נעשה שימוש בסוגי נתונים גיאוגרפיים ובפונקציות גיאוגרפיות של GoogleSQL כדי לאפשר לכם לנתח נתונים גיאו-מרחביים ולהציג אותם באופן חזותי. מידע על סוגי הנתונים והפונקציות האלה זמין במאמר מבוא לניתוח נתונים גיאוספציאליים.

  • ניתוח גרפים. BigQuery Graph מאפשר לכם ליצור מודל של הנתונים כגרף עם צמתים וקשתות. אפשר להשתמש ב-Graph Query Language (GQL) כדי למצוא קשרים מורכבים ומוסתרים בין נקודות נתונים, שקשה למצוא באמצעות SQL.

  • חיפוש נתונים אתם יכולים ליצור אינדקס לנתונים כדי לבצע חיפושים גמישים ומותאמים לטקסט לא מובנה או לנתוני JSON חצי מובנים.

  • חיפוש Google Cloud משאבים. שימוש בחיפוש בשפה טבעית (גרסת Preview) כדי לגלות Google Cloud משאבים מתוך BigQuery.

  • למידת מכונה. ‫BigQuery ML משתמש בשאילתות GoogleSQL כדי לאפשר לכם ליצור ולהפעיל מודלים של למידת מכונה (ML) ב-BigQuery.

  • בינה עסקית (BI). ‫BigQuery BI Engine הוא שירות ניתוח מהיר בזיכרון שמאפשר לכם ליצור לוחות בקרה ודוחות עשירים ואינטראקטיביים בלי לפגוע בביצועים, בהתאמה, באבטחה או ברעננות הנתונים.

  • כלים מבוססי-AI אתם יכולים להשתמש ב-Gemini ב-BigQuery כדי להכין את הנתונים ולחקור אותם, ליצור שאילתות SQL וקוד Python ולהציג את התוצאות בצורה ויזואלית.

עיון בנתונים

בעזרת BigQuery תוכלו להבין את הנתונים לפני שתתחילו לכתוב שאילתות SQL. אם אתם רוצים למצוא נתונים, לא מכירים את הנתונים שלכם, לא יודעים אילו שאלות לשאול או צריכים עזרה בכתיבת SQL, אתם יכולים להשתמש בתכונות הבאות:

  • Knowledge Catalog איתורGoogle Cloud משאבים מתוך BigQuery, כמו מערכי נתונים וטבלאות.

  • חלונית ההפניה לראות תצוגה מקדימה של פרטי הסכימה של טבלאות, תמונות מצב, תצוגות ותצוגות חומריות, וליצור שאילתות חדשות או לערוך שאילתות קיימות.

  • תובנות מנתונים. ליצור שאלות בשפה טבעית לגבי הנתונים, יחד עם שאילתות ה-SQL שיענו על השאלות האלה.

  • סריקת פרופיל נתונים. תוכלו לראות מאפיינים סטטיסטיים של הנתונים, כולל ערכים ממוצעים, ייחודיים, מקסימליים ומינימליים.

  • קנבס נתונים. אפשר לשלוח שאילתות לנתונים באמצעות שפה טבעית, להציג את התוצאות בתרשימים ולשאול שאלות המשך.

שאילתות

הדרך העיקרית לנתח נתונים ב-BigQuery היא להריץ שאילתת SQL. דיאלקט GoogleSQL תומך ב-SQL:2011 וכולל תוספים שתומכים בניתוח גיאו-מרחבי וב-ML.

מקורות נתונים

ב-BigQuery אפשר להריץ שאילתות על סוגי מקורות הנתונים הבאים:

  • נתונים שמאוחסנים ב-BigQuery. אפשר לטעון נתונים ל-BigQuery, לשנות נתונים קיימים באמצעות הצהרות של שפת טיפול בנתונים (DML) או לכתוב תוצאות של שאילתה בטבלה. אתם יכולים לשאול שאילתות לגבי נתונים היסטוריים מנקודת זמן מסוימת במסגרת חלון הנסיעה בזמן.

    אפשר לשלוח שאילתות לנתונים שמאוחסנים במיקומים באזור יחיד או במספר אזורים. שאילתה שמאחזרת נתונים שמאוחסנים ביותר ממיקום אחד יכולה להיחשב כשאילתה עם אחזור נתונים גלובלי (תצוגה מקדימה). שאילתות שמפנות לנתונים בכמה מיקומים תמיד נחשבות לשאילתות גלובליות, גם אם אזור אחד הוא מיקום של אזור יחיד והאזור השני הוא מיקום של מספר אזורים שמכיל את המיקום של האזור היחיד.

  • נתונים חיצוניים. אפשר להריץ שאילתות על מגוון מקורות נתונים חיצוניים, כמו Cloud Storage, או על שירותי מסדי נתונים, כמו Spanner או Cloud SQL. מידע על הגדרת קישורים למקורות חיצוניים זמין במאמר מבוא למקורות נתונים חיצוניים

  • נתונים מרובי עננים (multi-cloud). אפשר לשלוח שאילתות לנתונים שמאוחסנים בעננים ציבוריים אחרים, כמו AWS או Azure. מידע על הגדרת חיבורים ל-Amazon Simple Storage Service ‏ (Amazon S3) או ל-Azure Blob Storage זמין במאמר מבוא ל-BigQuery Omni.

  • מערכי נתונים ציבוריים. אתם יכולים לנתח כל אחת מקבוצות הנתונים שזמינות במאגר הנתונים הציבורי.

  • שיתוף ב-BigQuery (לשעבר Analytics Hub). אתם יכולים לפרסם נושאים ב-Pub/Sub ומערכי נתונים ב-BigQuery ולהירשם אליהם כדי לשתף נתונים בין גבולות ארגוניים. למידע נוסף, קראו את המאמר מבוא ל-BigQuery sharing.

סוגי שאילתות

אתם יכולים להריץ שאילתות על נתוני BigQuery באמצעות אחד מסוגי משימות השאילתות הבאים:

  • משימות אינטראקטיביות של שאילתות. כברירת מחדל, BigQuery מריץ שאילתות כמשימות שאילתה אינטראקטיביות, שמיועדות להתחיל לפעול במהירות האפשרית.

  • משימות של שאילתות באצווה. לשאילתות באצווה יש עדיפות נמוכה יותר מאשר לשאילתות אינטראקטיביות. כשפרויקט או הזמנה משתמשים בכל משאבי ה-Compute הזמינים שלהם, סביר יותר ששאילתות באצווה יוכנסו לתור וישארו בו. אחרי שמתחילים להריץ שאילתה באצווה, היא פועלת כמו שאילתה אינטראקטיבית. מידע נוסף זמין במאמר בנושא תורים של שאילתות.

  • עבודות של שאילתות מתמשכות. בעזרת המשימות האלה, השאילתה פועלת באופן רציף, ומאפשרת לכם לנתח נתונים נכנסים ב-BigQuery בזמן אמת, ואז לכתוב את התוצאות בטבלה ב-BigQuery או לייצא את התוצאות ל-Bigtable או ל-Pub/Sub. אתם יכולים להשתמש ביכולת הזו כדי לבצע משימות שרגישות לזמן, כמו יצירת תובנות ופעולה מיידית על בסיסן, הפעלת הסקה של למידת מכונה (ML) בזמן אמת ובניית צינורות נתונים מבוססי-אירועים.

אפשר להריץ משימות של שאילתות בדרכים הבאות:

שאילתות עם כמה הצהרות

אפשר להריץ כמה הצהרות ברצף, עם מצב משותף, באמצעות שאילתות עם כמה הצהרות. שאילתות עם כמה הצהרות משמשות לעיתים קרובות בפרוצדורות מאוחסנות ותומכות בהצהרות של שפה פרוצדורלית, שמאפשרות להגדיר משתנים וליישם זרימת בקרה.

שאילתות שנשמרו ושיתפו

ב-BigQuery אפשר לשמור שאילתות ולשתף שאילתות עם משתמשים אחרים.

כששומרים שאילתה, היא יכולה להיות פרטית (רק אתם יכולים לראות אותה), משותפת ברמת הפרויקט (רק גורמים ספציפיים יכולים לראות אותה) או ציבורית (כל אחד יכול לראות אותה). מידע נוסף מופיע במאמר עבודה עם שאילתות שמורות.

איך BigQuery מעבד שאילתות

כמה תהליכים מתרחשים כשמריצים שאילתה ב-BigQuery:

  • עץ הביצוע. כשמריצים שאילתה, BigQuery יוצר עץ ביצוע שמחלק את השאילתה לשלבים. השלבים האלה יכולים לפעול במקביל.

  • הפעלה אקראית של רמה השלבים מתקשרים ביניהם באמצעות שכבת ערבול מהירה ומבוזרת שמאחסנת נתונים זמניים שנוצרו על ידי העובדים של שלב מסוים. במידת האפשר, רמת ה-shuffle משתמשת בטכנולוגיות כמו רשת פטה-ביט ו-RAM כדי להעביר נתונים במהירות לצמתי עובדים.

  • תוכנית לביצוע שאילתה. כש-BigQuery מקבל את כל המידע שנדרש להרצת שאילתה, הוא יוצר תוכנית לביצוע שאילתה. אתם יכולים לראות את תוכנית השאילתה במסוף Google Cloud ולהשתמש בה כדי לפתור בעיות או לשפר את ביצועי השאילתה.

  • תרשים של ביצוע השאילתה. אתם יכולים לעיין במידע על תוכנית לביצוע שאילתה בפורמט גרפי לכל שאילתה, בין אם היא פועלת או שהיא הסתיימה, ולראות תובנות לגבי הביצועים שיעזרו לכם לבצע אופטימיזציה של השאילתות.

  • מעקב אחר שאילתות ותכנון דינמי. בנוסף לעובדים שמבצעים את העבודה של תוכנית לביצוע שאילתה עצמה, יש עובדים נוספים שעוקבים אחרי ההתקדמות הכוללת של העבודה במערכת ומכוונים אותה. במהלך השאילתה, יכול להיות ש-BigQuery ישנה באופן דינמי את תוכנית לביצוע שאילתה כדי להתאים אותה לתוצאות של השלבים השונים.

  • תוצאות השאילתה. כשהשאילתה מסתיימת, BigQuery כותב את התוצאות לאחסון קבוע ומחזיר אותן למשתמש. העיצוב הזה מאפשר ל-BigQuery להציג תוצאות ששמורות במטמון בפעם הבאה שהשאילתה הזו תופעל.

ביצועים ושאילתות מקבילות

הביצועים של שאילתות שמופעלות שוב ושוב על אותם נתונים יכולים להשתנות בגלל האופי המשותף של סביבת BigQuery, השימוש בתוצאות שאילתות שנשמרו במטמון או בגלל ש-BigQuery משנה באופן דינמי את תוכנית לביצוע שאילתה בזמן שהשאילתה פועלת. במערכת עמוסה טיפוסית שבה הרבה שאילתות רצות בו-זמנית, BigQuery משתמש בכמה תהליכים כדי לצמצם את השונות בביצועי השאילתות:

  • מערכת BigQuery מריצה הרבה שאילתות במקביל ויכולה להוסיף שאילתות לתור להרצה כשהמשאבים זמינים.

  • כשהשאילתות מתחילות ומסתיימות, BigQuery מחלק מחדש את המשאבים באופן הוגן בין השאילתות החדשות לבין השאילתות שפועלות. התהליך הזה מבטיח שביצועי השאילתות לא יהיו תלויים בסדר שבו הן נשלחות, אלא במספר השאילתות שמופעלות בזמן נתון.

אופטימיזציה של שאילתות

כשמריצים שאילתה, אפשר לראות את תוכנית השאילתה במסוף Google Cloud . אפשר גם לבקש פרטי הרצה באמצעות תצוגות INFORMATION_SCHEMA.JOBS* או ה-method jobs.get ב-API בארכיטקטורת REST.

תוכנית לביצוע שאילתה כוללת פרטים על השלבים של השאילתה. הפרטים האלה יכולים לעזור לכם לזהות דרכים לשיפור הביצועים של השאילתות. לדוגמה, אם אתם מבחינים בשלב שכותב הרבה יותר פלט משלבים אחרים, יכול להיות שאתם צריכים להוסיף מסנן מוקדם יותר בשאילתה.

למידע נוסף על תוכנית השאילתה ואופטימיזציה של השאילתה, אפשר לעיין במקורות המידע הבאים:

ניטור שאילתות

מעקב ורישום ביומן חיוניים להפעלת אפליקציות אמינות בענן. עומסי עבודה של BigQuery לא יוצאים מן הכלל, במיוחד אם עומס העבודה כולל נפחים גדולים או שהוא קריטי. ‫BigQuery מספק מדדים, יומנים ותצוגות שונות של מטא-נתונים כדי לעזור לכם לעקוב אחרי השימוש ב-BigQuery.

מידע נוסף זמין במקורות המידע הבאים:

תמחור של שאילתות

ב-BigQuery יש שני מודלים לתמחור של ניתוח נתונים:

מידע על שני מודלים של תמחור ועל הזמנות של תמחור לפי קיבולת זמין במאמר מבוא להזמנות.

מכסות ואמצעי בקרה על עלויות של שאילתות

ב-BigQuery יש מכסות ברמת הפרויקט להרצת שאילתות. מידע על מכסות של שאילתות זמין במאמר מכסות ומגבלות.

כדי לשלוט בעלויות של שאילתות, BigQuery מספק כמה אפשרויות, כולל מכסות מותאמות אישית והתראות חיוב. מידע נוסף זמין במאמר בנושא יצירת אמצעים לבקרת עלויות בהתאמה אישית.

תכונות של ניתוח נתונים

‫BigQuery תומך בניתוח תיאורי וחיזוי אנליטי, ועוזר לכם לחקור את הנתונים באמצעות כלים מבוססי-AI, ‏ SQL, למידת מכונה, מחברות (notebooks) ושילובים אחרים של צד שלישי.

BigQuery Studio

בעזרת BigQuery Studio תוכלו לגלות ולנתח נתונים ב-BigQuery ולהסיק מהם מסקנות באמצעות התכונות הבאות:

BigQuery ML

‫BigQuery ML מאפשר לכם להשתמש ב-SQL ב-BigQuery כדי לבצע למידת מכונה (ML) וניתוח חיזוי. מידע נוסף זמין במאמר מבוא ל-BigQuery ML.

הסוכן של Analytics לשיחות מאפשר לכם לשוחח עם הנתונים שלכם בשפה יומיומית. הסוכן הזה מורכב ממקור נתונים אחד או יותר ומקבוצה של הוראות ספציפיות לתרחיש שימוש לעיבוד הנתונים. ניתוח נתוני השיחות תומך בשימוש בחלק מהפונקציות של BigQuery ML.

שילוב של כלי Analytics

בנוסף להרצת שאילתות ב-BigQuery, אתם יכולים לנתח את הנתונים באמצעות כלי ניתוח ובינה עסקית שמשתלבים עם BigQuery, כמו:

  • ‫Looker. ‫Looker היא פלטפורמה ארגונית לבינה עסקית (BI), לאפליקציות נתונים ולניתוח נתונים מוטמעים. פלטפורמת Looker פועלת עם הרבה מאגרי נתונים, כולל BigQuery. מידע על חיבור Looker ל-BigQuery זמין במאמר שימוש ב-Looker.

  • ‫Data Studio. אחרי שמריצים שאילתה, אפשר להפעיל את Data Studio ישירות מ-BigQuery במסוףGoogle Cloud . אחר כך, ב-Data Studio תוכלו ליצור תרשימים וטבלאות ולעיין בנתונים שמוחזרים מהשאילתה. מידע על Data Studio זמין במאמר סקירה כללית של Data Studio.

  • גיליונות מקושרים. אפשר גם להפעיל את התכונה 'גיליונות מקושרים' ישירות מ-BigQuery ב-Console. 'גיליונות מקושרים' מריצים שאילתות ב-BigQuery בשמכם בעת ההפעלה הידנית, או לפי לוח זמנים מוגדר. התוצאות של השאילתות האלה נשמרות בגיליון האלקטרוני לצורך ניתוח ושיתוף. מידע על גיליונות מקושרים זמין במאמר שימוש בגיליונות מקושרים.

  • ‫Tableau. אפשר להתחבר למערך נתונים מ-Tableau. שימוש ב-BigQuery כדי להפעיל את התרשימים, מרכזי הבקרה והמחשות ויזואליות אחרות של נתונים.

שילוב של כלי צד שלישי

יש כמה כלי ניתוח של צד שלישי שפועלים עם BigQuery. לדוגמה, אפשר לקשר את Tableau לנתוני BigQuery ולהשתמש בכלי ההדמיה שלו כדי לנתח ולשתף את הניתוח. מידע נוסף על שיקולים לשימוש בכלים של צד שלישי מופיע במאמר בנושא שילוב של כלים של צד שלישי.

מנהלי התקנים של ODBC ו-JDBC זמינים ואפשר להשתמש בהם כדי לשלב את האפליקציה עם BigQuery. מטרת הדרייברים האלה היא לעזור למשתמשים לנצל את היכולות של BigQuery באמצעות כלים ותשתית קיימים. מידע על הגרסה האחרונה ועל בעיות מוכרות זמין במאמר בנושא מנהלי התקנים של ODBC ו-JDBC ל-BigQuery.

ספריות pandas כמו pandas-gbq מאפשרות אינטראקציה עם נתוני BigQuery במחברות Jupyter. מידע על הספרייה הזו ועל ההבדלים בינה לבין ספריית הלקוח של BigQuery Python זמין במאמר השוואה ל-pandas-gbq.

אפשר גם להשתמש ב-BigQuery עם מחברות אחרות ועם כלי ניתוח. מידע נוסף זמין במאמר בנושא כלים פרוגרמטיים לניתוח.

רשימה מלאה של שותפים של BigQuery בתחום האנליטיקה ובתחומים טכנולוגיים נוספים זמינה בדף המוצר של BigQuery בקטע שותפים.

פתרון בעיות בשאילתות

מידע על פתרון בעיות בשאילתות זמין במאמר פתרון בעיות בשאילתות.

המאמרים הבאים