סקירה כללית על BigQuery

‫BigQuery היא פלטפורמת נתונים מנוהלת לחלוטין שמוכנה ל-AI, ועוזרת לכם לנהל ולנתח את הנתונים. הארכיטקטורה של BigQuery היא בלי שרת (serverless), כך שאפשר להשתמש בשפות כמו SQL ו-Python כדי לענות על השאלות החשובות ביותר של הארגון, בלי לנהל את התשתית.

אם אתם עובדים בתפקיד של אנליסט נתונים, מהנדס מערכות מידע, אדמין של מחסן נתונים או מדען נתונים, אתם יכולים להשתמש ב-BigQuery לתרחישי השימוש העיקריים הבאים:

• תהליכי עבודה בעזרת AI: אתם יכולים להשתמש ב-AI גנרטיבי, בחיפוש וקטורי ובתכונות העזרה של Gemini כדי לחקור, לשנות ולשלב מודלים גדולים של שפה (LLM) בתהליכי העבודה של הנתונים.
• למידת מכונה וחיזוי אנליטי: בנייה, אימון ופריסה של מודלים על הנתונים באמצעות SQL או Python.
• בינה עסקית וניתוח אד-הוק: שאילתות על טרה-בייטים תוך שניות ועל פטה-בייטים תוך דקות, כדי לקבל החלטות עסקיות קריטיות.
• ניתוח נתונים גיאו-מרחביים: ניתוח והצגה חזותית של נתונים מבוססי-מיקום באמצעות מערכות מידע גיאוגרפי (GIS).
• משילות מידע וחיפוש סמנטי: גילוי, ניהול ואימות של נתונים ונכסי AI באמצעות תכונות מובנות שמבוססות על Knowledge Catalog.
• הטמעת נתונים רציפה: הזרמה של נתונים מובְנים ובלתי מובְנים בזמן אמת, עם תמיכה בפורמטים פתוחים של טבלאות כמו Apache Iceberg, ‏Delta ו-Apache Hudi.

ארכיטקטורת BigQuery

הארכיטקטורה של BigQuery מורכבת משני חלקים: שכבת אחסון שמטמיעה, מאחסנת ומבצעת אופטימיזציה של נתונים, ושכבת מחשוב שמספקת יכולות ניתוח. שכבות המחשוב והאחסון האלה פועלות ביעילות באופן עצמאי זו מזו, הודות לרשת של Google בקנה מידה של פטה-ביט, שמאפשרת את התקשורת הנדרשת ביניהן.

במסדי נתונים מדור קודם, בדרך כלל צריך לשתף משאבים בין פעולות קריאה וכתיבה לבין פעולות ניתוח. זה עלול לגרום לקונפליקטים במשאבים ולהאט את השאילתות בזמן כתיבת נתונים באחסון או קריאת נתונים ממנו. העומס על מאגרי משאבים משותפים יכול לגדול עוד יותר כשנדרשים משאבים למשימות ניהול מסדי נתונים, כמו הקצאה או ביטול של הרשאות. ההפרדה בין שכבות המחשוב והאחסון ב-BigQuery מאפשרת לכל שכבה להקצות משאבים באופן דינמי בלי להשפיע על הביצועים או על הזמינות של השכבה השנייה.

ההפרדה הזו מאפשרת ל-BigQuery לחדש מהר יותר, כי אפשר לפרוס שיפורים באחסון ובמחשוב בנפרד, בלי זמן השבתה או השפעה שלילית על ביצועי המערכת. הוא גם חיוני כדי להציע מחסן נתונים מנוהל לחלוטין בלי שרת (serverless), שבו צוות ההנדסה של BigQuery מטפל בעדכונים ובתחזוקה. כתוצאה מכך, אין צורך להקצות משאבים או לשנות את קנה המידה שלהם באופן ידני, ואתם יכולים להתמקד בהפקת ערך במקום במשימות המסורתיות של ניהול מסדי נתונים.

ממשקי BigQuery כוללים את ממשק המסוף Google Cloud ואת כלי שורת הפקודה של BigQuery. מפתחים ומדעני נתונים יכולים להשתמש בספריות לקוח עם תכנות מוכר, כולל Python, ‏ Java, ‏ JavaScript ו-Go, וגם ב-API בארכיטקטורת REST וב-RPC API של BigQuery כדי לשנות ולנהל נתונים. מנהלי ההתקנים של ODBC ו-JDBC מספקים אינטראקציה עם אפליקציות קיימות, כולל כלים ושירותים של צד שלישי.

איך מתחילים לעבוד עם BigQuery

אתם יכולים להתחיל להשתמש ב-BigQuery תוך כמה דקות. כדי להתחיל לטעון נתונים ולהריץ עליהם שאילתות, אפשר להשתמש בתוכנית לשימוש חינמי ב-BigQuery או בארגז החול ללא עלות.

• ארגז החול של BigQuery: התחילו לעבוד בארגז החול של BigQuery, ללא סיכון וללא עלות.
• מערכי נתונים ציבוריים: התנסות בביצועים של BigQuery באמצעות חקירת נתונים גדולים מהעולם האמיתי מתוכנית מערכי הנתונים הציבוריים.
• Google Cloud מדריך למתחילים לשימוש במסוף: כדאי להכיר את היכולות של BigQuery Studio.

התנסות ב-BigQuery

התשתית ללא שרת (serverless) של BigQuery מאפשרת לכם להתמקד בנתונים במקום בניהול המשאבים. ‫BigQuery משלב מחסן נתונים מבוסס-ענן עם כלי ניתוח מתקדמים.

אחסון BigQuery

הנתונים ב-BigQuery מאוחסנים בפורמט של אחסון עמודות, שמותאם לשאילתות של ניתוח נתונים. ב-BigQuery הנתונים מוצגים בטבלאות, בשורות ובעמודות, ויש תמיכה מלאה בסמנטיקה של טרנזקציות במסד נתונים (ACID). האחסון ב-BigQuery משוכפל באופן אוטומטי בכמה מיקומים כדי לספק זמינות גבוהה.

• מידע על דפוסים נפוצים לארגון משאבי BigQuery במחסן הנתונים ובשווקי הנתונים.
• מידע ולמידה על מערכי נתונים, מאגר ברמה העליונה של טבלאות ותצוגות ב-BigQuery.
• שירות העברת הנתונים ל-BigQuery מאפשר להטמיע נתונים באופן אוטומטי.
• טעינת נתונים ל-BigQuery באמצעות:
  • העברת נתונים בסטרימינג באמצעות Storage Write API ‏ (gRPC).
  • טעינת נתונים באצווה מקבצים מקומיים או מ-Cloud Storage, בפורמטים שכוללים את: Avro,‏ Parquet,‏ ORC,‏ CSV,‏ JSON,‏ Datastoreו-Firestore.

למידע נוסף, קראו את הסקירה הכללית על האחסון ב-BigQuery.

ניתוח נתונים ב-BigQuery

ניתוח תיאורי וניתוח מרשמי משמשים בין היתר לבינה עסקית, לניתוח אד-הוק, לניתוח גיאו-מרחבי ולמידת מכונה. אתם יכולים להריץ שאילתות על נתונים שמאוחסנים ב-BigQuery או להריץ שאילתות על נתונים במקום שבו הם מאוחסנים, באמצעות טבלאות חיצוניות או שאילתות לכמה מאגרי נתונים, כולל Cloud Storage,‏ Bigtable,‏ Spanner או Google Sheets שמאוחסנים ב-Google Drive. ‫

• שאילתות SQL סטנדרטיות בתקן ANSI (תמיכה ב-ISO/IEC 9075), כולל תמיכה בצירופים, בשדות מקוננים ובשדות חוזרים, בפונקציות של ניתוח וצבירה, בשאילתות עם כמה הצהרות ובמגוון פונקציות מרחביות עם ניתוח נתונים גיאו-מרחביים – מערכות מידע גיאוגרפי.
• ‫API בשפת Python שתואם ל-Pandas, שסופק על ידי BigQuery DataFrames.
• ליצור תצוגות כדי לשתף את הניתוח.
• תמיכה בכלי בינה עסקית, כולל BI Engine עם Data Studio, ‏ Looker,‏ Google Sheets וכלים של צד שלישי כמו Tableau ו-Power BI.
• ‫BigQuery ML מספק למידת מכונה וניתוח נתונים לחיזוי.
• ב-BigQuery Studio יש תכונות כמו מסמכי Notebook של Python וניהול גרסאות של מסמכי Notebook ושל שאילתות שמורות. התכונות האלה מקלות על השלמת תהליכי העבודה של ניתוח הנתונים ולמידת המכונה (ML) ב-BigQuery.
• הפעלת שאילתות על נתונים מחוץ ל-BigQuery באמצעות שאילתות מאוחדות וטבלאות חיצוניות.

למידע נוסף, קראו את הסקירה הכללית על ניתוח הנתונים ב-BigQuery.

ניהול BigQuery

ב-BigQuery אפשר לנהל באופן מרוכז את משאבי הנתונים והמחשוב, ובעזרת ניהול זהויות והרשאות גישה (IAM) אפשר לאבטח את המשאבים האלה באמצעות מודל הגישה שמשמש בכל Google Cloud. Google Cloud השיטות המומלצות לאבטחה מספקות גישה יציבה וגמישה שיכולה לכלול אבטחה היקפית או גישה מורכבת ומפורטת יותר של הגנה לעומק.

• מבוא לאבטחת מידע ולמשילות מידע – כדי להבין מהי משילות מידע ואילו אמצעי בקרה נדרשים כדי לאבטח את המשאבים של BigQuery.
• משימות הן פעולות ש-BigQuery מריץ בשבילכם כדי לטעון, לייצא, להעתיק או לשלוח שאילתות לגבי נתונים.
• הזמנות מאפשרות לכם לעבור בין תמחור על פי דרישה לתמחור מבוסס-קיבולת.

למידע נוסף, קראו את המאמר מבוא לניהול BigQuery.

משאבים של BigQuery

מקורות מידע על BigQuery:

• בנתוני הגרסה מופיעים יומני שינויים של תכונות, שינויים והוצאות משימוש.
• תמחור לניתוח ולאחסון. ראו גם: התמחור של BigQuery ML, BI Engine ו-שירות העברת נתונים.
• מיקומים מגדירים איפה יוצרים ומאחסנים מערכי נתונים (מיקומים אזוריים ומיקומים במספר אזורים).
• ב-Stack Overflow יש קהילה פעילה של מפתחים ומנתחי נתונים שעובדים עם BigQuery.
• צוות התמיכה של BigQuery מספק עזרה בנושא BigQuery.
• בספר Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale, מאת Valliappa Lakshmanan ו-Jordan Tigani, מוסבר איך BigQuery פועל ומוצג מדריך מקיף לשימוש בשירות.

ממשקי API, כלים וחומרי עזר

חומרי עזר למפתחים ולאנליסטים של BigQuery:

• ‫BigQuery API וספריות לקוח מספקים סקירה כללית של התכונות של BigQuery והשימוש בהן.
• תחביר של שאילתות SQL לפרטים על השימוש ב-GoogleSQL.
• מאמרי העזרה של BigQuery DataFrames API, כדי לקבל פרטים על השימוש ב-API בשפת Python שתואם ל-pandas.
• דוגמאות לקוד BigQuery מספקות מאות קטעי קוד לספריות לקוח ב-C#‎,‏ Go,‏ Java,‏ Node.js,‏ Python ו-Ruby. אפשר גם לעיין בדפדפן הדוגמאות.
• DML, DDL, ותחביר של פונקציות בהגדרת משתמש (UDF) מאפשרים לנהל ולשנות את הנתונים ב-BigQuery.
• מאמרי העזרה של כלי שורת הפקודה של BigQuery מתעדים את התחביר, הפקודות, הדגלים והארגומנטים של ממשק ה-CLI של bq.
• שילוב ODBC או JDBC: חיבור BigQuery לתשתית ולכלים הקיימים.

התכונות של Gemini ב-BigQuery

‫Gemini ב-BigQuery הוא חלק מחבילת המוצרים Gemini for Google Cloud, שכוללת עוזר דיגיטלי מבוסס-AI שיעזור לכם לעבוד עם הנתונים.

‫Gemini ב-BigQuery מספק עזרה מבוססת-AI כדי:

• איך לחקור ולהבין את הנתונים בעזרת תובנות מנתונים התכונה "תובנות מנתונים" מאפשרת לכם לזהות דפוסים ולבצע ניתוח סטטיסטי באופן אוטומטי ואינטואיטיבי, באמצעות שאילתות תובנה שנוצרות מהמטא-נתונים של הטבלאות שלכם. התכונה הזו שימושית במיוחד כשמתמודדים עם האתגרים של הפעלה במצב התחלתי (cold start) בשלבים המוקדמים של חקירת הנתונים. מידע נוסף זמין במאמר יצירת תובנות מנתונים ב-BigQuery.
• צ'אט עם הנתונים שלכם באמצעות ניתוח נתונים בשיחה. ניתוח נתונים באמצעות שיחה מאפשר לכם לנהל שיחות בשפה טבעית עם הנתונים שלכם. אתם יכולים ליצור סוכני נתונים שמוגדרים עם מטא-נתונים, הוראות, מונחים במילון ושאילתות מאומתות בהתאמה אישית כדי לקבוע לוגיקה עסקית. אפשר גם להתחיל שיחות ישירות עם מקורות נתונים, כולל טבלאות, תצוגות, גרפים של מאפיינים וטבלאות Lakehouse. מידע נוסף זמין במאמר סקירה כללית על ניתוח נתונים בשיחה.
• חיפוש, שינוי, שליחת שאילתות והצגה חזותית של נתונים באמצעות קנבס הנתונים של BigQuery. אתם יכולים להשתמש בשפה טבעית עם Gemini ב-BigQuery כדי למצוא נכסי טבלה, לצרף אותם ולשלוח עליהם שאילתות, ליצור ויזואליזציה של התוצאות ולשתף פעולה עם אחרים בצורה חלקה לאורך כל התהליך. מידע נוסף זמין במאמר ניתוח באמצעות קנבס נתונים.
• לקבל עזרה בניתוח נתונים ב-SQL וב-Python. אתם יכולים להשתמש ב-Gemini ב-BigQuery כדי ליצור או להציע קוד ב-SQL או ב-Python, ולהסביר שאילתת SQL קיימת. אפשר גם להשתמש בשאילתות בשפה טבעית כדי להתחיל בניתוח הנתונים.
  
  • עזרה בכתיבת קוד SQL
    • שימוש בכלי ליצירת SQL
    • הנחיה ליצירת שאילתות SQL
    • יצירת שאילתות SQL באמצעות Gemini Cloud Assist (תצוגה מקדימה)
    • המרת הערות ל-SQL (תצוגה מקדימה)
    • השלמת שאילתת SQL (גרסת טרום-השקה (Preview))
    • הסבר על שאילתת SQL
  • עזרה בתכנות Python
    • יצירת קוד Python באמצעות הכלי ליצירת קוד
    • יצירת קוד Python באמצעות Gemini Cloud Assist (תצוגה מקדימה)
    • השלמת קוד Python
    • יצירת קוד Python של BigQuery DataFrames (תצוגה מקדימה)
• הכנת נתונים לניתוח. הכנת נתונים ב-BigQuery מספקת המלצות לטרנספורמציה שנוצרו על ידי AI, עם מודעות להקשר, כדי לנקות את הנתונים לצורך ניתוח. מידע נוסף זמין במאמר הכנת נתונים באמצעות Gemini.
• יצירה ושינוי של צינורות עיבוד נתונים באמצעות Data Engineering Agent. הסוכן להנדסת נתונים עוזר לכם ליצור, לשנות ולפתור בעיות ב-Data pipelines באמצעות הנחיות בשפה טבעית. בנוסף ללוגיקת ה-SQL, הסוכן יוצר באופן יזום מטא-נתונים סמנטיים – כמו תיאורי שדות, סקירות כלליות של טבלאות והיבטים כלליים כמו פרטי המערכת והסוג – כדי להבטיח שאפשר יהיה לגלות את נכסי הנתונים שלכם מרגע היצירה. איך משתמשים בסוכן להנדסת נתונים כדי ליצור ולשנות צינורות עיבוד נתונים
• התאמה אישית של תרגומי SQL באמצעות כללי תרגום ‫(Preview) יצירת כללי תרגום משופרים על ידי Gemini כדי להתאים אישית את תרגומי ה-SQL כשמשתמשים בכלי האינטראקטיבי לתרגום SQL. אתם יכולים לתאר את השינויים בפלט של תרגום ה-SQL באמצעות הנחיות בשפה טבעית, או לציין תבניות SQL שצריך למצוא ולהחליף. מידע נוסף זמין במאמר יצירת כלל תרגום.

איך מגדירים את Gemini ב-BigQuery

תפקידים ומשאבים ב-BigQuery

‫BigQuery עונה על הצרכים של אנשי מקצוע בתחום הנתונים בתפקידים ובתחומי האחריות הבאים.

מנתח/ת נתונים

הנחיות למשימות שיעזרו לכם אם אתם צריכים:

• להריץ שאילתות על נתונים ב-BigQuery באמצעות שאילתות אינטראקטיביות או באצווה, באמצעות תחביר של שאילתות SQL
• ניתוח והמרה של נתונים ב-BigQuery באמצעות BigQuery DataFrames API שתואם ל-pandas.
• אפשר לעיין בפונקציות, באופרטורים ובביטויים מותנים של SQL כדי לשלוח שאילתות לנתונים
• שימוש בכלים לניתוח ולהצגה חזותית של נתוני BigQuery, כולל: Looker,‏ Data Studio ו-Google Sheets.

• שימוש בניתוח נתונים גיאו-מרחביים כדי לנתח נתונים גיאו-מרחביים ולהציג אותם באמצעות מערכות מידע גיאוגרפיות של BigQuery

• אופטימיזציה של ביצועי השאילתות באמצעות:

  • טבלאות מחולקות למחיצות: צמצום טבלאות גדולות על סמך טווחי זמן או מספרים שלמים.
  • תצוגות מהותיות: הגדרת תצוגות במטמון כדי לבצע אופטימיזציה של שאילתות או לספק תוצאות קבועות.
  • ‫BI Engine: שירות ניתוח נתונים מהיר בזיכרון של BigQuery.

מנהל נתונים

הנחיות למשימות שיעזרו לכם אם אתם צריכים:

• ניהול עלויות באמצעות מקומות שמורים כדי לאזן בין תמחור על פי דרישה לתמחור מבוסס-קיבולת.
• להבין את אבטחת המידע ומשילות המידע כדי לאבטח את הנתונים לפי מערך נתונים, טבלה, עמודה, שורה או תצוגה
• גיבוי נתונים באמצעות קובצי Snapshot של טבלאות כדי לשמור את התוכן של טבלה בנקודת זמן מסוימת.
• צפייה ב-INFORMATION_SCHEMA של BigQuery כדי להבין את המטא-נתונים של מערכי נתונים, משימות, בקרת גישה, הזמנות, טבלאות ועוד.
• שימוש במשימות כדי ש-BigQuery יטען, ייצא, יעתיק או יריץ שאילתות על נתונים בשמכם.
• מעקב אחרי יומנים ומשאבים כדי להבין את BigQuery ואת עומסי העבודה.

למידע נוסף, קראו את המאמר מבוא לניהול BigQuery.

כדי לראות סיור של תכונות ניהול הנתונים של BigQuery ישירות במסוף Google Cloud , לוחצים על Take the tour.

להתחלת הסיור

מדען נתונים

הנחיות למשימות שיעזרו לכם להשתמש בלמידת המכונה של BigQuery ML כדי לבצע את הפעולות הבאות:

• הבנת התהליך המלא שעובר המשתמש במודלים של למידת מכונה
• ניהול בקרת גישה ל-BigQuery ML
• יצירה ואימון של מודלים של BigQuery ML כולל:
  • תחזית רגרסיה לינארית
  • סיווגים של רגרסיה לוגיסטית בינארית ולוגיסטית מרובת-מחלקות
  • אשכולות K-means לפילוח נתונים
  • חיזוי סדרות זמנים באמצעות מודלים של ARIMA+‎

מפתחים של נתונים

הנחיות למשימות שיעזרו לכם אם אתם צריכים:

• טעינת נתונים ל-BigQuery באמצעות:
  • טעינת נתונים באצווה בפורמטים Avro,‏ Parquet,‏ ORC,‏ CSV,‏ JSON ,‏ Datastore ו-Firestore
  • שירות העברת נתונים ל-BigQuery
  • ‫BigQuery Storage Write API (gRPC)

• שימוש בספריית דוגמאות הקוד, כולל:

  • דוגמאות לחיבורים
  • דוגמה להזמנה
  • דוגמאות קוד של Storage

• Google Cloud דפדפן לדוגמה (מוגדר ל-BigQuery)

• סקירה כללית על ממשקי API וספריות

• שילוב ODBC או JDBC

המאמרים הבאים

• סקירה כללית של אחסון ב-BigQuery זמינה במאמר סקירה כללית של אחסון ב-BigQuery.
• סקירה כללית על ניתוח הנתונים ב-BigQuery
• סקירה כללית של ניהול BigQuery זמינה במאמר מבוא לניהול BigQuery.
• סקירה כללית על האבטחה ב-BigQuery זמינה במאמר סקירה כללית על אבטחת נתונים וניהול נתונים.