סקירה כללית על BigQuery
BigQuery היא פלטפורמת נתונים מנוהלת לחלוטין שמוכנה ל-AI, שעוזרת לכם לנהל ולנתח את הנתונים. הארכיטקטורה של BigQuery היא בלי שרת (serverless), כך שאפשר להשתמש בשפות כמו SQL ו-Python כדי לענות על השאלות החשובות ביותר של הארגון, בלי לנהל את התשתית.
מנתחי נתונים, מהנדסי מערכות מידע, מנהלי מחסני נתונים ומדעני נתונים יכולים להשתמש ב-BigQuery בתרחישים הבאים:
- תהליכי עבודה בעזרת AI: אתם יכולים להשתמש ב-AI גנרטיבי, בחיפוש וקטורי ובתכונות העזרה של Gemini כדי לחקור, לשנות ולשלב מודלים גדולים של שפה (LLM) בתהליכי העבודה של הנתונים.
- למידת מכונה וחיזוי אנליטי: פיתוח, אימון ופריסה של מודלים על הנתונים שלכם באמצעות SQL או Python.
- בינה עסקית וניתוח אד-הוק: שאילתות על טרה-בייטים תוך שניות ועל פטה-בייטים תוך דקות, כדי לקבל החלטות עסקיות קריטיות.
- ניתוח נתונים גיאו-מרחביים: ניתוח והצגה חזותית של נתונים מבוססי-מיקום באמצעות מערכות מידע גיאוגרפי (GIS).
- משילות מידע וחיפוש סמנטי: גילוי, ניהול ואימות של נתונים ונכסי AI באמצעות תכונות מובנות שמבוססות על Knowledge Catalog.
- הטמעת נתונים רציפה: הזרמה של נתונים מובְנים ובלתי מובְנים בזמן אמת, עם תמיכה בפורמטים פתוחים של טבלאות כמו Apache Iceberg, Delta ו-Apache Hudi.
ארכיטקטורת BigQuery
הארכיטקטורה של BigQuery מורכבת משני חלקים: שכבת אחסון שקולטת, מאחסנת ומבצעת אופטימיזציה של נתונים, ושכבת מחשוב שמספקת יכולות ניתוח. שכבות המחשוב והאחסון האלה פועלות ביעילות ובאופן עצמאי, הודות לרשת של Google בקנה מידה של פטה-ביט שמאפשרת את התקשורת הנדרשת ביניהן.
במסדי נתונים מדור קודם, בדרך כלל צריך לשתף משאבים בין פעולות קריאה וכתיבה לבין פעולות ניתוח. זה יכול לגרום להתנגשויות בין משאבים ולהאט את השאילתות בזמן שהנתונים נכתבים באחסון או נקראים ממנו. מאגרי משאבים משותפים יכולים להיות עמוסים עוד יותר כשצריך משאבים למשימות של ניהול מסדי נתונים, כמו הקצאה או ביטול של הרשאות. ההפרדה בין שכבות המחשוב והאחסון ב-BigQuery מאפשרת לכל שכבה להקצות משאבים באופן דינמי בלי להשפיע על הביצועים או על הזמינות של השכבה השנייה.
ההפרדה הזו מאפשרת ל-BigQuery לחדש מהר יותר, כי אפשר לפרוס שיפורים באחסון ובמחשוב בנפרד, בלי זמן השבתה או השפעה שלילית על ביצועי המערכת. הוא גם חיוני כדי להציע מחסן נתונים מנוהל לחלוטין בלי שרת (serverless), שבו צוות ההנדסה של BigQuery מטפל בעדכונים ובתחזוקה. כתוצאה מכך, אין צורך להקצות משאבים או לשנות את קנה המידה שלהם באופן ידני, ואתם יכולים להתמקד בהפקת ערך במקום במשימות המסורתיות של ניהול מסדי נתונים.
הממשקים של BigQuery כוללים את ממשק המסוף של Google Cloud ואת כלי שורת הפקודה של BigQuery. מפתחים ומדעני נתונים יכולים להשתמש בספריות לקוח עם תכנות מוכר, כולל Python, Java, JavaScript ו-Go, וגם ב-API בארכיטקטורת REST וב-RPC API של BigQuery כדי לשנות ולנהל נתונים. מנהלי ההתקנים של ODBC ו-JDBC מספקים אינטראקציה עם אפליקציות קיימות, כולל כלים ושירותים של צד שלישי.
איך מתחילים לעבוד עם BigQuery
אתם יכולים להתחיל להשתמש ב-BigQuery תוך כמה דקות. כדי להתחיל לטעון נתונים ולהריץ שאילתות, אתם יכולים להשתמש ב-BigQuery במסגרת מכסת השימוש בחינם או בארגז החול ללא עלות.
- ארגז החול של BigQuery: התחילו לעבוד בארגז החול של BigQuery, ללא סיכון וללא עלות.
- מערכי נתונים ציבוריים: התנסות בביצועים של BigQuery באמצעות חקירת נתונים גדולים מהעולם האמיתי מתוכנית מערכי הנתונים הציבוריים.
- Google Cloud מדריך למתחילים במסוף: היכרות עם היכולות של BigQuery Studio.
היכרות עם BigQuery
התשתית ללא שרת (serverless) של BigQuery מאפשרת לכם להתמקד בנתונים במקום בניהול המשאבים. BigQuery משלב מחסן נתונים מבוסס-ענן עם כלי ניתוח מתקדמים.
אחסון BigQuery
הנתונים ב-BigQuery מאוחסנים בפורמט של אחסון עמודות, שמותאם לשאילתות של ניתוח נתונים. ב-BigQuery הנתונים מוצגים בטבלאות, בשורות ובעמודות, ויש תמיכה מלאה בסמנטיקה של טרנזקציות במסד נתונים (ACID). האחסון ב-BigQuery משוכפל באופן אוטומטי בכמה מיקומים כדי לספק זמינות גבוהה.
- מידע על דפוסים נפוצים לארגון משאבי BigQuery במחסן הנתונים וב-data marts.
- מידע ולמידה על מערכי נתונים, מאגר ברמה העליונה של טבלאות ותצוגות ב-BigQuery.
- שירות העברת הנתונים ל-BigQuery מאפשר להטמיע נתונים באופן אוטומטי.
- טעינת נתונים ל-BigQuery באמצעות:
- העברת נתונים בסטרימינג באמצעות Storage Write API (gRPC).
- טעינת נתונים באצווה מקבצים מקומיים או מ-Cloud Storage, בפורמטים שכוללים את: Avro, Parquet, ORC, CSV, JSON, Datastoreו-Firestore.
למידע נוסף, קראו את הסקירה הכללית על האחסון ב-BigQuery.
ניתוח נתונים ב-BigQuery
ניתוח תיאורי וניתוח מרשמי משמשים לבינה עסקית, ניתוח אד-הוק, ניתוח נתונים גיאוגרפיים ולמידת מכונה. אתם יכולים להריץ שאילתות על נתונים שמאוחסנים ב-BigQuery או להריץ שאילתות על נתונים במקום שבו הם מאוחסנים, באמצעות טבלאות חיצוניות או שאילתות לכמה מאגרי נתונים, כולל Cloud Storage, Bigtable, Spanner או Google Sheets שמאוחסנים ב-Google Drive.
- שאילתות SQL סטנדרטיות בתקן ANSI (תמיכה ב-ISO/IEC 9075), כולל תמיכה בצירופים, בשדות מקוננים ובשדות חוזרים, בפונקציות של ניתוח וצבירה, בשאילתות עם כמה הצהרות ובמגוון פונקציות מרחביות עם ניתוח נתונים גיאו-מרחביים – מערכות מידע גיאוגרפי.
- API בשפת Python שתואם ל-Pandas, שסופק על ידי BigQuery DataFrames.
- ליצור תצוגות כדי לשתף את הניתוח.
- תמיכה בכלי בינה עסקית, כולל BI Engine עם Data Studio, Looker, Google Sheets וכלים של צד שלישי כמו Tableau ו-Power BI.
- BigQuery ML מספק למידת מכונה וניתוח חזוי.
- ב-BigQuery Studio יש תכונות כמו מסמכי Notebook של Python וניהול גרסאות של מסמכי Notebook ושל שאילתות שמורות. התכונות האלה מקלות על השלמת תהליכי העבודה של ניתוח הנתונים ולמידת המכונה (ML) ב-BigQuery.
- להריץ שאילתות על נתונים מחוץ ל-BigQuery באמצעות שאילתות מאוחדות וטבלאות חיצוניות.
למידע נוסף, קראו את הסקירה הכללית על ניתוח הנתונים ב-BigQuery.
ניהול BigQuery
ב-BigQuery אפשר לנהל באופן מרוכז את משאבי הנתונים והמחשוב, ובעזרת ניהול זהויות והרשאות גישה (IAM) אפשר לאבטח את המשאבים האלה באמצעות מודל הגישה שמשמש בכל Google Cloud. Google Cloud השיטות המומלצות לאבטחה מספקות גישה יציבה וגמישה שיכולה לכלול אבטחה היקפית או גישה מורכבת ומפורטת יותר של הגנה לעומק.
- מבוא לאבטחת מידע ולמשילות מידע – כדי להבין מהי משילות מידע ואילו אמצעי בקרה נדרשים כדי לאבטח את המשאבים של BigQuery.
- משימות הן פעולות ש-BigQuery מריץ בשבילכם כדי לטעון, לייצא, להעתיק או לשלוח שאילתות לגבי נתונים.
- הזמנות מאפשרות לכם לעבור בין תמחור על פי דרישה לתמחור מבוסס-קיבולת.
למידע נוסף, קראו את המאמר מבוא לניהול BigQuery.
משאבים של BigQuery
מקורות מידע על BigQuery:
- בנתוני הגרסה מופיעים יומני שינויים של תכונות, שינויים והוצאות משימוש.
- תמחור לניתוח ולאחסון. ראו גם: התמחור של BigQuery ML, BI Engine ו-שירות העברת נתונים.
- מיקומים מגדירים איפה יוצרים ומאחסנים מערכי נתונים (מיקומים אזוריים ומיקומים במספר אזורים).
- ב-Stack Overflow יש קהילה פעילה של מפתחים ומנתחי נתונים שעובדים עם BigQuery.
- התמיכה של BigQuery מספקת עזרה בנושא BigQuery.
- בספר Google BigQuery: The Definitive Guide: Data Warehousing, Analytics, and Machine Learning at Scale, מאת Valliappa Lakshmanan ו-Jordan Tigani, מוסבר איך BigQuery פועל ומוצג מדריך מקיף לשימוש בשירות.
ממשקי API, כלים וחומרי עזר
חומרי עזר למפתחים ולאנליסטים של BigQuery:
- במאמרים BigQuery API וספריות לקוח יש סקירות כלליות של התכונות של BigQuery והשימוש בהן.
- תחביר של שאילתות SQL לפרטים על השימוש ב-GoogleSQL.
- מאמרי העזרה של BigQuery DataFrames API, כדי לקבל פרטים על השימוש ב-API בשפת Python שתואם ל-pandas.
- דוגמאות הקוד של BigQuery כוללות מאות קטעי קוד לספריות לקוח ב-C#, Go, Java, Node.js, Python ו-Ruby. אפשר גם לעיין בדפדפן הדוגמאות.
- DML, DDL, ותחביר של פונקציות בהגדרת משתמש (UDF) מאפשרים לנהל ולשנות את הנתונים ב-BigQuery.
- מאמרי העזרה של כלי שורת הפקודה של BigQuery מתעדים את התחביר, הפקודות, הדגלים והארגומנטים של ממשק ה-CLI של
bq. - שילוב ODBC או JDBC: חיבור BigQuery לתשתית ולכלים הקיימים.
התכונות של Gemini ב-BigQuery
Gemini ב-BigQuery הוא חלק מחבילת המוצרים Gemini for Google Cloud, שכוללת עוזר דיגיטלי מבוסס-AI שיעזור לכם לעבוד עם הנתונים.
Gemini ב-BigQuery מספק עזרה מבוססת-AI כדי:
- איך לחקור ולהבין את הנתונים בעזרת תובנות מנתונים התכונה "תובנות מנתונים" מאפשרת לכם לזהות דפוסים ולבצע ניתוח סטטיסטי באופן אוטומטי ואינטואיטיבי, באמצעות שאילתות תובנה שנוצרות מהמטא-נתונים של הטבלאות שלכם. התכונה הזו שימושית במיוחד כשמתמודדים עם האתגרים של הפעלה במצב התחלתי (cold start) בשלבים המוקדמים של חקירת הנתונים. מידע נוסף זמין במאמר יצירת תובנות מנתונים ב-BigQuery.
- צ'אט עם הנתונים שלכם באמצעות ניתוח נתונים בשיחה. ניתוח נתונים באמצעות שיחה מאפשר לכם לנהל שיחות בשפה טבעית עם הנתונים שלכם. אתם יכולים ליצור סוכני נתונים שמוגדרים עם מטא-נתונים, הוראות, מונחים במילון ושאילתות מאומתות בהתאמה אישית כדי לקבוע לוגיקה עסקית. אפשר גם להתחיל שיחות ישירות עם מקורות נתונים, כולל טבלאות, תצוגות, תרשימים וטבלאות Lakehouse. מידע נוסף זמין במאמר סקירה כללית על ניתוח נתונים בשיחה.
- חיפוש, שינוי, שליחת שאילתות והצגה חזותית של נתונים באמצעות קנבס הנתונים של BigQuery. אתם יכולים להשתמש בשפה טבעית עם Gemini ב-BigQuery כדי למצוא, לצרף ולשלוח שאילתות לנכסי טבלאות, להמחיש תוצאות ולשתף פעולה בצורה חלקה עם אחרים לאורך כל התהליך. מידע נוסף זמין במאמר ניתוח באמצעות קנבס נתונים.
- לקבל עזרה בניתוח נתונים ב-SQL וב-Python. אתם יכולים להשתמש ב-Gemini ב-BigQuery כדי ליצור או להציע קוד ב-SQL או ב-Python, ולהסביר שאילתת SQL קיימת. אתם יכולים גם להשתמש בשאילתות בשפה טבעית כדי להתחיל בניתוח הנתונים.
- עזרה בכתיבת קוד SQL
- עזרה בתכנות Python
- הכנת נתונים לניתוח. הכנת הנתונים ב-BigQuery מספקת המלצות טרנספורמציה מבוססות-AI שמותאמות להקשר, כדי לנקות את הנתונים לקראת הניתוח. מידע נוסף זמין במאמר הכנת נתונים באמצעות Gemini.
- יצירה ושינוי של צינורות עיבוד נתונים באמצעות Data Engineering Agent. הסוכן להנדסת נתונים עוזר לכם ליצור, לשנות ולפתור בעיות ב-Data pipelines באמצעות הנחיות בשפה טבעית. בנוסף ללוגיקה של SQL, הנציג יוצר באופן יזום מטא-נתונים סמנטיים – כמו תיאורי שדות, סקירות כלליות של טבלאות והיבטים גנריים כמו מידע על המערכת ועל הסוג – כדי להבטיח שאפשר יהיה לגלות את נכסי הנתונים שלכם מרגע היצירה. איך משתמשים בסוכן להנדסת נתונים כדי ליצור ולשנות צינורות עיבוד נתונים
- התאמה אישית של תרגומי SQL באמצעות כללי תרגום (תצוגה מקדימה) יצירת כללי תרגום משופרים באמצעות Gemini כדי להתאים אישית את תרגומי ה-SQL כשמשתמשים במתרגם SQL אינטראקטיבי. אתם יכולים לתאר את השינויים בפלט של תרגום ה-SQL באמצעות הנחיות בשפה טבעית, או לציין תבניות SQL שצריך למצוא ולהחליף. מידע נוסף זמין במאמר יצירת כלל תרגום.
איך מגדירים את Gemini ב-BigQuery
תפקידים ומשאבים ב-BigQuery
BigQuery נותן מענה לצרכים של מומחי נתונים בתפקידים ובאחריות הבאים.
מנתח/ת נתונים
הנחיות למשימות שיעזרו לכם אם תצטרכו לבצע את הפעולות הבאות:
- להריץ שאילתות על נתונים ב-BigQuery באמצעות שאילתות אינטראקטיביות או באצווה, באמצעות תחביר של שאילתות SQL
- לנתח ולשנות נתונים ב-BigQuery באמצעות BigQuery DataFrames API שתואם ל-pandas.
- להריץ שאילתות על נתונים באמצעות פונקציות, אופרטורים וביטויים מותנים ב-SQL
- להשתמש בכלים לניתוח נתונים ב-BigQuery ולהצגה חזותית שלהם, כולל: Looker, Data Studio ו-Google Sheets.
שימוש בניתוח נתונים גיאו-מרחביים כדי לנתח נתונים גיאו-מרחביים ולהציג אותם באמצעות מערכות המידע הגיאוגרפי של BigQuery.
אופטימיזציה של ביצועי השאילתות באמצעות:
- טבלאות מחולקות למחיצות: צמצום טבלאות גדולות על סמך טווחי זמן או מספרים שלמים.
- תצוגות מהותיות: הגדרת תצוגות במטמון כדי לבצע אופטימיזציה של שאילתות או לספק תוצאות קבועות.
- BI Engine: שירות ניתוח נתונים מהיר בזיכרון של BigQuery.
מנהל נתונים
הנחיות למשימות שיעזרו לכם אם תצטרכו לבצע את הפעולות הבאות:
- ניהול העלויות באמצעות הזמנות כדי לאזן בין תמחור על פי דרישה לבין תמחור מבוסס-קיבולת.
- להבין את אבטחת המידע ומשילות המידע כדי לאבטח את הנתונים לפי מערך נתונים, טבלה, עמודה, שורה או תצוגה
- גיבוי נתונים באמצעות קובצי Snapshot של טבלאות כדי לשמור את התוכן של טבלה בנקודת זמן מסוימת.
- צפייה ב-INFORMATION_SCHEMA של BigQuery כדי להבין את המטא-נתונים של מערכי נתונים, משימות, בקרת גישה, הזמנות, טבלאות ועוד.
- שימוש במשימות כדי ש-BigQuery יטען, ייצא, יעתיק או יריץ שאילתות על נתונים בשמכם.
- מעקב אחרי יומנים ומשאבים כדי להבין את BigQuery ואת עומסי העבודה.
למידע נוסף, קראו את המאמר מבוא לניהול BigQuery.
כדי לראות סיור של תכונות ניהול הנתונים של BigQuery ישירות במסוף Google Cloud , לוחצים על Take the tour.
מדען נתונים
הנחיות למשימות שיעזרו לכם להשתמש בלמידת המכונה של BigQuery ML כדי לבצע את הפעולות הבאות:
- הבנת התהליך המלא שעובר המשתמש במודלים של למידת מכונה
- ניהול בקרת הגישה ל-BigQuery ML
- ליצור ולאמן מודלים של BigQuery ML, כולל:
- תחזית רגרסיה לינארית
- סיווגים של רגרסיה לוגיסטית בינארית ולוגיסטית מרובת-מחלקות
- אשכולות K-means לפילוח נתונים
- חיזוי סדרות זמנים באמצעות מודלים של ARIMA+
מפתחי נתונים
הנחיות למשימות שיעזרו לכם אם תצטרכו לבצע את הפעולות הבאות:
- טעינת נתונים ל-BigQuery באמצעות:
- טעינת נתונים באצווה בפורמטים Avro, Parquet, ORC, CSV, JSON , Datastore ו-Firestore
- שירות העברת נתונים ל-BigQuery
- BigQuery Storage Write API (gRPC)
שימוש בספריית דוגמאות הקוד, כולל:
Google Cloud דפדפן לדוגמה (מוגדר ל-BigQuery)
המאמרים הבאים
- סקירה כללית של האחסון ב-BigQuery
- סקירה כללית על ניתוח הנתונים ב-BigQuery
- לסקירה כללית על ניהול BigQuery, קראו את המאמר מבוא לניהול BigQuery.
- סקירה כללית על אבטחת מידע ומשילות ב-BigQuery