מבוא למקורות נתונים חיצוניים

מקורות נתונים חיצוניים מאפשרים לשלוח שאילתות על נתונים ישירות מ-BigQuery, גם אם הנתונים לא מאוחסנים ב-BigQuery. לדוגמה, אתם יכולים לנתח נתונים במסד נתונים אחר, בקבצים ב-Cloud Storage או במוצר ענן אחר בלי להעביר אותם קודם. Google Cloud

במאמר הזה נסביר איך לשלוח שאילתות לנתונים חיצוניים, כולל טבלאות BigLake, טבלאות אובייקטים, טבלאות חיצוניות ושאילתות לכמה מסדי נתונים, ונתאר תרחישים נפוצים לדוגמה.

תרחישים לדוגמה

תרחישים לדוגמה לשימוש במקורות נתונים חיצוניים:

  • לעומסי עבודה של חילוץ-טעינה-טרנספורמציה (ELT), טעינה וניקוי של הנתונים במעבר אחד וכתיבת התוצאה הנקייה באחסון של BigQuery, באמצעות שאילתת CREATE TABLE ... AS SELECT.
  • צירוף טבלאות ב-BigQuery עם נתונים שמשתנים לעיתים קרובות ממקור נתונים חיצוני. כששולחים שאילתה ישירות למקור הנתונים החיצוני, לא צריך לטעון מחדש את הנתונים לאחסון ב-BigQuery בכל פעם שהם משתנים.

טבלאות של מקורות נתונים חיצוניים

טבלאות של מקורות נתונים חיצוניים דומות לטבלאות רגילות ב-BigQuery, בכך שהן מאחסנות את המטא-נתונים והסכימה שלהן באחסון של BigQuery. עם זאת, הנתונים שלהם נמצאים במקור חיצוני.

טבלאות של מקורות נתונים חיצוניים נמצאות בתוך מערך נתונים, ואתם מנהלים אותן באותו אופן שבו אתם מנהלים טבלה רגילה ב-BigQuery. לדוגמה, אפשר לצפות במאפייני הטבלה, להגדיר אמצעי בקרת גישה וכו'. אתם יכולים לשלוח שאילתות לטבלאות האלה, וברוב המקרים גם לצרף אותן לטבלאות אחרות.

יש שלושה סוגים של טבלאות של מקורות נתונים חיצוניים:

  • טבלאות BigLake
  • טבלאות אובייקטים
  • טבלאות חיצוניות

טבלאות BigLake

טבלאות BigLake מאפשרות להריץ שאילתות על נתונים מובְנים במאגרי נתונים חיצוניים באמצעות הענקת גישה. האצלת גישה מפרידה בין הגישה לטבלת BigLake לבין הגישה למאגר הנתונים הבסיסי. חיבור חיצוני שמשויך לחשבון שירות משמש לחיבור למאגר הנתונים. מכיוון שחשבון השירות מטפל באחזור הנתונים ממאגר הנתונים, אתם צריכים לתת למשתמשים גישה רק לטבלת BigLake. כך אפשר לאכוף אבטחה מפורטת ברמת הטבלה, כולל אבטחה ברמת השורה וברמת העמודה. בטבלאות BigLake שמבוססות על Cloud Storage, אתם יכולים להשתמש גם בהסתרת מידע דינמית. למידע נוסף על פתרונות ניתוח בכמה עננים באמצעות טבלאות BigLake עם נתונים מ-Amazon S3 או מ-Blob Storage, קראו את המאמר BigQuery Omni.

למידע נוסף, קראו את המאמר מבוא לטבלאות BigLake.

טבלאות אובייקטים

טבלאות אובייקטים מאפשרות לנתח נתונים לא מובְנים ב-Cloud Storage. אתם יכולים לבצע ניתוח באמצעות פונקציות מרוחקות או להסיק מסקנות באמצעות BigQuery ML, ואז לצרף את תוצאות הפעולות האלה לשאר הנתונים המובְנים ב-BigQuery.

בדומה לטבלאות BigLake, טבלאות אובייקטים משתמשות בהקצאת גישה, שמפרידה בין הגישה לטבלת האובייקטים לבין הגישה לאובייקטים ב-Cloud Storage. חיבור חיצוני שמשויך לחשבון שירות משמש להתחברות ל-Cloud Storage, כך שצריך לתת למשתמשים גישה רק לטבלת האובייקטים. כך אפשר לאכוף אבטחה ברמת השורה ולנהל את האובייקטים שלמשתמשים יש גישה אליהם.

מידע נוסף זמין במאמר מבוא לטבלאות אובייקטים.

טבלאות חיצוניות

טבלאות חיצוניות מאפשרות לשלוח שאילתות לגבי נתונים מובְנים במאגרי נתונים חיצוניים. כדי לשלוח שאילתה לטבלה חיצונית, אתם צריכים הרשאות גם לטבלה החיצונית וגם למקור הנתונים החיצוני. לדוגמה, כדי לשלוח שאילתה לטבלה חיצונית שמשתמשת במקור נתונים ב-Cloud Storage, אתם צריכים את ההרשאות הבאות:

  • bigquery.tables.getData
  • bigquery.jobs.create
  • storage.buckets.get
  • storage.objects.get

מידע נוסף זמין במאמר מבוא לטבלאות חיצוניות.

שאילתות לכמה מסדי נתונים

שאילתות מאוחדות מאפשרות לשלוח הצהרת שאילתה למסדי נתונים של AlloyDB, ‏ Spanner או Cloud SQL, ולקבל את התוצאה כטבלה זמנית. שאילתות לכמה מסדי נתונים משתמשות ב-BigQuery Connection API כדי ליצור חיבור ל-AlloyDB, ל-Spanner או ל-Cloud SQL. בשאילתה, משתמשים בפונקציה EXTERNAL_QUERY כדי לשלוח הצהרת שאילתה למסד הנתונים החיצוני, באמצעות הניב של SQL של מסד הנתונים הזה. התוצאות מומרות לסוגי נתונים של GoogleSQL.

מידע נוסף זמין במאמר מבוא לשאילתות לכמה מסדי נתונים.

השוואה בין התכונות של מקורות נתונים חיצוניים

בטבלה הבאה מוצגת השוואה בין ההתנהגות של מקורות נתונים חיצוניים:

טבלאות BigLake טבלאות אובייקטים טבלאות חיצוניות שאילתות לכמה מסדי נתונים
שימוש בהענקת גישה כן, באמצעות חשבון שירות כן, באמצעות חשבון שירות לא כן, באמצעות חשבון משתמש במסד נתונים (Cloud SQL בלבד)
אפשר להשתמש בכמה מזהי URI כמקור כן כן כן (Cloud Storage בלבד) לא רלוונטי
מיפוי שורות השורות מייצגות את תוכן הקובץ השורות מייצגות את המטא-נתונים של הקבצים השורות מייצגות את תוכן הקובץ לא רלוונטי
אפשר לגשת אליהם באמצעות כלים אחרים לעיבוד נתונים באמצעות מחברים כן (Cloud Storage בלבד) לא כן לא רלוונטי
אפשר לצרף לטבלאות אחרות ב-BigQuery כן (Cloud Storage בלבד) כן כן כן
אפשר לגשת אליה כטבלה זמנית כן (Cloud Storage בלבד) לא כן כן
עבודה עם Amazon S3 כן לא לא לא
עבודה עם Azure Storage כן לא לא לא
עבודה עם Bigtable לא לא כן לא
איך זה עובד עם Spanner לא לא לא כן
עבודה עם Cloud SQL לא לא לא כן
מתאימות ל-Google Drive לא לא כן לא
עבודה עם Cloud Storage כן כן כן לא

המאמרים הבאים