מבוא לחיבורים
ב-BigQuery אפשר ליצור חיבורים חיצוניים כדי לבצע שאילתות על נתונים שמאוחסנים מחוץ ל-BigQuery בשירותים כמו Cloud Storage או Spanner, או במקורות של צד שלישי כמו Amazon Web Services (AWS) או Microsoft Azure. Google Cloud החיבורים החיצוניים האלה משתמשים ב-BigQuery Connection API.
לדוגמה, נניח שאתם מאחסנים פרטים על הזמנות של לקוחות ב-Cloud SQL ונתונים על מכירות ב-BigQuery, ואתם רוצים לצרף את שתי הטבלאות בשאילתה אחת. אפשר ליצור חיבור ל-Cloud SQL למסד הנתונים החיצוני באמצעות BigQuery Connection API. כשמשתמשים בחיבורים, אף פעם לא שולחים את פרטי הכניסה למסד הנתונים כטקסט ללא הצפנה.
החיבור מוצפן ונשמר באופן מאובטח בשירות החיבורים של BigQuery. אתם יכולים לתת למשתמשים גישה לחיבורים באמצעות הקצאת תפקידים של ניהול זהויות והרשאות גישה (IAM) ב-BigQuery.
סוגי חיבורים
BigQuery מספק סוגים שונים של חיבורים למקורות הנתונים החיצוניים הבאים:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Google Cloud משאבים כמו מודלים מרוחקים של Vertex AI, פונקציות מרוחקות ו-BigLake
- Spanner
- Cloud SQL
- AlloyDB ל-PostgreSQL
- SAP Datasphere
חיבורים ל-Amazon S3
כדי ליצור חיבור ל-Amazon S3 באמצעות BigQuery Omni, אפשר לעיין במאמר בנושא חיבור ל-Amazon S3.
אחרי שיש לכם חיבור קיים ל-Amazon S3, אתם יכולים לבצע את הפעולות הבאות:
- יצירת טבלאות חיצוניות ב-Amazon S3
- הפעלת שאילתה על הנתונים ב-Amazon S3
- ייצוא תוצאות ל-Amazon S3
- יצירת מערכי נתונים על סמך מסדי נתונים של AWS Glue.
חיבורים ל-Spark
נהלים מאוחסנים ל-Spark מאפשרים להריץ נהלים מאוחסנים שנכתבו ב-Python באמצעות BigQuery. חיבור Spark מאפשר להתחבר ל-Serverless for Apache Spark ולהריץ את הפרוצדורות המאוחסנות של Spark.
הוראות ליצירת הקישור מופיעות במאמר יצירת קישורים.
חיבורים ל-Blob Storage
ליצירת חיבור ל-Blob Storage באמצעות BigQuery Omni, ראו חיבור ל-Blob Storage.
אחרי שיש לכם חיבור קיים ל-Blob Storage, אתם יכולים:
- יצירת טבלאות חיצוניות על סמך Blob Storage
- שליחת שאילתות על הנתונים ב-Blob Storage
- ייצוא תוצאות ל-Blob Storage
Google Cloud חיבורים למשאבים
Google Cloud חיבור משאבים הוא חיבור שמאשר גישה למשאבים אחרים Google Cloud, כמו מודלים מרוחקים של Vertex AI, פונקציות מרוחקות ו-BigLake. פרטים על הגדרת Google Cloud חיבור משאבים זמינים במאמר יצירה והגדרה של חיבור משאבים ב-Cloud.
אחרי שיש לכם חיבור קיים Google Cloud למשאב, אתם יכולים ליצור איתו את האובייקטים הבאים ב-BigQuery:
- מודלים מרוחקים. מידע נוסף זמין במאמרים הצהרת CREATE MODEL למודלים מרוחקים במודלים גדולים של שפה (LLM), הצהרת CREATE MODEL למודלים מרוחקים בשירותי AI של Cloud והצהרת CREATE MODEL למודלים מרוחקים במודלים שמארחים ב-Vertex AI.
- פונקציות מרחוק. פונקציות מרוחקות ב-BigQuery מאפשרות לכם להטמיע פונקציות בכל השפות הנתמכות בפונקציות Cloud Run או ב-Cloud Run. חיבור לפונקציה מרוחקת מאפשר לכם להתחבר לפונקציות Cloud Run או ל-Cloud Run ולהפעיל את הפונקציות האלה. כדי ליצור חיבור לפונקציה מרוחקת ב-BigQuery, אפשר לעיין במאמר בנושא יצירת חיבור.
- טבלאות BigLake. חיבורי BigLake מחברים טבלאות BigLake למקורות נתונים חיצוניים, תוך שמירה על בקרת גישה מדויקת ב-BigQuery ועל אבטחה של נתונים מובְנים ולא מובְנים ב-Cloud Storage.
- טבלאות של אובייקטים. מידע נוסף זמין במאמר מבוא לטבלאות אובייקטים.
חיבורים ל-Spanner
כדי ליצור חיבור Spanner, אפשר לעיין במאמר חיבור ל-Spanner.
אחרי שיש לכם חיבור קיים ל-Spanner, אתם יכולים להריץ שאילתות מאוחדות.
חיבורים ל-Cloud SQL
ליצירת חיבור ל-Cloud SQL, ראו התחברות ל-Cloud SQL.
אחרי שיש לכם חיבור קיים ל-Cloud SQL, אתם יכולים להריץ שאילתות מאוחדות.
חיבורים ל-AlloyDB
כדי ליצור חיבור ל-AlloyDB, אפשר לעיין במאמר חיבור ל-AlloyDB ל-PostgreSQL.
אחרי שיש לכם חיבור קיים ל-AlloyDB, אתם יכולים להריץ שאילתות מאוחדות.
חיבורים ל-SAP Datasphere
כדי ליצור חיבור ל-SAP Datasphere, אפשר לעיין במאמר בנושא חיבור ל-SAP Datasphere.
אחרי שיש לכם חיבור קיים ל-SAP Datasphere, תוכלו להריץ שאילתות מאוחדות.
יומני ביקורת
יומני BigQuery מתעדים את השימוש בחיבורים ואת בקשות הניהול שלהם. מידע נוסף זמין במאמר סקירה כללית של יומני ביקורת ב-BigQuery.
המאמרים הבאים
- איך מנהלים את החיבורים
- מידע נוסף על חיבורים שמוגדרים כברירת מחדל בפרויקט
- איך מנתחים טבלאות אובייקטים באמצעות פונקציות מרוחקות
- איך שולחים שאילתות לנתונים מאוחסנים
- שאילתת נתונים שמאוחסנים ב-Amazon S3.
- שליחת שאילתות לנתונים שמאוחסנים ב-Blob Storage.
- שליחת שאילתות על נתונים מובנים שמאוחסנים ב-Cloud Storage.
- שליחת שאילתות על נתונים לא מובנים שמאוחסנים ב-Cloud Storage.
- שליחת שאילתות לנתונים שמאוחסנים ב-Spanner.
- שליחת שאילתות לנתונים שמאוחסנים ב-Cloud SQL.
- שליחת שאילתות לנתונים שמאוחסנים ב-AlloyDB.
- הרצת שאילתות על נתונים באמצעות פונקציות מרוחקות.
- שליחת שאילתות לנתונים לא מובְנים באמצעות פונקציות מרוחקות.
- שליחת שאילתות על נתונים באמצעות פרוצדורות מאוחסנות ל-Apache Spark.
- מידע נוסף על טבלאות חיצוניות