הגדרת חיבורים עם קבצים מצורפים לרשת

‫BigQuery תומך בשאילתות מאוחדות שמאפשרות לשלוח הצהרת שאילתה למסדי נתונים חיצוניים ולקבל את התוצאה כטבלה זמנית. שאילתות מאוחדות משתמשות ב-BigQuery Connection API כדי ליצור חיבור. במסמך הזה מוסבר איך לשפר את האבטחה של החיבור הזה.

החיבור מתבצע ישירות למסד הנתונים, ולכן צריך לאפשר תנועה מ- Google Cloud למנוע מסד הנתונים. כדי לשפר את האבטחה, כדאי לאפשר רק תנועה שמגיעה מהשאילתות שלכם ב-BigQuery. אפשר להגביל את התנועה בשתי דרכים:

  • הגדרת כתובת IP סטטית שמשמשת לחיבור BigQuery והוספתה לכללי חומת האש של מקור הנתונים החיצוני.
  • ליצור VPN בין BigQuery לבין התשתית הפנימית שלכם ולהשתמש בו בשביל השאילתות.

שתי הטכניקות האלה נתמכות באמצעות קבצים מצורפים לרשת.

לפני שמתחילים

מקצים תפקידים של ניהול זהויות והרשאות גישה (IAM) שמעניקים למשתמשים את ההרשאות הדרושות לביצוע כל משימה שמופיעה במאמר הזה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להגדרת חיבור עם קבצים מצורפים לרשת, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של Compute (roles/compute.admin) בפרויקט. להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד מוגדר מראש עם ההרשאות שנדרשות להגדרת חיבור עם קבצים מצורפים לרשת. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להגדיר חיבור עם קבצים מצורפים לרשת, נדרשות ההרשאות הבאות:

  • compute.networkAttachments.get
  • compute.networkAttachments.update

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף על תפקידים והרשאות של IAM ב-BigQuery.

מגבלות

החיבורים עם קבצים מצורפים מהרשת כפופים להגבלות הבאות:

  • קבצים מצורפים לרשת נתמכים רק בחיבורים ל-SAP Datasphere.
  • באזורים רגילים, צירופי הרשת צריכים להיות באותו אזור כמו החיבור. לחיבורים באזור US שכולל מספר אזורים, קובץ הצירוף לרשת צריך להיות ממוקם באזור us-central1. לחיבורים באזור EU שכולל מספר אזורים, קובץ הצירוף לרשת צריך להיות ממוקם באזור europe-west4.
  • אחרי שיוצרים את הקובץ המצורף לרשת, אי אפשר לבצע בו שינויים. כדי להגדיר משהו בצורה חדשה, צריך ליצור מחדש את קובץ ההגדרות של הרשת.
  • אי אפשר למחוק קבצים מצורפים לרשת אלא אם היצרן (BigQuery) מוחק את המשאבים שהוקצו. כדי להתחיל את תהליך המחיקה, צריך לפנות לתמיכה של BigQuery.

יצירת צירוף רשת

כשיוצרים חיבור לאיחוד שאילתות, אפשר להשתמש בפרמטר האופציונלי network attachment, שמפנה ל-network attachment שמספק קישוריות לרשת שממנה נוצר החיבור למסד הנתונים. אפשר ליצור חיבור לרשת על ידי הגדרה של כתובת IP סטטית או על ידי יצירה של VPN. לגבי כל אחת מהאפשרויות, מבצעים את הפעולות הבאות:

  1. אם עדיין אין לכם רשת VPC, צריך ליצור רשת VPC ותת-רשת.

  2. אם רוצים ליצור חיבור לרשת על ידי הגדרת כתובת IP סטטית, צריך ליצור שער Cloud NAT עם כתובת IP סטטית באמצעות הרשת, האזור ורשת המשנה שיצרתם. אם רוצים ליצור חיבור לרשת באמצעות יצירת VPN, צריך ליצור VPN שמחובר לרשת הפרטית.

  3. יוצרים קובץ מצורף לרשת באמצעות הרשת, האזור ותת-הרשת שיצרתם.

  4. אופציונלי: בהתאם למדיניות האבטחה של הארגון, יכול להיות שתצטרכו להגדיר את חומת האש Google Cloud כדי לאפשר תעבורת נתונים יוצאת על ידי יצירת כלל חומת אש עם ההגדרות הבאות:

    • מגדירים את היעדים לכל המופעים ברשת.
    • מגדירים את טווח כתובות IPv4 של היעד לטווח כתובות ה-IP המלא.
    • מגדירים את Specified protocols and ports (פרוטוקולים ויציאות שצוינו) ליציאה שבה נעשה שימוש במסד הנתונים.

  5. מגדירים את חומת האש הפנימית כך שתאפשר תעבורת נתונים נכנסת מכתובת ה-IP הסטטית שיצרתם. התהליך הזה משתנה בהתאם למקור הנתונים.

  6. יוצרים חיבור וכוללים את השם של קובץ הרשת שנוצר.

  7. מריצים שאילתה לכמה מסדי נתונים כדי לסנכרן את הפרויקט עם קובץ הרשת.

החיבור שלכם מוגדר עכשיו עם צירוף לרשת, ואתם יכולים להריץ שאילתות מאוחדות.

תמחור

המאמרים הבאים