הגדרת חיבור מבודד להעברות מ-Snowflake
במדריך הזה נסביר איך להגדיר קישוריות פרטית כדי ליצור העברות נתונים פרטיות מ-Snowflake ל-BigQuery. העברות נתונים פרטיות מאפשרות לכם להעביר נתונים ממקור אחד לאחר, והכול בתוך רשת פרטית. כך אתם יכולים להפחית את סיכוני האבטחה שקשורים להעברת נתונים דרך האינטרנט הציבורי.
בקטעים הבאים מוסבר איך להגדיר קישוריות פרטית לפני שיוצרים העברה מ-Snowflake.
אפשר לבצע העברות פרטיות במכונות של Snowflake שמתארחות ב-Amazon Web Services (AWS), ב-Microsoft Azure וב- Google Cloud.

יצירת קישור פרטי ל-Snowflake
יוצרים קישור פרטי שמחבר את חשבון Snowflake לספק שירותי הענן. למידע נוסף, בוחרים באחת מהאפשרויות הבאות:
AWS
מגדירים את AWS PrivateLink כדי לקשר את חשבון Snowflake לחשבון AWS. חשבון AWS צריך להכיל את קטגוריית ה-staging של Amazon S3 שנדרשת להעברה מ-Snowflake.
Azure
מגדירים את Azure Private Link כדי לחבר את Azure Virtual Network (VNet) ל-Snowflake VNet ב-Azure. חשבון Azure צריך להכיל את קטגוריית ה-Blob הנדרשת להעברה מ-Snowflake.
Google Cloud
מגדירים את Google Cloud Private Service Connect כדי לחבר את רשת המשנה של הענן הווירטואלי הפרטי (VPC) לחשבון Snowflake שמתארח ב- Google Cloud.Google Cloud צריך קטגוריית Cloud Storage זמנית שנדרשת להעברה מ-Snowflake.
הגדרת Cross-Cloud Interconnect או HA VPN
מגדירים Cross-Cloud Interconnect או HA VPN מ-AWS או מ-Azure. לא צריך לבצע את השלב הזה בחשבונות Snowflake שמתארחים ב-Google Cloud.
AWS
רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, קראו את המאמר יצירת חיבורי HA VPN בין Google Cloud ל-AWS.
חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי שירותי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור קצר. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, קראו את המאמר התחברות ל-AWS.
Azure
רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, קראו את המאמר יצירת חיבורי HA VPN בין Google Cloud ל-Azure.
חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי שירותי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור קצר. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, קראו את המאמר התחברות ל-Azure.
יצירת VM של שרת proxy
כדי להשלים חיבור פרטי, נדרש VM של שרת proxy כדי להשלים את החיבור בין מקורות הנתונים בלי שהנתונים יגיעו לאינטרנט הציבורי. השלב הזה נדרש למכונות Snowflake שמתארחות ב-AWS, ב-Azure או ב- Google Cloud.
כדי ליצור ולהגדיר מכונה וירטואלית של שרת proxy להעברה פרטית של Snowflake:
- יוצרים מכונה וירטואלית אחת או יותר של Compute Engine ברשת ה-VPC של הצרכן.
- מורידים תוכנת שרת proxy ל-TCP, כמו HAProxy או Nginx, ומגדירים את הפרטים הבאים:
- מציינים יציאה. לדוגמה,
443. - מעבירים את כל תנועת ה-TCP הנכנסת לשם המארח וליציאה הפרטיים במכונה של Snowflake.
- מציינים יציאה. לדוגמה,
- מגדירים את המכונות הווירטואליות כך שיפתרו את שם המארח הפרטי של Snowflake באמצעות ה-DNS שהוגדר ברשת ה-VPC של הצרכן.
יצירת מאזן עומסים פנימי להעברת סיגנל ללא שינוי
מגדירים מאזן עומסים פנימי להעברת סיגנל ללא שינוי למישור הבקרה:
- קיבוץ של המכונות הווירטואליות של שרתי ה-proxy לקבוצות מופעי מכונה מנוהלים (MIG).
- הגדרת מאזן עומסי רשת פנימי להעברת סיגנל ללא שינוי עם קבוצות של מכונות VM בקצה העורפי.
יצירת קובץ מצורף לשירות
משתמשים ב-Private Service Connect כדי ליצור חיבור לרשת ולפרסם את השירות. השלב הזה נדרש למכונות Snowflake שמתארחות ב-AWS, ב-Azure או ב- Google Cloud.
החיבור לשירות צריך להיות באותו אזור שבו נמצא מערך הנתונים ב-BigQuery.
אם השירות שלכם משתמש באישור מפורש (connection-preference מוגדר כ-ACCEPT_MANUAL), חשבון השירות שמשמש להעברת הנתונים הפרטיים ב-Snowflake צריך לכלול את הרשאות ה-IAM הבאות:
compute.serviceAttachments.getcompute.serviceAttachments.updatecompute.regionOperations.get
אחרי שיוצרים את צירוף השירות, צריך לשים לב ל-URI של צירוף השירות. תצטרכו את ה-URI הזה כשתצרו את הגדרת ההעברה של Snowflake.
ליצור נקודות קצה
יוצרים נקודת קצה בחשבון AWS או Azure. לא צריך לבצע את השלב הזה בחשבונות Snowflake שמתארחים ב-Google Cloud.
AWS
ב-AWS, יוצרים נקודת קצה של VPC שמתחברת ל-Amazon S3. מידע נוסף זמין במאמר Access an AWS service using an interface VPC endpoint.
Azure
מגדירים נקודת קצה פרטית בחשבון האחסון ב-Azure. מידע נוסף זמין במאמר שימוש בנקודות קצה פרטיות ב-Azure Storage.
כדי להשתמש ב-Storage Transfer Service צריך את נקודת הקצה (endpoint) *.blob.core.windows.net. אין תמיכה בנקודת הקצה (endpoint) *.dfs.core.windows.net.
אחרי שיוצרים את נקודת הקצה, צריך לשים לב לכתובת ה-IP שלה. בקטע הבא תצטרכו לציין את כתובת ה-IP כשתיצרו את מאזן העומסים.
יצירת מאזן עומסים אזורי בשרת proxy
ב- Google Cloud, מגדירים מאזן עומסי רשת אזורי פנימי לשרת proxy עם קישוריות היברידית. כך מקבלים כתובת IP פנימית שמוגבלת ללקוחות שפועלים באותה רשת VPC כמו מאזן העומסים, ומנתבת את התנועה לנקודות הקצה של S3 VPC או לנקודות הקצה הפרטיות של Azure Storage שיצרתם בקטע הקודם.
צריך ליצור את מאזן העומסים באותו פרויקט ורשת VPC כמו הצירוף ל-VLAN שמתממשק עם Cloud Interconnect. החיבור עצמו יכול להיות בפרויקט אחר באותו ארגון, אבל הקישור חייב להיות באותו VPC ובאותו אזור כמו מאזן העומסים.
כשמגיעים לשלבים שמסומנים בתווית הוספת נקודות קצה ל-NEG של הקישוריות ההיברידית, מציינים את נקודת הקצה של S3 VPC או את כתובת ה-IP של נקודת הקצה הפרטית של Azure Storage.
שימו לב לכתובת ה-IP ולמספר היציאה של ממשק ה-NLB, כי תצטרכו לציין אותם בקטע הבא.
אימות החיבור
לפני שממשיכים, מומלץ לוודא שמאזן העומסים יכול להתחבר לנקודת הקצה של האחסון המרוחק.
כדי לעשות את זה:
- יוצרים מכונה וירטואלית ב-Compute Engine באותה רשת VPC שבה נמצא מאזן העומסים.
ב-VM, משתמשים ב-
curlכדי לבדוק את הקישוריות לכתובת ה-IP וליציאה של מאזן העומסים:curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAMEמחליפים את מה שכתוב בשדות הבאים:
- HOSTNAME הוא שם המארח של ספק האחסון במקור.
- ב-AWS S3, משתמשים בנקודת קצה ל-API של S3 לאזור של הקטגוריה, לדוגמה
s3.us-west-1.amazonaws.com. - ב-Azure Storage, משתמשים בנקודת הקצה של ה-blob בחשבון האחסון, לדוגמה
mystorageaccount.blob.core.windows.net.
- ב-AWS S3, משתמשים בנקודת קצה ל-API של S3 לאזור של הקטגוריה, לדוגמה
- PORT היא היציאה שהגדרתם בכלל ההעברה של מאזן העומסים, בדרך כלל
443. - LOAD_BALANCER_IP היא כתובת ה-IP של ממשק הקצה של מאזן העומסים.
- HOSTNAME הוא שם המארח של ספק האחסון במקור.
תגובה מנקודת הקצה המרוחקת, אפילו שגיאה, מציינת שהקישוריות תקינה. אם החיבור נכשל בגלל זמן קצוב לתפוגה, סימן שיש הגדרה שגויה ברשת שצריך לתקן לפני שממשיכים.
רישום ה-NLB
רושמים את ה-NLB ב-Service Directory. BigQuery משתמש ב-Service Directory כדי לזהות את הכתובת של מאזן העומסים ולהתחבר אליו ישירות.
פועלים לפי ההוראות לרישום מאזן עומסים פנימי. משתמשים בכתובת ה-IP וביציאה של מאזן העומסים שיצרתם כשציינתם את כלל ההעברה.
אחרי שיוצרים את השירות, רושמים את הקישור העצמי שלו. הפורמט הוא projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}.
תצטרכו את הערך הזה כשתצרו את משימת ההעברה.
הכנת קטגוריית ה-Staging
כדי להעביר נתונים מ-Snowflake, צריך ליצור קטגוריית ביניים ולהגדיר אותה כך שתאפשר גישת כתיבה מ-Snowflake.
בוחרים באחת מהאפשרויות הבאות:
AWS
בחשבונות Snowflake שמתארחים ב-AWS, צריך ליצור קטגוריה ב-Amazon S3 כדי לאחסן נתונים במחסן ביניים (Stage) את הנתונים מ-Snowflake לפני שהם נטענים ל-BigQuery.
יוצרים ומגדירים אובייקט של שילוב אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקטגוריה של Amazon S3 כשלב חיצוני.
כדי לאפשר גישת קריאה לקטגוריית Amazon S3, צריך גם לבצע את הפעולות הבאות:
יוצרים משתמש IAM ייעודי של Amazon ומקצים לו את המדיניות
AmazonS3ReadOnlyAccess.יוצרים זוג מפתחות גישה של אמזון למשתמש ה-IAM.
Azure
בחשבונות Snowflake שמתארחים ב-Azure, צריך ליצור מאגר Azure Blob Storage כדי להעביר את נתוני Snowflake לפני שהם נטענים ל-BigQuery.
- יוצרים חשבון אחסון ב-Azure ומאגר אחסון בתוכו.
- יוצרים ומגדירים אובייקט שילוב של אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקונטיינר האחסון ב-Azure כשלב חיצוני. אתם יכולים לדלג על השלבים ליצירת שלב חיצוני, כי זה לא נדרש.
כדי לאפשר גישת קריאה למאגר ב-Azure, צריך ליצור טוקן SAS למאגר.
Google Cloud
בחשבונות Snowflake שמתארחים ב- Google Cloud, צריך ליצור קטגוריה של Cloud Storage כדי להעביר את הנתונים מ-Snowflake לפני שהם נטענים ב-BigQuery.
- יצירת קטגוריה של Cloud Storage
- יוצרים ומגדירים אובייקט שילוב של אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקטגוריה של Cloud Storage כשלב חיצוני.
כדי לאפשר גישה לקטגוריית ה-Staging, נותנים לסוכן השירות של DTS את התפקיד
roles/storage.objectViewerבאמצעות הפקודה הבאה:gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \ --role=roles/storage.objectViewer
יצירת הגדרות העברה פרטיות ב-Snowflake
יוצרים את ההעברה מ-Snowflake. כשמגדירים את העברת הנתונים, מבצעים את הפעולות הבאות:
המסוף
- בקטע Use Private Network, בוחרים באפשרות True.
- בשדה PSC Service Attachment, מזינים את ה-URI של צירוף השירות. למידע על איתור ה-URI של קובץ ה-attachment של השירות, ראו הצגת פרטים של שירות שפורסם.
ה-URI של צירוף השירות הוא בפורמט
projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT. - בשדה Private Network Service, מזינים את הקישור העצמי של שירות ה-NLB.
הפורמט הוא
projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME. - ה-URI של קטגוריית ה-Staging שבה רוצים להשתמש להעברה:
- בחשבון Snowflake שמתארח ב-AWS, צריך מזהה URI של קטגוריית Amazon S3 ופרטי כניסה.
- ב-Snowflake שמתארח ב-Azure, צריך חשבון ומאגר של Azure Blob Storage.
- בחשבון Snowflake שמתארח ב-Google Cloud, צריך מזהה URI של קטגוריה ב-Cloud Storage.
בשדה Cloud Provider, בוחרים באפשרות
AWS,AZUREאוGCP, בהתאם לספק שירותי הענן שמארח את החשבון שלכם ב-Snowflake.AWS
- בשדה Amazon S3 URI, מזינים את ה-URI של הקטגוריה ב-Amazon S3 שרוצים להשתמש בה כקטגוריית staging.
- בשדות Access key ID ו-Secret access key, מזינים את צמד מפתחות הגישה.
Azure
- בשדות Azure storage account name ו-The container in the Azure storage account, מזינים את שם החשבון והמאגר של Azure Blob Storage שישמשו כקטגוריית staging.
- בשדה SAS Token, מזינים את טוקן ה-SAS שנוצר למאגר.
Google Cloud
- בשדה GCS URI, מזינים את ה-URI של Cloud Storage שישמש כקטגוריית staging.
BQ
- בפרמטר
use_private_network, מגדירים את הערךTRUE. - בפרמטר
service_attachment, מציינים את ה-URI של צירוף השירות. למידע על איתור ה-URI של קובץ ה-attachment של השירות, ראו הצגת פרטים של שירות שפורסם. ה-URI של צירוף השירות הוא בפורמטprojects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT. - בפרמטר
private_network_service, מציינים את הקישור העצמי של שירות ה-NLB. הפורמט הואprojects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME. -
cloud_provider: מזיניםAWS,AZUREאוGCP, בהתאם לספק שירותי הענן שמארח את החשבון שלכם ב-Snowflake. -
staging_s3_uri: מזינים את ה-URI של קטגוריית S3 שרוצים להשתמש בה כקטגוריית ביניים. נדרש רק אם הערך שלcloud_providerהואAWS. -
aws_access_key_id: מזינים את זוג מפתחות הגישה. נדרש רק אם הערך שלcloud_providerהואAWS. -
aws_secret_access_key: מזינים את זוג מפתחות הגישה. נדרש רק אם הערך שלcloud_providerהואAWS. -
azure_storage_account: מזינים את שם חשבון האחסון שישמש כקטגוריית staging. נדרש רק אם הערך שלcloud_providerהואAZURE. -
staging_azure_container: מזינים את המאגר ב-Azure Blob Storage שישמש כקטגוריית Staging. נדרש רק אם הערך שלcloud_providerהואAZURE. -
azure_sas_token: מזינים את טוקן ה-SAS. נדרש רק אם הערך שלcloud_providerהואAZURE. -
staging_gcs_uri: מזינים את ה-URI של Cloud Storage שישמש כקטגוריית Staging. נדרש רק אם הערך שלcloud_providerהואGCP.