הגדרת קישוריות פרטית להעברות ל-Snowflake

במדריך הזה מוסבר איך להגדיר קישוריות פרטית כדי ליצור העברות נתונים פרטיות מ-Snowflake ל-BigQuery. העברות נתונים פרטיות מאפשרות להעביר נתונים ממקור אחד למקור אחר בתוך רשת פרטית, ומאפשרות להפחית את סיכוני האבטחה כשמעבירים נתונים באינטרנט הציבורי.

בקטעים הבאים מפורטים השלבים הנדרשים להגדרת קישוריות פרטית לפני שיוצרים העברה ב-Snowflake.

העברות פרטיות נתמכות במופעי Snowflake שמתארחים ב-Amazon Web Services ‏ (AWS), ב-Microsoft Azure וב- Google Cloud.

יצירת קישור פרטי ל-Snowflake

יוצרים קישור פרטי שמקשר את חשבון Snowflake לספק שירותי הענן. למידע נוסף, בוחרים באחת מהאפשרויות הבאות:

AWS

מגדירים את AWS PrivateLink כדי לקשר את חשבון Snowflake לחשבון AWS. חשבון AWS שלכם צריך להכיל את קטגוריית הביניים של Amazon S3 שנדרשת להעברה ב-Snowflake.

Azure

מגדירים את Azure Private Link כדי לחבר את Azure Virtual Network ‏ (VNet) אל Snowflake VNet ב-Azure. חשבון Azure שלכם צריך לכלול את מאגר Blob staging שנדרש להעברה ב-Snowflake.

Google Cloud

הגדרה של Google Cloud Private Service Connect כדי לחבר את רשת הענן הווירטואלי הפרטי (VPC) שלכם Google Cloud. ב-Google Cloud שלכם צריכה להיות קטגוריית אחסון זמני ב-Cloud Storage שנדרשת להעברה ל-Snowflake.

הגדרה של Cross-Cloud Interconnect או HA VPN

להגדיר Cross-Cloud Interconnect או HA VPN מ-AWS או מ-Azure. לא צריך לבצע את השלב הזה בחשבונות Snowflake שמארחים ב-Google Cloud.

AWS

רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, אפשר לעיין במאמר בנושא יצירת חיבורי HA VPN בין Google Cloud לבין AWS.

חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור נמוך. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, אפשר לעיין במאמר חיבור ל-AWS.

Azure

רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, אפשר לעיין במאמר בנושא יצירת חיבורי HA VPN בין Google Cloud לבין Azure.

חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור נמוך. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, אפשר לעיין במאמר חיבור ל-Azure.

יצירת מכונה וירטואלית של שרת Proxy

כדי להשלים חיבור פרטי, נדרשת מכונה וירטואלית של שרת proxy כדי להשלים את החיבור בין מקורות הנתונים בלי שהנתונים יגיעו לאינטרנט הציבורי. השלב הזה נדרש למופעי Snowflake שמתארחים ב-AWS,‏ Azure או Google Cloud.

כדי ליצור ולהגדיר מכונה וירטואלית (VM) של שרת proxy להעברה פרטית של Snowflake:

1. יוצרים מכונה וירטואלית אחת או יותר של Compute Engine ברשת ה-VPC של הצרכן.
2. מורידים תוכנת TCP Proxy, כמו HAProxy או Nginx, ומגדירים את הפרטים הבאים:
   1. מציינים יציאה. לדוגמה, 443.
   2. העברה של כל תנועת ה-TCP הנכנסת אל שם המארח הפרטי והיציאה במופע של Snowflake.
3. מגדירים את המכונות הווירטואליות כך שיבצעו התאמה של שם המארח הפרטי של Snowflake באמצעות ה-DNS שהוגדר ברשת ה-VPC של הצרכן.
4. כדי להגדיר מאזן עומסים פנימי להעברת סיגנל ללא שינוי:
   1. קיבוץ מכונות וירטואליות של שרת proxy לקבוצת מופעי מכונה מנוהלים (MIG).
   2. איך מגדירים מאזן עומסי רשת פנימי להעברת סיגנל ללא שינוי עם קבוצות של מכונות וירטואליות בתור בק-אנד

יצירת קובץ מצורף של שירות

שימוש ב-Private Service Connect כדי ליצור קובץ מצורף לרשת ולפרסם את השירות. השלב הזה נדרש למופעי Snowflake שמתארחים ב-AWS,‏ Azure או Google Cloud.

ה-Service Attachment צריך להיות באותו אזור כמו מערך הנתונים ב-BigQuery.

אם השירות שלכם משתמש באישור מפורש (connection-preference מוגדר כ-ACCEPT_MANUAL), לחשבון השירות שמשמש להעברת נתונים פרטיים ב-Snowflake צריכות להיות הרשאות ה-IAM הבאות:

• compute.serviceAttachments.get
• compute.serviceAttachments.update
• compute.regionOperations.get

אחרי שיוצרים את קובץ השירות, רושמים את ה-URI של קובץ השירות. תצטרכו את ה-URI הזה כשתיצרו את הגדרות ההעברה של Snowflake.

ליצור נקודות קצה

יוצרים נקודת קצה בחשבון AWS או Azure. לא צריך לבצע את השלב הזה בחשבונות Snowflake שמארחים ב-Google Cloud.

AWS

ב-AWS, יוצרים נקודת קצה (endpoint) של VPC שמתחברת ל-Amazon S3. מידע נוסף זמין במאמר גישה לשירות AWS באמצעות נקודת קצה של ממשק VPC.

Azure

מגדירים נקודת קצה פרטית בחשבון האחסון ב-Azure. מידע נוסף זמין במאמר בנושא שימוש בנקודות קצה פרטיות עבור Azure Storage.

‫Storage Transfer Service דורש את נקודת הקצה *.blob.core.microsoft.net. אין תמיכה בנקודת הקצה *.dfs.core.microsoft.net.

אחרי שיוצרים את נקודת הקצה, רושמים את כתובת ה-IP שלה. תצטרכו לציין את כתובת ה-IP כשתיצרו את מאזן העומסים בקטע הבא.

יצירת מאזן עומסי רשת

הגדרת מאזן עומסי רשת (NLB) אזורי פנימי בשרת proxy עם קישוריות היברידית. אתם יכולים ליצור את מאזן העומסים כדי לנתב תנועה לנקודות הקצה של Amazon S3 VPC או לנקודות הקצה הפרטיות של Azure Storage שיצרתם בקטע הקודם. מידע נוסף זמין במאמר בנושא הגדרה של מאזן עומסי רשת אזורי פנימי לשרת proxy עם קישוריות היברידית.

רישום של NLB

אחרי שיוצרים את מאזן העומסים (NLB) של הרשת, רושמים אותו ב-Service Directory ב-Storage Transfer Service. מידע נוסף זמין במאמר בנושא רישום של NLB ב-Service Directory.

מעיינים בקישור לספריית השירותים. תצטרכו את הקישור העצמי לשירות כשתיצרו את הגדרות ההעברה של Snowflake.

יצירת הגדרות העברה פרטיות ב-Snowflake

יוצרים את ההעברה ב-Snowflake. כשמגדירים את ההגדרות של ההעברה, מבצעים את הפעולות הבאות:

המסוף

• בשדה Use Private Network (שימוש ברשת פרטית), בוחרים באפשרות True (נכון).
• בשדה PSC Service Attachment (צירוף שירות PSC), מזינים את מזהה המשאבים האחיד (URI) של צירוף השירות. מידע על איתור ה-URI של קובץ השירות מצורף זמין במאמר הצגת פרטים של שירות שפורסם. מזהה ה-URI של קובץ השירות הוא בפורמט projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
• בשדה Private Network Service (שירות רשת פרטי), מזינים את הקישור העצמי של שירות NLB. הפורמט הוא projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.

BQ

• לפרמטר use_private_network, מגדירים את הערך TRUE.
• בפרמטר service_attachment, מציינים את מזהה המשאבים האחיד (URI) של קובץ השירות. מידע על איתור ה-URI של קובץ השירות מצורף זמין במאמר הצגת פרטים של שירות שפורסם. מזהה ה-URI של קובץ השירות הוא בפורמט projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
• בפרמטר private_network_service, מציינים את הקישור העצמי של שירות NLB. הפורמט הוא projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.