הגדרת חיבור מבודד להעברות מ-Snowflake

במדריך הזה נסביר איך להגדיר קישוריות פרטית כדי ליצור העברות נתונים פרטיות מ-Snowflake ל-BigQuery. העברות נתונים פרטיות מאפשרות לכם להעביר נתונים ממקור אחד לאחר, והכול בתוך רשת פרטית. כך אתם יכולים להפחית את סיכוני האבטחה שקשורים להעברת נתונים דרך האינטרנט הציבורי.

בקטעים הבאים מוסבר איך להגדיר קישוריות פרטית לפני שיוצרים העברה מ-Snowflake.

אפשר לבצע העברות פרטיות במכונות של Snowflake שמתארחות ב-Amazon Web Services ‏(AWS), ב-Microsoft Azure וב- Google Cloud.

העברות נתונים פרטיים מ-AWS או מ-Azure או מחשבונות Snowflake שמתארחים ב- Google Cloudאל BigQuery

יוצרים קישור פרטי שמחבר את חשבון Snowflake לספק שירותי הענן. למידע נוסף, בוחרים באחת מהאפשרויות הבאות:

AWS

מגדירים את AWS PrivateLink כדי לקשר את חשבון Snowflake לחשבון AWS. חשבון AWS צריך להכיל את קטגוריית ה-staging של Amazon S3 שנדרשת להעברה מ-Snowflake.

Azure

מגדירים את Azure Private Link כדי לחבר את Azure Virtual Network (VNet)‎ ל-Snowflake VNet ב-Azure. חשבון Azure צריך להכיל את קטגוריית ה-Blob הנדרשת להעברה מ-Snowflake.

Google Cloud

מגדירים את Google Cloud Private Service Connect כדי לחבר את רשת המשנה של הענן הווירטואלי הפרטי (VPC) לחשבון Snowflake שמתארח ב- Google Cloud.Google Cloud צריך קטגוריית Cloud Storage זמנית שנדרשת להעברה מ-Snowflake.

הגדרת Cross-Cloud Interconnect או HA VPN

מגדירים Cross-Cloud Interconnect או HA VPN מ-AWS או מ-Azure. לא צריך לבצע את השלב הזה בחשבונות Snowflake שמתארחים ב-Google Cloud.

AWS

רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, קראו את המאמר יצירת חיבורי HA VPN בין Google Cloud ל-AWS.

חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי שירותי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור קצר. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, קראו את המאמר התחברות ל-AWS.

Azure

רשת VPN בזמינות גבוהה מאפשרת להעביר נתונים דרך מנהרת VPN מוצפנת. כדי להשתמש ב-HA VPN להעברה פרטית של Snowflake, קראו את המאמר יצירת חיבורי HA VPN בין Google Cloud ל-Azure.

חיבור Cross-Cloud Interconnect יוצר קישור פרטי ייעודי בין ספקי שירותי ענן, והוא מתאים להעברות נתונים גדולות עם דרישות של זמן אחזור קצר. כדי להשתמש ב-Cross-Cloud Interconnect להעברה פרטית של Snowflake, קראו את המאמר התחברות ל-Azure.

יצירת VM של שרת proxy

כדי להשלים חיבור פרטי, נדרש VM של שרת proxy כדי להשלים את החיבור בין מקורות הנתונים בלי שהנתונים יגיעו לאינטרנט הציבורי. השלב הזה נדרש למכונות Snowflake שמתארחות ב-AWS, ב-Azure או ב- Google Cloud.

כדי ליצור ולהגדיר מכונה וירטואלית של שרת proxy להעברה פרטית של Snowflake:

  1. יוצרים מכונה וירטואלית אחת או יותר של Compute Engine ברשת ה-VPC של הצרכן.
  2. מורידים תוכנת שרת proxy ל-TCP, כמו HAProxy או Nginx, ומגדירים את הפרטים הבאים:
    1. מציינים יציאה. לדוגמה, 443.
    2. מעבירים את כל תנועת ה-TCP הנכנסת לשם המארח וליציאה הפרטיים במכונה של Snowflake.
  3. מגדירים את המכונות הווירטואליות כך שיפתרו את שם המארח הפרטי של Snowflake באמצעות ה-DNS שהוגדר ברשת ה-VPC של הצרכן.

יצירת מאזן עומסים פנימי להעברת סיגנל ללא שינוי

מגדירים מאזן עומסים פנימי להעברת סיגנל ללא שינוי למישור הבקרה:

  1. קיבוץ של המכונות הווירטואליות של שרתי ה-proxy לקבוצות מופעי מכונה מנוהלים (MIG).
  2. הגדרת מאזן עומסי רשת פנימי להעברת סיגנל ללא שינוי עם קבוצות של מכונות VM בקצה העורפי.

יצירת קובץ מצורף לשירות

משתמשים ב-Private Service Connect כדי ליצור חיבור לרשת ולפרסם את השירות. השלב הזה נדרש למכונות Snowflake שמתארחות ב-AWS, ב-Azure או ב- Google Cloud.

החיבור לשירות צריך להיות באותו אזור שבו נמצא מערך הנתונים ב-BigQuery.

אם השירות שלכם משתמש באישור מפורש (connection-preference מוגדר כ-ACCEPT_MANUAL), חשבון השירות שמשמש להעברת הנתונים הפרטיים ב-Snowflake צריך לכלול את הרשאות ה-IAM הבאות:

  • compute.serviceAttachments.get
  • compute.serviceAttachments.update
  • compute.regionOperations.get

אחרי שיוצרים את צירוף השירות, צריך לשים לב ל-URI של צירוף השירות. תצטרכו את ה-URI הזה כשתצרו את הגדרת ההעברה של Snowflake.

ליצור נקודות קצה

יוצרים נקודת קצה בחשבון AWS או Azure. לא צריך לבצע את השלב הזה בחשבונות Snowflake שמתארחים ב-Google Cloud.

AWS

ב-AWS, יוצרים נקודת קצה של VPC שמתחברת ל-Amazon S3. מידע נוסף זמין במאמר Access an AWS service using an interface VPC endpoint.

Azure

מגדירים נקודת קצה פרטית בחשבון האחסון ב-Azure. מידע נוסף זמין במאמר שימוש בנקודות קצה פרטיות ב-Azure Storage.

כדי להשתמש ב-Storage Transfer Service צריך את נקודת הקצה (endpoint) *.blob.core.windows.net. אין תמיכה בנקודת הקצה (endpoint) *.dfs.core.windows.net.

אחרי שיוצרים את נקודת הקצה, צריך לשים לב לכתובת ה-IP שלה. בקטע הבא תצטרכו לציין את כתובת ה-IP כשתיצרו את מאזן העומסים.

יצירת מאזן עומסים אזורי בשרת proxy

ב- Google Cloud, מגדירים מאזן עומסי רשת אזורי פנימי לשרת proxy עם קישוריות היברידית. כך מקבלים כתובת IP פנימית שמוגבלת ללקוחות שפועלים באותה רשת VPC כמו מאזן העומסים, ומנתבת את התנועה לנקודות הקצה של S3 VPC או לנקודות הקצה הפרטיות של Azure Storage שיצרתם בקטע הקודם.

צריך ליצור את מאזן העומסים באותו פרויקט ורשת VPC כמו הצירוף ל-VLAN שמתממשק עם Cloud Interconnect. החיבור עצמו יכול להיות בפרויקט אחר באותו ארגון, אבל הקישור חייב להיות באותו VPC ובאותו אזור כמו מאזן העומסים.

כשמגיעים לשלבים שמסומנים בתווית הוספת נקודות קצה ל-NEG של הקישוריות ההיברידית, מציינים את נקודת הקצה של S3 VPC או את כתובת ה-IP של נקודת הקצה הפרטית של Azure Storage.

שימו לב לכתובת ה-IP ולמספר היציאה של ממשק ה-NLB, כי תצטרכו לציין אותם בקטע הבא.

אימות החיבור

לפני שממשיכים, מומלץ לוודא שמאזן העומסים יכול להתחבר לנקודת הקצה של האחסון המרוחק.

כדי לעשות את זה:

  1. יוצרים מכונה וירטואלית ב-Compute Engine באותה רשת VPC שבה נמצא מאזן העומסים.
  2. ב-VM, משתמשים ב-curl כדי לבדוק את הקישוריות לכתובת ה-IP וליציאה של מאזן העומסים:

    curl -v --resolve HOSTNAME:PORT:LOAD_BALANCER_IP https://HOSTNAME
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫HOSTNAME הוא שם המארח של ספק האחסון במקור.
      • ב-AWS S3, משתמשים בנקודת קצה ל-API של S3 לאזור של הקטגוריה, לדוגמה s3.us-west-1.amazonaws.com.
      • ב-Azure Storage, משתמשים בנקודת הקצה של ה-blob בחשבון האחסון, לדוגמה mystorageaccount.blob.core.windows.net.
    • ‫PORT היא היציאה שהגדרתם בכלל ההעברה של מאזן העומסים, בדרך כלל 443.
    • ‫LOAD_BALANCER_IP היא כתובת ה-IP של ממשק הקצה של מאזן העומסים.

תגובה מנקודת הקצה המרוחקת, אפילו שגיאה, מציינת שהקישוריות תקינה. אם החיבור נכשל בגלל זמן קצוב לתפוגה, סימן שיש הגדרה שגויה ברשת שצריך לתקן לפני שממשיכים.

רישום ה-NLB

רושמים את ה-NLB ב-Service Directory. ‫BigQuery משתמש ב-Service Directory כדי לזהות את הכתובת של מאזן העומסים ולהתחבר אליו ישירות.

פועלים לפי ההוראות לרישום מאזן עומסים פנימי. משתמשים בכתובת ה-IP וביציאה של מאזן העומסים שיצרתם כשציינתם את כלל ההעברה.

אחרי שיוצרים את השירות, רושמים את הקישור העצמי שלו. הפורמט הוא projects/{project_id}/locations/{location}/namespaces/{namespace}/services/{service}. תצטרכו את הערך הזה כשתצרו את משימת ההעברה.

הכנת קטגוריית ה-Staging

כדי להעביר נתונים מ-Snowflake, צריך ליצור קטגוריית ביניים ולהגדיר אותה כך שתאפשר גישת כתיבה מ-Snowflake.

בוחרים באחת מהאפשרויות הבאות:

AWS

בחשבונות Snowflake שמתארחים ב-AWS, צריך ליצור קטגוריה ב-Amazon S3 כדי לאחסן נתונים במחסן ביניים (Stage) את הנתונים מ-Snowflake לפני שהם נטענים ל-BigQuery.

  1. יוצרים קטגוריה ב-Amazon S3.

  2. יוצרים ומגדירים אובייקט של שילוב אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקטגוריה של Amazon S3 כשלב חיצוני.

כדי לאפשר גישת קריאה לקטגוריית Amazon S3, צריך גם לבצע את הפעולות הבאות:

  1. יוצרים משתמש IAM ייעודי של Amazon ומקצים לו את המדיניות AmazonS3ReadOnlyAccess.

  2. יוצרים זוג מפתחות גישה של אמזון למשתמש ה-IAM.

Azure

בחשבונות Snowflake שמתארחים ב-Azure, צריך ליצור מאגר Azure Blob Storage כדי להעביר את נתוני Snowflake לפני שהם נטענים ל-BigQuery.

  1. יוצרים חשבון אחסון ב-Azure ומאגר אחסון בתוכו.
  2. יוצרים ומגדירים אובייקט שילוב של אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקונטיינר האחסון ב-Azure כשלב חיצוני. אתם יכולים לדלג על השלבים ליצירת שלב חיצוני, כי זה לא נדרש.

כדי לאפשר גישת קריאה למאגר ב-Azure, צריך ליצור טוקן SAS למאגר.

Google Cloud

בחשבונות Snowflake שמתארחים ב- Google Cloud, צריך ליצור קטגוריה של Cloud Storage כדי להעביר את הנתונים מ-Snowflake לפני שהם נטענים ב-BigQuery.

  1. יצירת קטגוריה של Cloud Storage
  2. יוצרים ומגדירים אובייקט שילוב של אחסון ב-Snowflake כדי לאפשר ל-Snowflake לכתוב נתונים בקטגוריה של Cloud Storage כשלב חיצוני.
  3. כדי לאפשר גישה לקטגוריית ה-Staging, נותנים לסוכן השירות של DTS את התפקיד roles/storage.objectViewer באמצעות הפקודה הבאה:

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
      --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com \
      --role=roles/storage.objectViewer

יצירת הגדרות העברה פרטיות ב-Snowflake

יוצרים את ההעברה מ-Snowflake. כשמגדירים את העברת הנתונים, מבצעים את הפעולות הבאות:

המסוף

BQ

  • בפרמטר use_private_network, מגדירים את הערך TRUE.
  • בפרמטר service_attachment, מציינים את ה-URI של צירוף השירות. למידע על איתור ה-URI של קובץ ה-attachment של השירות, ראו הצגת פרטים של שירות שפורסם. ה-URI של צירוף השירות הוא בפורמט projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.
  • בפרמטר private_network_service, מציינים את הקישור העצמי של שירות ה-NLB. הפורמט הוא projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.
  • ‫cloud_provider: מזינים AWS,‏ AZURE או GCP, בהתאם לספק שירותי הענן שמארח את החשבון שלכם ב-Snowflake.
  • ‫staging_s3_uri: מזינים את ה-URI של קטגוריית S3 שרוצים להשתמש בה כקטגוריית ביניים. נדרש רק אם הערך של cloud_provider הוא AWS.
  • ‫aws_access_key_id: מזינים את זוג מפתחות הגישה. נדרש רק אם הערך של cloud_provider הוא AWS.
  • ‫aws_secret_access_key: מזינים את זוג מפתחות הגישה. נדרש רק אם הערך של cloud_provider הוא AWS.
  • ‫azure_storage_account: מזינים את שם חשבון האחסון שישמש כקטגוריית staging. נדרש רק אם הערך של cloud_provider הוא AZURE.
  • ‫staging_azure_container: מזינים את המאגר ב-Azure Blob Storage שישמש כקטגוריית Staging. נדרש רק אם הערך של cloud_provider הוא AZURE.
  • ‫azure_sas_token: מזינים את טוקן ה-SAS. נדרש רק אם הערך של cloud_provider הוא AZURE.
  • ‫staging_gcs_uri : מזינים את ה-URI של Cloud Storage שישמש כקטגוריית Staging. נדרש רק אם הערך של cloud_provider הוא GCP.