יצירת מכונה פרטית באמצעות שירותי VPC Peering

בדף הזה מוסבר איך ליצור מכונת Cloud Data Fusion עם כתובת IP פנימית. יוצרים את המכונה ברשת VPC או ברשת VPC משותפת.

למכונת Cloud Data Fusion פרטית יש את היתרונות הבאים:

  • החיבורים למכונה נוצרים דרך רשת VPC פרטית ב Google Cloud פרויקט. התעבורה ברשת לא עוברת דרך האינטרנט הציבורי.

  • המופע יכול להתחבר למשאבים מקומיים, כמו מסדי נתונים רלציוניים, כי הרשת המקומית שלכם מתחברת לרשתGoogle Cloud VPC פרטית באמצעות Cloud VPN או Cloud Interconnect. אתם יכולים לגשת באופן מאובטח למשאבים מקומיים, כמו מסדי נתונים, דרך הרשת הפרטית בלי לפתוח גישה ל- Google Cloud.

מטרות

  • מגדירים את רשת ה-VPC או את רשת ה-VPC המשותפת.
  • מקצים טווח כתובות IP שישמש לפריסת מופע Cloud Data Fusion בפרויקט הדייר.
  • יוצרים את המכונה הפרטית של Cloud Data Fusion.
  • מגדירים קישור בין רשתות VPC שכנות (peering) בין ה-VPC שמכיל את מכונת Cloud Data Fusion לבין ה-VPC שמכיל את פרויקט הדייר המשויך.
  • ברשתות VPC משותפות, מגדירים הרשאות לניהול זהויות והרשאות גישה (IAM).
  • אם המכונה הפרטית שלכם משתמשת ב-Cloud Data Fusion בגרסה 6.2.0 או בגרסה מוקדמת יותר, צריך ליצור כלל חומת אש.
  • אפשר לאפשר לשירותים שונים Google Cloud לתקשר ביניהם באופן פנימי על ידי הפעלת גישה פרטית ל-Google ברשת המשנה של Managed Service for Apache Spark.

לפני שמתחילים

  • מידע על ארכיטקטורת הפריסה של Cloud Data Fusion זמין במאמר רשת.

הגדרת רשת ה-VPC

אם עדיין לא עשיתם את זה, צריך ליצור רשת VPC או רשת VPC משותפת.

כדי להגדיר את רשת ה-VPC, צריך להקצות טווח של כתובות IP.

הקצאת טווח כתובות IP

רשת VPC

אם אתם לא משתמשים ברשת VPC משותפת,‏ Cloud Data Fusion מקצה טווח של כתובות IP כברירת מחדל כשאתם יוצרים מופע.

רשת VPC משותפת

כדי להשתמש ב-VPC משותף, צריך להקצות טווח כתובות IP למופע Cloud Data Fusion.

כדי להקצות טווח כתובות IP למכונת Cloud Data Fusion, פועלים לפי השלבים הבאים:

  1. נכנסים לדף VPC networks במסוף Google Cloud .

    מעבר לרשתות VPC

  2. בעמודה Name (שם), לוחצים על רשת ה-VPC שבה רוצים ליצור מכונת Cloud Data Fusion פרטית.

    ייפתח הדף VPC network details (פרטי רשת ה-VPC).

  3. לוחצים על Private service connection (חיבור פרטי לשירות). אם מוצגת בקשה, מפעילים את Service Networking API על ידי לחיצה על Enable API.

    מגדירים את פרטי רשת ה-VPC.

  4. לוחצים על הקצאת טווח כתובות IP.

    1. נותנים שם לטווח כתובות ה-IP.

    2. בקטע טווח כתובות IP, לוחצים על אוטומטי.

    3. מציינים גודל קידומת של 22.

    4. לוחצים על הקצאה.

      מקצים טווח כתובות IP.

יצירת מופע פרטי

יוצרים את מכונת Cloud Data Fusion הפרטית ברשת VPC או ברשת VPC משותפת.

רשת VPC

כדי ליצור את המכונה ברשת VPC, משתמשים בGoogle Cloud מסוף או ב-cURL.

אם משתמשים במסוף Google Cloud כדי ליצור את המכונה הפרטית, מערכת Cloud Data Fusion מקצה את טווח כתובות ה-IP /22 כברירת מחדל. כדי לבחור טווח כתובות IP אחר, צריך להשתמש בפקודת cURL.

המסוף

  1. עוברים לדף יצירת מכונת Cloud Data Fusion.

    כניסה לדף Create Data Fusion instance

  2. מזינים שם ותיאור של המכונה.

  3. בוחרים את האזור שבו רוצים ליצור את המכונה.

  4. בוחרים גרסה ומהדורה של Cloud Data Fusion.

  5. מציינים את חשבון השירות של Managed Service for Apache Spark שבו רוצים להשתמש להפעלת צינור Cloud Data Fusion ב-Managed Service for Apache Spark. חשבון ברירת המחדל של Compute Engine מסומן מראש.

  6. מרחיבים את התפריט אפשרויות מתקדמות ולוחצים על הפעלת כתובת IP פרטית.

  7. בשדה רשת, בוחרים רשת שבה רוצים ליצור את המופע.

  8. לוחצים על יצירה. תהליך יצירת המכונה נמשך עד 30 דקות.

cURL

כדי להקל עליכם, אתם יכולים לייצא את המשתנים הבאים, או להחליף את הערכים האלה ישירות בפקודות הבאות:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

כדי ליצור את המכונה, מריצים את שיטת ה-create() שלה:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_ID: מחרוזת המזהה שהמופע החדש צריך לקבל.
  • ‫NETWORK_NAME: השם של רשת ה-VPC שבה רוצים ליצור את המופע הפרטי.
  • ‫IP_RANGE: טווח כתובות ה-IP שהקציתם. כדי למצוא את טווח כתובות ה-IP בGoogle Cloud מסוף, עוברים אל פרטי רשת VPC > חיבור שירות פרטי > טווח כתובות IP פנימיות .

רשת VPC משותפת

כדי ליצור את המכונה ברשת VPC משותפת, משתמשים ב-cURL ולא במסוףGoogle Cloud .

cURL

לנוחותכם, אפשר לייצא את המשתנים הבאים. אפשרות אחרת היא להחליף את הערכים האלה ישירות בפקודות הבאות:

export PROJECT=PROJECT_ID
export LOCATION=REGION
export DATA_FUSION_API_NAME=datafusion.googleapis.com

כדי ליצור את המכונה, מריצים את שיטת ה-create() שלה:

curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instanceId=INSTANCE_ID -X POST -d '{"description": "Private CDF instance created through REST.", "type": "ENTERPRISE", "privateInstance": true, "networkConfig": {"network": "projects/SHARED_VPC_HOST_PROJECT_ID/global/networks/NETWORK_NAME", "ipAllocation": "IP_RANGE"}}'

מחליפים את מה שכתוב בשדות הבאים:

  • ‫INSTANCE_ID: מחרוזת המזהה שהמופע החדש צריך לקבל.
  • ‫SHARED_VPC_HOST_PROJECT_ID: מזהה הפרויקט שמארח את רשת ה-VPC המשותפת.
  • ‫NETWORK_NAME: השם של רשת ה-VPC שבה רוצים ליצור את המופע הפרטי.
  • ‫IP_RANGE: טווח כתובות ה-IP שהקציתם. כדי למצוא את טווח כתובות ה-IP במסוף Google Cloud , עוברים לדף VPC network details (פרטי רשת ה-VPC) > Private service connection (חיבור שירות פרטי) > Internal IP range (טווח כתובות IP פנימיות).

הגדרת קישור בין רשתות VPC שכנות (peering)

שירותי Cloud Data Fusion שבהם אתם משתמשים בסביבת העיצוב (לדוגמה: Wrangler,‏ Connection Manager ו-Schema Validation) יוצרים חיבורים לרשת מ-VPC של פרויקט הדייר למערכות המקור. ‫Cloud Data Fusion משתמש בקישור בין רשתות VPC שכנות (peering) כדי ליצור קישוריות לרשת ה-VPC או לרשת ה-VPC המשותפת שמכילה את המופע. הקישור בין רשתות שכנות (peering) של רשת VPC מאפשר ל-Cloud Data Fusion לגשת למשאבים ברשת שלכם באמצעות כתובות IP פנימיות, תוך שימוש ברשת VPC שלכם ובאמצעי הבקרה שלה. כדי להתחבר למשאב ברשת אחרת, אפשר לעיין בשלבים לתרחישי שימוש בחיבורים.

בקטע הבא מוסבר איך ליצור הגדרת קישור בין רשתות שכנות בין הרשת שלכם לבין הרשת של פרויקט הדייר של Cloud Data Fusion.

איך מקבלים את מזהה הפרויקט של הדייר

כדי ליצור הגדרת שיוך, צריך את המזהה של פרויקט הדייר.

  1. עוברים לדף Instances ב-Cloud Data Fusion.

    כניסה לדף Instances

  2. בעמודה Instance Name (שם המופע), בוחרים את המופע.

  3. בדף Instance details (פרטי המופע), מעתיקים את Tenant project ID (מזהה פרויקט הדייר), שנדרש כשיוצרים חיבור peering בשלבים הבאים.

יצירת חיבור בין רשתות שכנות (peering)

  1. נכנסים לדף קישור בין רשתות VPC שכנות (peering).

    מעבר לקישור בין רשתות VPC שכנות (peering)

  2. לוחצים על יצירת קישור > המשך.

  3. בדף Create peering connection שנפתח, מבצעים את הפעולות הבאות:

    1. מזינים שם לחיבור ה-Peering.
    2. בשדה Your VPC network (רשת ה-VPC שלך), בוחרים את הרשת שמכילה את מכונת Cloud Data Fusion.
    3. בקטע Peered VPC network (רשת VPC מקושרת), בוחרים באפשרות In another project (בפרויקט אחר).
    4. בשדה Project ID, מזינים את מזהה פרויקט הדייר שמצאתם קודם במדריך הזה.

    5. בשדה VPC network name (שם רשת ה-VPC), בוחרים רשת או מזינים INSTANCE_REGION-INSTANCE_ID.

      מחליפים את מה שכתוב בשדות הבאים:

      • ‫INSTANCE_REGION: האזור שבו יצרתם את מכונת Cloud Data Fusion.
      • ‫INSTANCE_ID: המזהה של מופע Cloud Data Fusion.

    6. בוחרים את גרסת פרוטוקול האינטרנט לחיבור הפירינג כדי להחליף מסלולי IPv4 ו-IPv6 בין רשת ה-VPC לבין רשת ה-VPC המקושרת. מידע נוסף זמין במאמר בנושא רשת VPC קישור בין רשתות שכנות (peering).

    7. בוחרים באפשרות Export custom routes (ייצוא של נתיבים מותאמים אישית) כדי שניתן יהיה לייצא נתיבים מותאמים אישית מרשת ה-VPC לרשת ה-VPC של הדייר.

    8. בוחרים אם לאפשר ייבוא או ייצוא של נתיבי תת-רשת עם IPv4 גלוי לרשת ה-VPC.

    9. לוחצים על יצירה.

    הקישור בין רשתות ה-VPC הופך לפעיל זמן קצר אחרי שהוא נוצר.

הגדרת הרשאות IAM

רשת VPC

מדלגים על השלב הזה ועוברים אל יצירת כלל חומת אש.

רשת VPC משותפת

אם יוצרים את מופע Cloud Data Fusion ברשת VPC משותפת, צריך להעניק את התפקיד Compute Network User לחשבונות השירות הבאים. כדי לתת הרשאות לכל רשתות המשנה, צריך להקצות את התפקיד לפרויקט המארח של ה-VPC המשותף.

כדי לשלוט בגישה בצורה מדויקת יותר, אפשר להקצות את התפקיד לרשת משנה ספציפית, ואת התפקיד 'צפייה ברשת' בפרויקט המארח.

  • חשבון שירות של Cloud Data Fusion: service-PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
  • חשבון שירות של Managed Service for Apache Spark: ‏ service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com

‫PROJECT_NUMBER הוא מספר הפרויקטGoogle Cloud שמכיל את מופע Cloud Data Fusion.

מידע נוסף זמין במאמר בנושא הענקת גישה לחשבונות השירות הנדרשים.

יצירת כלל לחומת האש

יוצרים כלל חומת אש ברשת ה-VPC שמאפשר חיבורי SSH נכנסים מטווח כתובות ה-IP שציינתם כשנוצרה מכונת Cloud Data Fusion הפרטית.

השלב הזה נדרש בגרסאות של Cloud Data Fusion שקודמות לגרסה 6.2.0. הוא מאפשר תקשורת בין Cloud Data Fusion לבין אשכולות של Managed Service for Apache Spark שמריצים צינורות נתונים.

אפשר ליצור את כלל חומת האש באמצעות המסוף Google Cloud או באמצעות ה-CLI של gcloud.

המסוף

איך יוצרים כללים של חומת אש

gcloud

מריצים את הפקודה הבאה: 

gcloud compute firewall-rules create FIREWALL_NAME-allow-ssh --allow=tcp:22 --source-ranges=IP_RANGE --network=NETWORK_NAME --project=PROJECT_ID

מחליפים את מה שכתוב בשדות הבאים:

  • FIREWALL_NAME: השם של כלל חומת האש שרוצים ליצור.
  • ‫IP_RANGE: טווח כתובות ה-IP שהקציתם.
  • NETWORK_NAME: השם של הרשת שאליה מצורף כלל חומת האש. זה השם של רשת ה-VPC שבה יצרתם את המכונה הפרטית.
  • ‫PROJECT_ID: מזהה הפרויקט שבו מתארחת רשת ה-VPC.

שלבים לתרחישים לדוגמה של חיבור

בקטעים הבאים מתוארים תרחישי שימוש שקשורים לחיבור למופעים פרטיים.

הפעלת גישה פרטית ל-Google

כדי לגשת למשאבים דרך כתובות IP פנימיות, שירות Cloud Data Fusion צריך ליצור את האשכולות של Managed Service for Apache Spark ולהפעיל את צינורות הנתונים ברשת משנה עם גישה פרטית ל-Google. צריך להפעיל גישה פרטית ל-Google עבור רשת המשנה שמכילה את אשכולות Managed Service for Apache Spark.

  • אם יש רק רשת משנה אחת באזור שבו מופעלים אשכולות Managed Service for Apache Spark, האשכול יופעל ברשת המשנה הזו.

  • אם יש כמה רשתות משנה באזור, צריך להגדיר את Cloud Data Fusion כך שיבחר את רשת המשנה עם גישה פרטית ל-Google להפעלת אשכולות של Managed Service for Apache Spark.

כדי להפעיל גישה פרטית ל-Google עבור תת-הרשת, אפשר לעיין במאמר בנושא הגדרה של גישה פרטית ל-Google.

אופציונלי: התחברות למקורות אחרים

אחרי שיוצרים מכונה פרטית ב-Cloud Data Fusion, אפשר להתחבר למקורות אחרים, כמו בתרחישי השימוש הבאים:

אופציונלי: הפעלת DNS Peering

מפעילים DNS Peering במקרים הבאים:

  • כש-Cloud Data Fusion מתחבר למערכות באמצעות שמות מארחים ולא כתובות IP
  • כשהמערכת היעד נפרסת מאחורי מאזן עומסים, כמו במקרים מסוימים של פריסות SAP

המאמרים הבאים