רשתות של אשכולות Managed Service for Apache Spark עם Private Service Connect

בדף הזה מוסבר איך להגדיר קישוריות לרשת עבור אשכולות של Managed Service for Apache Spark כשמשתמשים ב-Private Service Connect. המאמר מסביר על האינטראקציה בין Private Service Connect לבין קישור בין רשתות VPC שכנות (peering) בתרחישי שימוש שונים של Managed Service for Apache Spark. בנוסף, יש בו סיכום של הדמיון וההבדלים בין התכונות של גישה פרטית ל-Google, ‏ Private Service Connect ו-Cloud NAT.

סקירה כללית

כדי להשתמש באשכולות של Managed Service for Apache Spark, צריך חיבור לרשת ל-Google Cloud APIs ולשירותים, כמו Dataproc API, ‏ Cloud Storage ו-Cloud Logging, ולמשאבים של המשתמש, כמו מקורות נתונים ברשתות אחרות של ענן וירטואלי פרטי (VPC) או בסביבות מקומיות.

כברירת מחדל, אשכולות של Managed Service for Apache Spark שנוצרו עם גרסאות תמונה 2.2 ואילך נוצרים עם כתובות IP פנימיות בלבד. ‫Managed Service for Apache Spark מפעיל באופן אוטומטי גישה פרטית ל-Google ברשת המשנה האזורית שבה נעשה שימוש באשכול עם כתובות IP פנימיות בלבד, כדי לאפשר חיבורים לשירותים ולממשקי Google APIs בלי להתחבר לאינטרנט הציבורי.

כדי לספק שליטה מדויקת יותר ברשת, אפשר להגדיר אשכול לשימוש ב-Private Service Connect, שמנתב תנועה לממשקי API ולשירותים נתמכים של Google דרך נקודת קצה פרטית ברשת ה-VPC. האפשרות הזו יכולה להועיל לאבטחה ולתאימות.

אפשרויות נפוצות של רשתות פרטיות

בקטע הזה מוסבר על התכונות של גישה פרטית ל-Google,‏ Private Service Connect ו-Cloud NAT, ועל ההבדלים ביניהן.

  • גישה פרטית ל-Google היא נתיב חד-כיווני שמאפשר למכונות וירטואליות להגיע לשירותים ציבוריים של Google בלי להשתמש באינטרנט. זה דומה ליציאה מיוחדת מכביש מהשכונה שלכם (רשת משנה של VPC) שמובילה ישירות לקניון השירותים של Google, בלי לעבור בכבישים ציבוריים. כל מי שגר בשכונה יכול להשתמש בו. ב-Managed Service for Apache Spark, האפשרות גישה פרטית ל-Google מופעלת באופן אוטומטי ברשת המשנה האזורית שבה נעשה שימוש באשכולות של Managed Service for Apache Spark שנוצרו עם גרסת התמונה 2.2 ואילך.

  • ‫Private Service Connect יוצר נקודת קצה פרטית דו-כיוונית לשירות שנמצא ברשת ה-VPC שלכם. הוא דומה לנתיב פרטי ייעודי מהמיקום שלכם (רשת VPC) ישירות לשירות. יש לו כתובת במיקום שלכם (כתובת IP פנימית ברשת ה-VPC) ורק אתם יכולים להשתמש בו.

  • ‫Cloud NAT מאפשר למכונות וירטואליות עם כתובות IP פרטיות לגשת לאינטרנט.

תכונות והבדלים

תכונה גישה פרטית ל-Google‏ (PGA) ‫Private Service Connect‏ (PSC)
איך זה עובד מפנה תנועה ממכונה וירטואלית לטווח כתובות IP מיוחד של Google ‏ (private.googleapis.com). יוצר כלל העברה (נקודת קצה) בתוך רשת ה-VPC שמייצג את שירות Google.
כתובת IP המכונה הווירטואלית מתחברת לכתובת IP בבעלות Google. המכונה הווירטואלית מתחברת לכתובת IP פנימית שבבעלותכם בתוך רשת ה-VPC.
כיוון יוצא בלבד: המכונה הווירטואלית יוזמת חיבור ל-Google. דו-כיווני: המכונה הווירטואלית מתחברת לשירות, והשירות יכול ליזום תנועה חוזרת.
היקף מופעלת או מושבתת לכל רשת המשנה. הפריסה מתבצעת כמשאב ספציפי של נקודת קצה.
שירותים מתחבר רק לממשקי API של Google, כמו Cloud Storage,‏ BigQuery או Dataproc API. מתחבר לממשקי API של Google, לשירותים של חברות אחרות ולשירותים שלכם.

ב-Managed Service for Apache Spark, הגישה הפרטית ל-Google היא השיטה הפשוטה והמסורתית יותר לאפשר למכונות וירטואליות באשכול ליצור קשר עם מישור הבקרה של Managed Service for Apache Spark. ‫Private Service Connect הוא גישה עדכנית וגמישה יותר שמאפשרת לכם שליטה מדויקת, במיוחד ברשתות מורכבות או ברשתות עם מספר דיירים.

למה כדאי להשתמש ב-Private Service Connect? גם אם לאשכול Managed Service for Apache Spark יש כתובות IP פנימיות בלבד עם גישה פרטית ל-Google (הגדרת ברירת המחדל לאשכולות של גרסת התמונה 2.2+),‏ Private Service Connect מציע את היתרונות הבאים:

  • במקום להשתמש בקבוצה המשותפת של נקודות קצה של גישה פרטית ל-Google כדי להתחבר לשירותים ולממשקי Google APIs,‏ Private Service Connect מאפשר ליצור נקודת קצה פרטית עם כתובת IP פנימית בתוך רשת ה-VPC שלכם, שממופה ישירות לשירות ספציפי של Google.

  • אפשר ליצור כללי חומת אש שמאפשרים תעבורה רק לכתובת ה-IP של נקודת הקצה של Private Service Connect. לדוגמה, אפשר להגדיר כלל שמאפשר תעבורת נתונים יוצאת ממכונות וירטואליות של אשכול Managed Service for Apache Spark רק לכתובת ה-IP הפנימית של נקודת הקצה (endpoint) של Private Service Connect עבור BigQuery, ודוחה את כל תעבורת הנתונים היוצאת האחרת. הגישה הזו מאובטחת יותר מאשר יצירת כללים רחבים יותר של חומת אש באמצעות גישה פרטית ל-Google.

  • שימוש בנקודת הקצה של Private Service Connect ברשת ה-VPC הופך את נתיב הרשת לברור יותר ומקל על ביצוע ביקורת לצורך אבטחה ותאימות, כי תעבורת הנתונים לשירות כמו Cloud Storage לא משתפת נתיב עם תעבורת נתונים אחרת של API.

נתיבים פרטיים וציבוריים

הגישה הפרטית ל-Google,‏ Private Service Connect ו-Cloud NAT מאפשרים למארחים עם כתובות RFC 1918 להגיע לשירותיGoogle Cloud . הם גם מאפשרים למשאבי Google Cloud עם כתובות RFC 1918 פרטיות ליזום חיבורים לשירותי Google Cloud .

כשבודקים אפשרויות חיבור שונות, חשוב להבחין בין תעבורת נתונים שנשארת פרטית לבין תעבורת נתונים שעוברת באינטרנט הציבורי.

  • התכונות גישה פרטית ל-Google ו-Private Service Connect שומרות על תעבורת הנתונים בתוך הרשת הפרטית של Google. הנתונים לא עוברים באינטרנט הציבורי כדי להגיע לשירותי Google Cloud , וזה אידיאלי מבחינת אבטחה וביצועים צפויים.

  • שירות Cloud NAT מגיע לשירות Google Cloud על ידי התחברות לנקודת קצה ציבורית של השירות. התנועה יוצאת מרשת ה-VPC דרך שער ה-NAT ועוברת באינטרנט.

איך כל אפשרות פועלת

הנה הסבר על כל מנגנון חיבור:

‏Method הנתיב לשירות נקודת קצה של היעד תרחיש ראשי לדוגמה
גישה פרטית ל-Google רשת פרטית של Google כתובות IP מיוחדות של Google‏ (private.googleapis.com) גישה פשוטה ברמת רשת המשנה למכונות וירטואליות כדי להגיע לממשקי Google API באופן פרטי.
התחברות לשירות פרטי רשת פרטית של Google נקודת קצה (endpoint) עם כתובת IP פרטית בתוך רשת ה-VPC גישה מאובטחת ומפורטת ל-Google APIs, לצדדים שלישיים או לשירותים שלכם.
Cloud NAT אינטרנט ציבורי כתובת ה-IP הציבורית של השירות גישה לאינטרנט לשימוש כללי ממכונות וירטואליות עם כתובות IP פרטיות.

הגדרה של Private Service Connect

כדי להשתמש ב-Private Service Connect עם אשכול Managed Service for Apache Spark, צריך להגדיר את נקודות הקצה של Private Service Connect ואת ה-DNS ברשת ה-VPC לכל ממשקי Google APIs ש-Managed Service for Apache Spark תלוי בהם. הוראות להגדרת רשת המשנה ולהגדרת DNS מופיעות במאמר מידע על גישה ל-Google APIs דרך נקודות קצה.

הפעלת שירותי peering אם צריך

‫Private Service Connect מספק גישה פרטית להרבה שירותים של Google, אבל יכול להיות שתצטרכו להפעיל גם קישור בין רשתות VPC שכנות (peering), במיוחד בתרחישים הבאים:

  • רשתות אחרות של ענן וירטואלי פרטי: Private Service Connect מתחבר לשירותים מנוהלים של Google, ולא ישירות לרשתות VPC אחרות של לקוחות. אם מקורות הנתונים, האפליקציות בהתאמה אישית או שירותים אחרים נמצאים ברשת VPC שונה מהאשכול של Managed Service for Apache Spark, בדרך כלל נדרש קישור בין רשתות VPC שכנות (peering) כדי לאפשר תקשורת פרטית בין הרשתות האלה.

  • רשתות מקומיות: אם אשכול Managed Service for Apache Spark ניגש לנתונים או לשירותים בסביבה המקומית, תצטרכו חיבור Cloud VPN או Cloud Interconnect לרשת המקומית, ולרוב גם קישור VPC.

  • תקשורת פנימית מקיפה עם שירותי Google: למרות ש-Private Service Connect מספק גישה פרטית לשירותי Google מוגדרים, כמו Cloud Storage ו-BigQuery, יכול להיות שתידרש שיוך של VPC לרשת עם נגישות רחבה לשירותי Google כדי לגשת לתקשורת פנימית של מישור הבקרה או לתכונות ספציפיות של Managed Service for Apache Spark, או לממשקי Google API אחרים.

  • גישה למקורות נתונים ברשתות VPC אחרות: אם משימות של Managed Service for Apache Spark קוראות ממקורות נתונים או כותבות למקורות נתונים, כמו Cloud SQL, מסדי נתונים בניהול עצמי ואפליקציות בהתאמה אישית, שנמצאים ברשת VPC אחרת, צריך ליצור קישור בין רשתות VPC שכנות (peering) בין רשת ה-VPC של אשכול Managed Service for Apache Spark לבין רשת ה-VPC שמכילה את מקורות הנתונים האלה. ‫Private Service Connect לא מספק תקשורת בין רשתות VPC בין רשתות בבעלות הלקוח.

  • קישוריות היברידית: לפריסות בענן היברידי שבהן אשכולות של השירות המנוהל ל-Apache Spark צריכים ליצור אינטראקציה עם משאבים במרכז נתונים מקומי, קישור VPC חיוני כדי לחבר את הרשת המקומית לרשת ה-VPC באמצעות Cloud VPN או Cloud Interconnect. Google Cloud

פתרון בעיות ב-Private Service Connect

אם לא הצלחתם ליצור את אשכול Managed Service for Apache Spark עם Private Service Connect (בלי VPC peering) או שנתקלתם בבעיות בקישוריות, תוכלו לפעול לפי השלבים הבאים כדי לפתור את הבעיה:

  • מאשרים את הגישה הנדרשת ל-API:

    • מוודאים שכל ממשקי Google API הנדרשים מופעלים בפרויקט ב- Google Cloud .

  • אימות ההגדרה של נקודת קצה מסוג Private Service Connect:

    • מוודאים שנקודת הקצה של Private Service Connect מוגדרת בצורה נכונה לכל ממשקי Google API שהאשכול דורש, כמו dataproc.googleapis.com,‏ storage.googleapis.com,‏ logging.googleapis.com,‏ bigquery.googleapis.com ו-compute.googleapis.com.

    • כדי לוודא שרשומות ה-DNS של השירותים הנדרשים מתורגמות בצורה נכונה לכתובות ה-IP הפרטיות ברשת ה-VPC שלכם באמצעות נקודת הקצה של Private Service Connect, אתם יכולים להשתמש בכלים כמו dig או nslookup ממכונה וירטואלית ברשת המשנה של ה-VPC.

  • בדיקת הכללים של חומת האש:

    • מוודאים שכללי חומת האש ברשת ה-VPC מאפשרים חיבורים יוצאים ממופעי אשכול של Managed Service for Apache Spark לנקודות קצה של Private Service Connect.

    • אם משתמשים ב-VPC משותף, צריך לוודא שמוגדרים כללי חומת אש מתאימים בפרויקט המארח.

  • בדיקת יומנים של אשכולות Managed Service for Apache Spark:

    • בודקים את היומנים של יצירת האשכול ב-Logging כדי לזהות שגיאות שקשורות לרשת, כמו connection refused, timeout או unreachable host. השגיאות האלה יכולות להצביע על מסלול חסר או על כלל חומת אש שגוי. בודקים את היומנים של המסוף הטורי של מופעי האשכול.

  • הערכת הצורך בקישור בין רשתות VPC שכנות (peering):

    • בהתאם לתלות בעומס העבודה, אם אשכול Managed Service for Apache Spark דורש קישוריות למשאבים שלא מנוהלים על ידי Google, כמו מסדי נתונים ברשת VPC נפרדת ושרתים מקומיים, צריך להגדיר שיוך VPC.

    • בודקים את דרישות הרשת של שירותיGoogle Cloud שהאשכול של Managed Service for Apache Spark מתקשר איתם. יכול להיות שלשירותים מסוימים יהיו דרישות ספציפיות לגבי קישור בין רשתות, גם כשמשתמשים בהם עם Private Service Connect.

שיטות מומלצות

  • תכנון מקיף של ארכיטקטורת הרשת: לפני שמפעילים את Managed Service for Apache Spark עם Private Service Connect, חשוב לתכנן בקפידה את ארכיטקטורת הרשת, תוך התחשבות בכל התלות המשתמעת והמפורשת ובנתיבי זרימת הנתונים. הפעולה הזו כוללת זיהוי של כל ממשקי Google API שאשכול Managed Service for Apache Spark מקיים איתם אינטראקציה במהלך הקצאת המשאבים וההפעלה.

  • בדיקת הקישוריות: במהלך שלבי הפיתוח וההכנה לבדיקה, חשוב לבדוק היטב את הקישוריות של הרשת מאשכול Managed Service for Apache Spark לכל השירותים ומקורות הנתונים הנדרשים.

  • משתמשים ב-Network Intelligence Center: משתמשים בכלים של Network Intelligence Center, כמו בדיקות קישוריות, כדי לאבחן ולפתור בעיות בקישוריות לרשת. Google Cloud

המאמרים הבאים