רשתות של אשכולות Managed Service for Apache Spark עם Private Service Connect

באמצעות Private Service Connect עם Managed Service for Apache Spark, אתם יכולים לחבר עומסי עבודה של אשכולות לממשקי Google API ולשירותים מנוהלים באמצעות כתובות IP פרטיות בתוך רשת הענן הווירטואלי הפרטי (VPC). הגישה הזו מאפשרת להעביר את תנועת הנתונים מחוץ לאינטרנט הציבורי, תוך אבטחת התקשורת עם נקודות קצה נתמכות.

אם עומסי העבודה שלכם דורשים גישה למקורות נתונים ברשתות VPC אחרות או בסביבות מקומיות, אתם יכולים לשלב את Private Service Connect עם קישור בין רשתות VPC שכנות (peering), עם Cloud VPN או עם Cloud Interconnect. כדי לבחור את הגדרת הרשת המתאימה לאשכולות Spark, חשוב להבין את ההבדלים בין Private Service Connect לבין גישה פרטית ל-Google ו-Cloud NAT.

בדף הזה מוסבר איך להגדיר קישוריות לרשת באשכולות של Managed Service for Apache Spark כשמשתמשים ב-Private Service Connect. במאמר מוסבר על האינטראקציה בין Private Service Connect לבין קישור בין רשתות VPC שכנות (peering) בתרחישים שונים של שימוש ב-Managed Service for Apache Spark. בנוסף, מסוכמים בו קווי הדמיון וההבדלים בין התכונות של גישה פרטית ל-Google, ‏Private Service Connect ו-Cloud NAT.

סקירה כללית

כדי שאשכולות Managed Service for Apache Spark יפעלו, צריך חיבור לרשת של ממשקי API ושירותים שלGoogle Cloud , כמו Dataproc API, ‏ Cloud Storage ו-Cloud Logging, וגם למשאבי משתמשים, כמו מקורות נתונים ברשתות VPC אחרות או בסביבות מקומיות.

כברירת מחדל, אשכולות של Managed Service for Apache Spark שנוצרו עם גרסאות אימג' 2.2 ואילך נוצרים עם כתובות IP פנימיות בלבד. ‫Managed Service for Apache Spark מפעיל באופן אוטומטי את הגישה הפרטית ל-Google ברשת המשנה האזורית שמשמשת את האשכול עם כתובת ה-IP הפנימית בלבד, כדי לאפשר חיבורים ל-Google APIs ולשירותים של Google בלי להתחבר לאינטרנט הציבורי.

כדי לקבל שליטה פרטנית יותר ברשת, אתם יכולים להגדיר אשכול לשימוש ב-Private Service Connect, שמנתב את תעבורת הנתונים לממשקי Google APIs ולשירותים נתמכים של Google דרך נקודת קצה פרטית ברשת ה-VPC שלכם. האפשרות הזו יכולה להועיל מבחינת אבטחה ותאימות.

אפשרויות נפוצות לרשתות פרטיות

בקטע הזה מתוארים המאפיינים של גישה פרטית ל-Google, של Private Service Connect ושל Cloud NAT, וההבדלים ביניהם.

  • גישה פרטית ל-Google היא נתיב חד-כיווני שמאפשר למכונות וירטואליות להגיע לשירותים הציבוריים של Google בלי להשתמש באינטרנט. זה דומה ליציאה מיוחדת מהשכונה שלכם (רשת המשנה של ה-VPC) שמובילה ישירות לקניון של שירותי Google, בלי לעבור בכבישים ציבוריים. כל מי שגר בשכונה יכול להשתמש בו. ‫Managed Service for Apache Spark מפעיל באופן אוטומטי את "גישה פרטית ל-Google" ברשת המשנה האזורית שמשמשת את אשכולות Managed Service for Apache Spark שנוצרו עם גרסת קובץ אימג' 2.2 ואילך.

  • ‫Private Service Connect יוצר נקודת קצה פרטית דו-כיוונית לשירות שנמצא ברשת ה-VPC שלכם. הוא דומה לנתיב פרטי ייעודי מהמיקום שלכם (רשת VPC) ישירות לשירות. יש לו כתובת במיקום שלכם (כתובת IP פנימית ברשת ה-VPC) ורק אתם יכולים להשתמש בו.

  • ‫Cloud NAT מאפשר למכונות וירטואליות עם כתובות IP פרטיות לגשת לאינטרנט.

תכונות והבדלים

תכונה גישה פרטית ל-Google‏ (PGA) ‫Private Service Connect ‏(PSC)
איך זה עובד מפנה תנועה ממכונה וירטואלית לטווח כתובות IP מיוחד של Google‏ (private.googleapis.com). יוצר כלל העברה (נקודת קצה) בתוך רשת ה-VPC שמייצגת את שירות Google.
כתובת IP המכונה הווירטואלית מתחברת לכתובת IP שבבעלות Google. המכונה הווירטואלית מתחברת לכתובת IP פנימית שבבעלותכם ברשת ה-VPC.
כיוון יוצא בלבד: המכונה הווירטואלית יוצרת חיבור ל-Google. דו-כיווני: ה-VM מתחבר לשירות, והשירות יכול ליזום תנועה חוזרת.
היקף מופעלת או מושבתת ברשת משנה שלמה. פריסה כמשאב ספציפי של נקודת קצה.
שירותים מתחבר רק לממשקי Google API, כמו Cloud Storage,‏ BigQuery או Dataproc API. מתחבר לממשקי API של Google, לשירותים של חברות אחרות ולשירותים שלכם.

ב-Managed Service for Apache Spark, גישה פרטית ל-Google היא השיטה הפשוטה והנפוצה יותר שמאפשרת למכונות הווירטואליות באשכול ליצור קשר עם מישור הבקרה של Managed Service for Apache Spark. ‫Private Service Connect היא גישה חדשה וגמישה יותר שמאפשרת לכם שליטה מדויקת, במיוחד ברשתות מורכבות או עם כמה דיירים.

למה כדאי להשתמש ב-Private Service Connect? גם אם לאשכול Managed Service for Apache Spark יש כתובות IP פנימיות בלבד עם גישה פרטית ל-Google (הגדרת ברירת המחדל לאשכולות של גרסת אימג' 2.2+), ל-Private Service Connect יש את היתרונות הבאים:

  • במקום להשתמש בקבוצה המשותפת של נקודות הקצה (endpoints) של גישה פרטית ל-Google כדי להתחבר ל-Google APIs ולשירותים של Google, אתם יכולים להשתמש ב-Private Service Connect כדי ליצור נקודת קצה פרטית עם כתובת IP פנימית בתוך רשת ה-VPC, שממפה ישירות לשירות ספציפי של Google.

  • אתם יכולים ליצור כללים של חומת אש שמאפשרים תעבורת נתונים רק לכתובת ה-IP של נקודת הקצה של Private Service Connect. לדוגמה, אתם יכולים להגדיר כלל שמאפשר תנועה יוצאת מהמכונות הווירטואליות של אשכול Managed Service for Apache Spark רק לכתובת ה-IP הפנימית של נקודת הקצה של Private Service Connect ל-BigQuery, ודוחה את כל שאר התנועה היוצאת. הגישה הזו מאובטחת יותר מאשר יצירת כללים רחבים יותר של חומת אש באמצעות גישה פרטית ל-Google.

  • השימוש בנקודת הקצה של Private Service Connect ברשת ה-VPC הופך את נתיב הרשת לגלוי וקל יותר לבדיקה לצורכי אבטחה ותאימות, כי תנועה לשירות כמו Cloud Storage לא חולקת נתיב עם תנועת API אחרת.

נתיבים פרטיים וציבוריים

גישה פרטית ל-Google, ‏Private Service Connect ו-Cloud NAT מאפשרים למארחים עם כתובות RFC 1918 להגיע לשירותיGoogle Cloud . הם גם מאפשרים למשאבים עם כתובות RFC 1918 פרטיות ליזום חיבורים לשירותי Google Cloud . Google Cloud

כשבוחנים אפשרויות חיבור שונות, חשוב להבחין אם תעבורת הנתונים בחיבור נשארת פרטית או עוברת דרך האינטרנט הציבורי.

  • גישה פרטית ל-Google ו-Private Service Connect שומרים על תעבורת הנתונים בתוך הרשת הפרטית של Google. הנתונים לא עוברים דרך האינטרנט הציבורי כדי להגיע לשירותי Google Cloud , וזה אידיאלי לאבטחה ולביצועים צפויים.

  • כדי להגיע לשירות Google Cloud , Cloud NAT מתחבר לנקודת קצה ציבורית של השירות. תעבורת הנתונים יוצאת מרשת ה-VPC דרך שער ה-NAT ועוברת דרך האינטרנט.

איך כל אפשרות פועלת

פירוט של כל מנגנון חיבור:

‏Method הנתיב לשירות נקודת הקצה של היעד תרחיש ראשי לדוגמה
גישה פרטית ל-Google הרשת הפרטית של Google ‫כתובות IP מיוחדות של Google‏ (private.googleapis.com) גישה פשוטה ברמת רשת המשנה למכונות וירטואליות כדי להגיע לממשקי Google API באופן פרטי.
התחברות לשירות פרטי הרשת הפרטית של Google נקודת קצה (endpoint) של כתובת IP פרטית בתוך רשת ה-VPC גישה מאובטחת ופרטנית ל-Google APIs, לצדדים שלישיים או לשירותים שלכם.
Cloud NAT אינטרנט ציבורי כתובת ה-IP הציבורית של השירות גישה לאינטרנט יוצא למטרות כלליות למכונות וירטואליות עם כתובות IP פרטיות.

הגדרת Private Service Connect

כדי להשתמש ב-Private Service Connect עם אשכול Managed Service for Apache Spark, צריך להגדיר את נקודות הקצה של Private Service Connect ואת ה-DNS ברשת ה-VPC לכל ממשקי ה-Google API ש-Managed Service for Apache Spark תלוי בהם. הוראות להגדרת רשת המשנה וה-DNS מפורטות במאמר מידע על גישה ל-Google APIs דרך נקודות קצה.

הפעלת קישור בין רשתות שכנות (peering) במקרה הצורך

למרות ש-Private Service Connect מספק גישה פרטית לשירותים רבים של Google, יכול להיות שתצטרכו להפעיל גם קישור בין רשתות VPC שכנות (peering), במיוחד בתרחישים הבאים:

  • רשתות VPC אחרות: Private Service Connect מתחבר לשירותים שמנוהלים על ידי Google, ולא ישירות לרשתות VPC של לקוחות אחרים. אם מקורות הנתונים, האפליקציות בהתאמה אישית או שירותים אחרים נמצאים ברשת VPC שונה מזו של אשכול Managed Service for Apache Spark, בדרך כלל נדרש קישור בין רשתות VPC שכנות (peering) כדי לאפשר תקשורת פרטית בין הרשתות האלה.

  • רשתות מקומיות: אם האשכול של Managed Service for Apache Spark ניגש לנתונים או לשירותים בסביבה המקומית, תצטרכו חיבור של Cloud VPN או Cloud Interconnect לרשת המקומית, בדרך כלל בשילוב עם קישור VPC לרשתות שכנות (peering).

  • תקשורת פנימית מקיפה לשירותי Google: למרות ש-Private Service Connect מספק גישה פרטית לשירותי Google שהוגדרו, כמו Cloud Storage ו-BigQuery, יכול להיות שתקשורת פנימית של מישור הבקרה או תכונות ספציפיות של Managed Service for Apache Spark ידרשו קישור בין רשתות VPC לרשת עם נגישות רחבה לשירותי Google, כדי לגשת לתשתית הבסיסית של Google או לממשקי Google API אחרים.

  • גישה למקורות נתונים ברשתות VPC אחרות: אם המשימות של Managed Service for Apache Spark קוראות ממקורות נתונים או כותבות למקורות נתונים, כמו Cloud SQL, מסדי נתונים בניהול עצמי ואפליקציות בהתאמה אישית, שנמצאים ברשת VPC אחרת, צריך ליצור קישור בין רשתות VPC שכנות (peering) בין רשת ה-VPC של אשכול Managed Service for Apache Spark לבין רשת ה-VPC שמכילה את מקורות הנתונים האלה. ‫Private Service Connect לא מספק תקשורת בין רשתות VPC בבעלות הלקוח.

  • קישוריות היברידית: בפריסות של ענן היברידי שבהן אשכולות של Managed Service for Apache Spark צריכים לתקשר עם משאבים במרכז נתונים מקומי, חובה להשתמש בקישור VPC כדי לחבר את הרשת המקומית לרשת ה-VPC ב- Google Cloud באמצעות Cloud VPN או Cloud Interconnect.

פתרון בעיות ב-Private Service Connect

אם לא הצלחתם ליצור אשכול Managed Service for Apache Spark עם Private Service Connect (בלי קישור לרשתות שכנות ב-VPC), או אם יש בעיות בקישוריות, נסו את השלבים הבאים כדי לפתור את הבעיה:

  • מאשרים את הגישה הנדרשת ל-API:

    • מוודאים שכל ממשקי ה-API הנדרשים של Google מופעלים בפרויקט ב- Google Cloud .
  • אימות ההגדרה של נקודת הקצה של Private Service Connect:

    • מוודאים שנקודת הקצה של Private Service Connect מוגדרת בצורה נכונה לכל ממשקי ה-Google API שהאשכול דורש, כמו dataproc.googleapis.com,‏ storage.googleapis.com,‏ logging.googleapis.com,‏ bigquery.googleapis.com ו-compute.googleapis.com.

    • כדי לוודא שרשומות ה-DNS של השירותים הנדרשים מתאימות לכתובות ה-IP הפרטיות ברשת ה-VPC באמצעות נקודת הקצה של Private Service Connect, אתם יכולים להשתמש בכלים כמו dig או nslookup ממכונה וירטואלית ברשת המשנה של ה-VPC.

  • בודקים את הכללים של חומת האש:

    • מוודאים שהכללים של חומת האש ברשת ה-VPC מאפשרים חיבורים יוצאים ממכונות של אשכולות Managed Service for Apache Spark לנקודות קצה של Private Service Connect.

    • אם משתמשים ב-VPC משותף, חשוב לוודא שכללי חומת האש המתאימים מוגדרים בפרויקט המארח.

  • בודקים את יומני האשכולות של Managed Service for Apache Spark:

    • בודקים את יומני הרישום של יצירת האשכולות ב-Logging כדי לאתר שגיאות שקשורות לרשת, כמו connection refused, timeout או unreachable host. השגיאות האלה יכולות להצביע על מסלול חסר או על כלל שגוי בחומת האש. בודקים את היומנים של הקונסולה הטורית של המכונות באשכול.
  • הערכת הצורך בקישור בין רשתות VPC שכנות (peering):

    • בהתאם לתלויות של עומסי העבודה, אם אשכול Managed Service for Apache Spark דורש קישוריות למשאבים שלא מנוהלים על ידי Google, כמו מסדי נתונים ברשת VPC נפרדת ושרתים מקומיים, צריך להגדיר קישור VPC.

    • בודקים את דרישות הרשת של השירותים שמתקשרים עם האשכול של Managed Service for Apache Spark.Google Cloud יכול להיות שלשירותים מסוימים יהיו דרישות ספציפיות לגבי קישור בין רשתות שכנות, גם כשמשתמשים ב-Private Service Connect.

שיטות מומלצות

  • תכנון מקיף של ארכיטקטורת הרשת: לפני שפורסים את Managed Service for Apache Spark עם Private Service Connect, חשוב לתכנן בקפידה את ארכיטקטורת הרשת, תוך התחשבות בכל יחסי התלות המשתמעים והמפורשים ובנתיבי זרימת הנתונים. זה כולל זיהוי של כל ממשקי ה-API של Google שאשכול Managed Service for Apache Spark יוצר איתם אינטראקציה במהלך ההקצאה וההפעלה.

  • בדיקת הקישוריות: בודקים ביסודיות את הקישוריות לרשת מאשכול Managed Service for Apache Spark לכל השירותים ומקורות הנתונים הנדרשים במהלך שלבי הפיתוח וה-staging.

  • שימוש ב-Network Intelligence Center: משתמשים בכלים של Google Cloud Network Intelligence Center, כמו Connectivity Tests, כדי לאבחן ולפתור בעיות בקישוריות לרשת.

המאמרים הבאים