הגדרת רשת ב-Serverless for Apache Spark

במסמך הזה מפורטות הדרישות להגדרת הרשת של Google Cloud Serverless for Apache Spark.

דרישות לגבי תת-רשתות בענן וירטואלי פרטי (VPC)

במסמך הזה מוסבר על הדרישות של רשת הענן הווירטואלי הפרטי (VPC) עבורGoogle Cloud עומסי עבודה של אצווה וסשנים אינטראקטיביים ב-Serverless ל-Apache Spark.

גישה פרטית ל-Google

עומסי עבודה של אצווה ב-Apache Spark וסשנים אינטראקטיביים ללא שרת (serverless) פועלים במכונות וירטואליות עם כתובות IP פנימיות בלבד, וברשת משנה אזורית עם גישה פרטית ל-Google‏ (PGA) שמופעלת אוטומטית ברשת המשנה.

אם לא מציינים רשת משנה, Serverless for Apache Spark בוחר את רשת המשנה default באזור של עומס העבודה או הסשן כרשת המשנה של עומס העבודה או הסשן.

אם עומס העבודה שלכם דורש גישה לרשת חיצונית או לאינטרנט, למשל כדי להוריד משאבים כמו מודלים של ML מ-PyTorch Hub או מ-Hugging Face, אתם יכולים להגדיר Cloud NAT כדי לאפשר תעבורה יוצאת באמצעות כתובות IP פנימיות ברשת ה-VPC שלכם.

פתיחת הקישוריות של רשת המשנה

ברשת המשנה של ה-VPC באזור שנבחר עבור עומס העבודה של אצווה או סשן אינטראקטיבי של Serverless for Apache Spark, צריך לאפשר תקשורת פנימית בין רשתות משנה בכל הפורטים בין מופעי מכונות וירטואליות.

הפקודה הבאה ב-Google Cloud CLI מצרפת חומת אש בין רשתות לרשת משנה שמאפשרת תקשורת פנימית של תעבורת נתונים נכנסת בין VM באמצעות כל הפרוטוקולים בכל היציאות:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

הערות:

SUBNET_RANGES: ראו איך מאפשרים חיבורי Ingress פנימיים בין מכונות וירטואליות. רשת ה-VPC‏ default בפרויקט עם כלל חומת האש default-allow-internal, שמאפשר תעבורת נתונים נכנסת (ingress) בכל היציאות (tcp:0-65535,‏ udp:0-65535 ו-icmp protocols:ports), עומדת בדרישה של קישוריות לרשת משנה פתוחה. עם זאת, הכלל הזה מאפשר גם תעבורת נכנסת מכל מופע VM ברשת.

שימוש בתגי רשת להגבלת הקישוריות. בסביבת ייצור, מומלץ להגביל את כללי חומת האש לכתובות ה-IP שמשמשות את עומסי העבודה של Spark.

‫Serverless ל-Apache Spark ורשתות VPC-SC

בעזרת VPC Service Controls, מנהלי רשת יכולים להגדיר גבולות גזרה מסביב למשאבים של שירותים מנוהלים של Google, כדי לשלוט בתקשורת אל השירותים האלה וביניהם.

כשמשתמשים ברשתות VPC-SC עם Serverless for Apache Spark, חשוב לשים לב לשיטות הבאות:

הגדרת קישוריות פרטית
יוצרים קובץ אימג' של קונטיינר בהתאמה אישית שמתקין מראש תלות מחוץ לגבולות הגזרה של VPC-SC, ואז שולחים עומס עבודה של Spark Batch שמשתמש בקובץ האימג' של הקונטיינר בהתאמה אישית.

מידע נוסף זמין במאמר בנושא VPC Service Controls – Serverless for Apache Spark.