"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

הגדרת רשת ב-Managed Service for Apache Spark

במסמך הזה מתוארות הדרישות להגדרת הרשת של Managed Service for Apache Spark.

דרישות לגבי רשתות משנה בענן וירטואלי פרטי (VPC)

במסמך הזה מתוארות הדרישות של רשת הענן הווירטואלי הפרטי (VPC) עבור עומסי עבודה של אצווה וסשנים אינטראקטיביים ב-Managed Service for Apache Spark.

גישה פרטית ל-Google

Managed Service for Apache Spark לעומסי עבודה של אצווה ולסשנים אינטראקטיביים פועל במכונות וירטואליות (VM) עם כתובות IP פנימיות בלבד, וברשת משנה אזורית עם גישה פרטית ל-Google‏ (PGA) שמופעלת אוטומטית ברשת המשנה.

אם לא מציינים רשת משנה, Managed Service for Apache Spark בוחר את רשת המשנה default באזור של עומס העבודה או הסשן של אצווה כרשת המשנה של עומס העבודה או הסשן של אצווה.

אם עומס העבודה שלכם דורש גישה לרשת חיצונית או לאינטרנט, למשל כדי להוריד משאבים כמו מודלים של ML מ-PyTorch Hub או מ-Hugging Face, אתם יכולים להגדיר Cloud NAT כדי לאפשר תעבורה יוצאת באמצעות כתובות IP פנימיות ברשת ה-VPC.

פתיחת הקישוריות של רשת המשנה

ברשת המשנה של ה-VPC באזור שנבחר לעומס העבודה של אצווה או לסשן אינטראקטיבי של Managed Service for Apache Spark, צריך לאפשר תקשורת פנימית בכל הפורטים בין מופעי ה-VM ברשת המשנה.

כדי למנוע מתסריטים זדוניים בעומס עבודה אחד להשפיע על עומסי עבודה אחרים, אמצעי אבטחה שמוגדרים כברירת מחדל נפרסים ב-Managed Service for Apache Spark.

הפקודה הבאה של Google Cloud CLI מצרפת חומת אש ברשת לתת-רשת שמאפשרת תקשורת פנימית של תעבורת נכנסת בין מכונות וירטואליות באמצעות כל הפרוטוקולים בכל היציאות:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

הערות:

SUBNET_RANGES: ראו מתן הרשאה לחיבורי כניסה פנימיים בין מכונות וירטואליות. רשת ה-VPC‏ default בפרויקט עם כלל חומת האש default-allow-internal, שמאפשר תקשורת נכנסת בכל היציאות (tcp:0-65535,‏ udp:0-65535 ו-icmp protocols:ports), עומדת בדרישה של קישוריות לרשת משנה פתוחה. עם זאת, הכלל הזה מאפשר גם תעבורה נכנסת מכל מכונת VM ברשת.

שימוש בתגי רשת כדי להגביל את הקישוריות. בסביבת ייצור, מומלץ להגביל את הכללים של חומת האש לכתובות ה-IP שמשמשות את עומסי העבודה של Spark.

מדיניות חומת אש אזורית במערכת שנוצרת באופן אוטומטי

כדי לעמוד בדרישה של קישוריות פתוחה לרשת משנה, עומסי עבודה של עיבוד ברצף (batch processing) וסשנים אינטראקטיביים של Managed Service for Apache Spark שמשתמשים בגרסה 3.0 ואילך של זמן הריצה יוצרים באופן אוטומטי מדיניות אזורית של חומת אש במערכת dataproc-firewall-policy-[network-id]-region או dataproc-fw-[network-id]-region ברשת המשנה של ה-VPC של העיבוד ברצף או הסשן. המדיניות הזו מכילה את הכללים הבאים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress).

שם	מטרה	עדיפות	כיוון	פעולה	מקור ויעד	פרוטוקולים ויציאות
`dataproc-allow-internal-ingress-rule-[subnetworkId]`	מאפשרת את כל התקשורת הפנימית הנדרשת רק ממכונות וירטואליות אחרות של Managed Service for Apache Spark עם תגים באותה רשת משנה.	4	INGRESS	אישור	‫`srcSecureTag`: ערך תג מאובטח לתת-הרשת הזו. ‫`targetSecureTags`:ערך תג מאובטח לתת-הרשת הזו.	פרוטוקולים:יציאות tcp:0-65535, udp:0-65535, icmp
`dataproc-allow-internal-egress-rule-[subnetworkId]`	מאפשר למכונות וירטואליות של Managed Service for Apache Spark להוריד חבילות, למשל pip ו-apt-get, ולגשת לממשקי Google APIs באמצעות גישה פרטית ל-Google.	5	יציאה	אישור	`destIpRanges`: 0.0.0.0/0. ‫`targetSecureTags`:ערך תג מאובטח לתת-הרשת הזו.	פרוטוקולים:יציאות tcp:0-65535, udp:0-65535, icmp

הערות:

‫Managed Service for Apache Spark מספק פרויקט של דייר (tenant) שמשויך לפרויקט המשתמש, כדי לאחסן תגים מאובטחים. ‫Managed Service for Apache Spark יוצר תג מאובטח לרשת המשנה בפרויקט הדייר ומצרף אותו למכונות הווירטואליות של Managed Service for Apache Spark. כך אפשר לוודא שמדיניות חומת האש של המערכת שנוצרה חלה רק על מכונות וירטואליות של Managed Service for Apache Spark.
אין תמיכה במדיניות חומת אש של המערכת שנוצרת באופן אוטומטי ב-Shared VPC.

‫Managed Service for Apache Spark ורשתות VPC-SC

בעזרת VPC Service Controls, אדמינים של רשתות יכולים להגדיר מתחם אבטחה היקפית מסביב למשאבים של שירותים שמנוהלים על ידי Google, וכך לשלוט בתקשורת אל השירותים האלה וביניהם.

כשמשתמשים ברשתות VPC-SC עם Managed Service for Apache Spark, כדאי לשקול את האסטרטגיות הבאות:

הגדרת קישוריות פרטית
יוצרים תמונת קונטיינר בהתאמה אישית שמבצעת התקנה מראש של תלות מחוץ להיקף של VPC-SC, ואז שולחים עומס עבודה של Spark batch שמשתמש בתמונת הקונטיינר בהתאמה אישית.

מידע נוסף זמין במאמר בנושא VPC Service Controls – Managed Service for Apache Spark.