"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

הגדרת רשת ב-Managed Service for Apache Spark

הגדרת רשת של ענן וירטואלי פרטי (VPC) ב-Managed Service for Apache Spark מאפשרת לחבר בצורה מאובטחת עומסי עבודה למשאבים פנימיים של פרויקטים ול-Google APIs. הגדרות הרשתות המשניות וחומת האש האלה עוזרות למנהלי ההתקנים ולמבצעים של Spark לתקשר ישירות, תוך עמידה בדרישות של מדיניות האבטחה של הארגון.

דרישות לרשת VPC

במאמר הזה מוסברות הדרישות של רשת ה-VPC לעומסי עבודה באצווה ולסשנים אינטראקטיביים ב-Managed Service for Apache Spark.

גישה פרטית ל-Google

עומסי עבודה באצווה וסשנים אינטראקטיביים של Managed Service for Apache Spark פועלים במכונות וירטואליות עם כתובות IP פנימיות בלבד, וברשת משנה אזורית שמופעלת בה באופן אוטומטי גישה פרטית ל-Google‏ (PGA).

אם לא תציינו רשת משנה, Managed Service for Apache Spark יבחר את רשת המשנה default באזור של עומס העבודה באצווה או הסשן כרשת המשנה של עומס העבודה באצווה או הסשן.

אם עומס העבודה דורש גישה לרשת חיצונית או לאינטרנט, למשל כדי להוריד משאבים כמו מודלים של למידת מכונה מ-PyTorch Hub או מ-Hugging Face, אתם יכולים להגדיר את Cloud NAT כדי לאפשר תנועה יוצאת באמצעות כתובות IP פנימיות ברשת ה-VPC.

פתיחת הקישוריות של רשת המשנה

ברשת המשנה של ה-VPC באזור שנבחר לסשן האינטראקטיבי או לעומס העבודה באצווה של Managed Service for Apache Spark, צריכה להיות אפשרות לתקשורת פנימית בכל היציאות בין מכונות וירטואליות ברשת המשנה.

כדי למנוע מסקריפטים זדוניים בעומס עבודה אחד להשפיע על עומסי עבודה אחרים, Managed Service for Apache Spark פורס אמצעי אבטחה שמוגדרים כברירת מחדל.

הפקודה הבאה של Google Cloud CLI מצרפת חומת אש של רשת לרשת משנה שמאפשרת תקשורת פנימית נכנסת בין מכונות וירטואליות, באמצעות כל הפרוטוקולים בכל היציאות:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

הערות:

SUBNET_RANGES: ראו איך מאפשרים חיבורים פנימיים נכנסים בין מכונות וירטואליות. רשת ה-VPC‏ default בפרויקט עם כלל חומת האש default-allow-internal, שמאפשר תקשורת נכנסת בכל היציאות (tcp:0-65535,‏ udp:0-65535 ו-icmp protocols:ports), עומדת בדרישה של קישוריות פתוחה ברשת המשנה. עם זאת, הכלל הזה גם מאפשר תעבורת נתונים נכנסת מכל מכונה וירטואלית ברשת.

שימוש בתגי רשת כדי להגביל את הקישוריות. בסביבת ייצור, מומלץ להגביל את הכללים של חומת האש לכתובות ה-IP שמשמשות את עומסי העבודה של Spark.

מדיניות חומת אש אזורית של המערכת שנוצרה באופן אוטומטי

כדי לעמוד בדרישה של קישוריות פתוחה של רשתות משנה, עומסי עבודה באצווה וסשנים אינטראקטיביים של Managed Service for Apache Spark שמשתמשים בגרסת זמן הריצה 3.0 ואילך יוצרים באופן אוטומטי מדיניות אזורית של חומת אש ברמת המערכת, dataproc-firewall-policy-[network-id]-region או dataproc-fw-[network-id]-region, ברשת המשנה של ה-VPC של האצווה או הסשן. המדיניות הזו מכילה את הכללים הבאים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress).

שם	מטרה	עדיפות	כיוון	פעולה	מקור ויעד	פרוטוקול ויציאות
`dataproc-allow-internal-ingress-rule-[subnetworkId]`	מאפשרת את כל התקשורת הפנימית הנדרשת רק ממכונות וירטואליות מתויגות אחרות של Managed Service for Apache Spark באותה רשת משנה.	4	INGRESS	אישור	‫`srcSecureTag`: ערך התג המאובטח של רשת המשנה הזו. ‫`targetSecureTags`:ערך התג המאובטח של רשת המשנה הזו.	פרוטוקולים:יציאות tcp:0-65535, udp:0-65535, icmp
`dataproc-allow-internal-egress-rule-[subnetworkId]`	מאפשר למכונות הווירטואליות של Managed Service for Apache Spark להוריד חבילות, כמו pip ו-apt-get, ולגשת לממשקי Google API באמצעות גישה פרטית ל-Google.	5	EGRESS	אישור	`destIpRanges`: 0.0.0.0/0. ‫`targetSecureTags`:ערך התג המאובטח של רשת המשנה הזו.	פרוטוקולים:יציאות tcp:0-65535, udp:0-65535, icmp

הערות:

‫Managed Service for Apache Spark מקצה פרויקט דייר (tenant) שמשויך לפרויקט של המשתמש כדי לאחסן תגים מאובטחים. ‫Managed Service for Apache Spark יוצר תג מאובטח לרשת המשנה בפרויקט של הדייר (tenant) ומצרף אותו למכונות הווירטואליות של Managed Service for Apache Spark. כך מובטח שמדיניות חומת האש של המערכת שנוצרה תחול רק על המכונות הווירטואליות של Managed Service for Apache Spark.
מדיניות חומת האש של המערכת שנוצרה באופן אוטומטי לא נתמכת ב-VPC משותף.

‫Managed Service for Apache Spark ורשתות VPC-SC

בעזרת VPC Service Controls, מנהלי רשתות יכולים להגדיר מתחם אבטחה היקפית מסביב למשאבים של שירותים בניהול Google, כדי לשלוט בתקשורת אל השירותים האלה וביניהם.

כשמשתמשים ברשתות VPC-SC עם Managed Service for Apache Spark, כדאי להביא בחשבון את האסטרטגיות הבאות:

הגדרת קישוריות פרטית.
יוצרים קובץ אימג' של קונטיינר בהתאמה אישית שמתקין מראש יחסי תלות מחוץ להיקף VPC-SC, ואז שולחים עומס עבודה של Spark באצווה שמשתמש בקובץ האימג' של הקונטיינר בהתאמה אישית.

מידע נוסף מופיע במאמר VPC Service Controls – Managed Service for Apache Spark.