במדריך הזה מוסבר למפתחים, לאדמינים ולצופים ב-Spark איך לקבל את ההרשאות שנדרשות כדי להתחיל להשתמש ב-Managed Service for Apache Spark בלי שרת (serverless) לעומסי עבודה באצווה ולסשנים אינטראקטיביים.
| פרסונה | מה התפקיד שלהם בארגון | מה הם צריכים מ-IAM |
|---|---|---|
| מפתח Spark | הגורם שבונה את הפלטפורמה והגורם שמשתמש בה. כותב ומריץ משימות PySpark ו-Spark, מפתח ב-notebooks ובסשנים, קורא וכותב מערכי נתונים, עוקב אחרי עומסי העבודה ופותר בהם בעיות. זה כולל מהנדסי מערכות מידע, מדעני נתונים ומפתחים. | הרשאות לשליחה, להפעלה, למעקב ולפתרון בעיות בעומסי עבודה, ולקריאה ולכתיבה של הנתונים שהמשימות שלהם נוגעות בהם. |
| אדמין ב-Spark | הבעלים והמנהל של הפלטפורמה. מגדיר את הפרויקט, מחליט איך עומסי העבודה מאומתים, מכשיר מפתחי Spark, מנהל חשבונות שירות משותפים ואוכף את אמצעי ההגנה של הארגון ואת ההרשאות המינימליות. נקרא גם "מנהל הפלטפורמה". | הרשאות לתת גישה לאחרים, להגדיר זהות להרצה (פרטי כניסה של משתמש קצה או חשבון שירות משותף) ולנהל משאבים בלי שרת (serverless) ברמת הפרויקט. |
| מציג Spark | הצופה והמבקר של הפלטפורמה. מעקב אחרי השלמת משימות, היסטוריית ביצוע, מדדים ומרכזי בקרה בלי לשלוח או לשנות עומסי עבודה. כולל אנליסטים, מנהלי פרויקטים, FinOps ומבקרי תאימות. | הרשאות לקריאה בלבד כדי להציג קבוצות, סשנים, פעולות ולוחות בקרה של סטטוסים. |
בחירת גרסת סביבת זמן ריצה
גרסת זמן הריצה המומלצת תלויה בגרסת Apache Spark שבה פועלים עומסי העבודה שלכם.
Runtime
3.x(מומלץ): משתמש ב-Spark4, וההגדרה והשימוש בו פשוטים יותר. כברירת מחדל, עומסי העבודה פועלים בתור המשתמש ששלח אותם, עם פרטי הכניסה של משתמש הקצה (EUC). לכן צריך להקצות למשתמש תפקיד IAM אחד. אדמינים יכולים להגדיר חשבונות שירות בהתאמה אישית לעומסי עבודה, לשימוש מתקדם יותר.Runtime
2.x: משתמש ב-Spark3.5ובחשבונות נפרדים לשליחה ולעומס העבודה. כברירת מחדל, המגיש הוא זהות המשתמש, וחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine הוא Workload Identity. אדמינים יכולים להגדיר חשבונות שירות בהתאמה אישית לעומסי עבודה, כדי לקבל בקרת גישה מפורטת יותר.
מידע נוסף זמין במאמר גרסאות סביבת זמן הריצה של Managed Service for Apache Spark.
השוואת תכונות
סביבת זמן הריצה של 3.x משדרגת את הרכיבים והיכולות של 2.x, ומספקת הגדרה פשוטה יותר:
| יכולת ותהליך עבודה | זמן ריצה 3.x (מומלץ) |
סביבת זמן הריצה 2.x |
|---|---|---|
| גרסת Apache Spark | Spark 4 | Spark 3.5 (וגרסאות קודמות של 3.x) |
| פיתוח אינטראקטיבי | סשנים של Spark Connect (לקוח Spark אינטראקטיבי בסטנדרט המקובל בתחום) | סשנים של Jupyter |
| עומסי עבודה של אצוות R | sparklyr |
אצוות SparkR |
| זהות הביצוע | פרטי כניסה של משתמשי קצה (EUC)1 | חשבון שירות 1 |
| אחסון להכנת משימות | לא נדרש (מנוהל באופן פנימי) | קטגוריות זמניות ב-Cloud Storage |
| פורמט הפלט של היומן | פורמט JSON מובנה (jsonPayload) |
פורמט טקסט פשוט (textPayload) |
1 כברירת מחדל, זמן הריצה של 3.x משתמש בפרטי הכניסה של משתמש הקצה (EUC) של מי ששלח את הבקשה, אלא אם צוין חשבון שירות בהתאמה אישית לעומס העבודה או לסשן.
סביבת זמן הריצה 2.x משתמשת כברירת מחדל בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, אלא אם צוין חשבון שירות בהתאמה אישית לעומס העבודה או לסשן.
תפקידים נפוצים של נתונים ושירותים
בדרך כלל, Managed Service for Apache Spark משמש לקריאה ולכתיבה של שירותיGoogle Cloud אחרים. בקטע הזה מפורטים תפקידים שמשויכים לשירותים נפוצים.
- זמן ריצה
3.x(זהות EUC שמוגדרת כברירת מחדל): מקצים תפקידים למפתח Spark (משתמש או קבוצה). - זמן ריצה
2.x: מקצים תפקידים לחשבון השירות של עומס העבודה (חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine או חשבון שירות בהתאמה אישית של עומס העבודה).
| שירות או API | תפקיד | מטרה |
|---|---|---|
| Cloud Storage | roles/storage.objectViewerroles/storage.objectAdmin |
קריאת נתוני קלט וסקריפטים בשלבי פיתוח. כתיבת נתוני פלט. |
| קטלוג ייעודי לזמן ריצה של BigLake ו-Lakehouse | roles/biglake.viewerroles/biglake.editorroles/biglake.admin |
אתם יכולים לשלוח שאילתות ולנהל פורמטים של טבלאות פתוחות, כמו Apache Iceberg ו-Delta Lake, באמצעות קטלוג BigLake REST (קטלוג Lakehouse REST (LRC)). |
| Bigtable | roles/bigtable.readerroles/bigtable.user |
קריאת טבלאות Bigtable. קריאה וכתיבה של נתוני Bigtable. |
| Dataproc Metastore (DPMS) | roles/metastore.metadataViewerroles/metastore.editor |
קריאת מטא-נתונים של Hive. ניהול סכימות וטבלאות של מטא-נתונים. DPMS הוא מאגר מטא-נתונים מדור קודם. אנחנו ממליצים ללקוחות להשתמש ב-BigLake Lakehouse REST Catalog (LRC). |
ב-BigQuery יש הרבה תפקידי IAM מפורטים ורשימות ACL ברמת המשאב. במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף.
הקצאת תפקידים
בקטע הבא מוסבר איך להקצות תפקידים לכל אחת מהפרסונות שמשויכות להגדרה, לשליחה ולמעקב אחרי עומסי עבודה באצווה וסשנים אינטראקטיביים ב-Managed Service for Apache Spark ללא שרת (serverless) בגרסאות 3.x ו-2.x.
סביבת זמן ריצה 3.x
כברירת מחדל, עומסי העבודה של 3.x פועלים באמצעות פרטי הכניסה של משתמש הקצה (EUC) ששלח את הבקשה. האדמינים מקצים תפקיד אחד למשתמש, ואין צורך בחשבונות שירות משותפים או בקטגוריות של שלבי ביניים. אדמינים יכולים להגדיר חשבונות שירות בהתאמה אישית כשנדרשות זהויות שירות ייעודיות.
מפתח
מפתח Spark (סביבת זמן ריצה 3.x)
כמפתחי Spark, אתם יכולים להשתמש בסביבת זמן הריצה 3.x עם פרטי הכניסה של המשתמש כדי לפתח, לשלוח, לעקוב ולפתור בעיות בעומסי העבודה של Spark, ולגשת ישירות לנתונים.
מבקשים את תפקיד העריכה ללא שרת. צריך לבקש מהאדמין לתת לכם את ההרשאה
roles/dataproc.serverlessEditorבפרויקט.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.serverlessEditor"התפקיד הזה מאפשר לשלוח, לעקוב, לפתור בעיות ולבטל עומסי עבודה באצווה של Spark וסשנים אינטראקטיביים של Spark Connect.
לקבל גישה לנתונים ולשירותים. מכיוון שעומס העבודה פועל בשמכם, הזהות שלכם צריכה גישה לשירותים ולמערכי הנתונים שאפליקציית Spark משתמשת בהם (ראו תפקידים נפוצים של נתונים ושירותים).
לדוגמה, כדי לתת לעצמכם גישת קריאה לקטגוריה של Cloud Storage לקלט:
gcloud storage buckets add-iam-policy-binding gs://INPUT_BUCKET \ --member="user:DEVELOPER_EMAIL" \ --role="roles/storage.objectViewer"שולחים עומס עבודה לבדיקה. כדי לוודא שההגדרה תקינה, שולחים עומס עבודה של מקבץ לבדיקה.
gcloud dataproc batches submit spark \ --region=REGION \ --version=3.0 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000הערות:
אם זו הפעם הראשונה שאתם שולחים עומס עבודה של
3.xבאמצעות פרטי כניסה של משתמש קצה (EUC), תתבקשו לתת הסכמה חד-פעמית ל-OAuth. צריך לתת את ההסכמה ואז לשלוח מחדש את עומס העבודה.אם לפרויקט אין רשת VPC מסוג
default, צריך להשתמש בדגל או בשדהsubnetכדי לציין את רשת המשנה האזורית (ראו הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark).אם אתם משתמשים במסוף Google Cloud כדי ליצור פרופילים של סביבות זמן ריצה, סשנים אינטראקטיביים או עומסי עבודה באצווה, או אם אתם משתמשים ב-Google Cloud Data Agent Kit ב-IDE, אתם צריכים גם הרשאות כדי להציג רשימה של רשתות משנה ולבדוק את סטטוס ה-API (ראו הרשאות נוספות למסוף Google Cloud ול-IDEs).
במאמר טרנספורמציה של נתונים וכתיבה בטבלת Apache Iceberg מופיעה דוגמה מקצה לקצה להרצת עומסי עבודה של PySpark ו להגדרת ההרשאות הנדרשות ב-Cloud Storage, ב-BigLake וב-BigQuery.
חשבונות שירות בהתאמה אישית של עומסי עבודה (זמן ריצה 3.x)
אם הארגון שלכם דורש שעומסי העבודה יפעלו בזהות ייעודית שניתן לבדוק, במקום בפרטי הכניסה של משתמש הקצה, השתמשו בחשבון שירות בהתאמה אישית עם סביבת זמן הריצה 3.x (ראו שיטות מומלצות לחשבון שירות של IAM).
מקבלים הרשאה להריץ עומסי עבודה בתור חשבון השירות בהתאמה אישית. בקשו מהאדמין להקצות לכם את התפקיד
roles/iam.serviceAccountUserבחשבון השירות בהתאמה אישית.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"מציינים את השירות בהתאמה אישית.
gcloud dataproc batches submit spark \ --region=REGION \ --service-account=WORKLOAD_SA_EMAIL \ --version=3.0 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000נותנים גישה למערך הנתונים. כשמשתמשים בחשבון שירות בהתאמה אישית, צריך להקצות תפקידים ברמת הנתונים ישירות ל-
WORKLOAD_SA_EMAIL(ראו תפקידים נפוצים של נתונים ושירותים).
מנהל מערכת
אדמין ב-Spark (זמן ריצה 3.x)
בתור אדמינים של Spark, אתם מגדירים את הפרויקט, מחליטים איך עומסי העבודה מאומתים ונותנים גישה למפתחי Spark.
עומסי העבודה משתמשים באופן אוטומטי ברשת המשנה של ה-VPC שנקראת default. אם בפרויקט אין רשת default או שמשתמשים בו ברשתות VPC בהתאמה אישית, קראו את המאמר הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark כדי להגדיר ולציין תת-רשת לעומסי עבודה ולסשנים.
הפעלת סביבת זמן ריצה 3.x עם פרטי כניסה של משתמשי קצה (מומלץ)
זו ההגדרה עם הכי פחות הרשאות והכי פחות תחזוקה. כל מפתח Spark מריץ עומסי עבודה בתור זהות המשתמש שלו, והאדמינים לא צריכים להגדיר ולנהל חשבונות שירות של עומסי עבודה.
מענק בסך
roles/dataproc.serverlessEditorלמפתחי Spark.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.serverlessEditor"מעניקים
roles/dataproc.serverlessViewerלצופים עם הרשאת קריאה בלבד.הקצו את התפקיד הזה למבקרים, למשתמשים במרכז הבקרה ולחברי צוות שצריכים לעקוב אחרי סטטוס המשימות ויומני הרישום, בלי לשלוח או לשנות עומסי עבודה.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:VIEWER_EMAIL" \ --role="roles/dataproc.serverlessViewer"לוודא שלמפתחים יש גישה לנתונים.
כברירת מחדל, עומסי העבודה של סביבת זמן הריצה של
3.xפועלים בתור המשתמש ששלח אותם. להקצות תפקידים עם גישה לנתונים, כמוroles/storage.objectViewerאוroles/storage.objectAdmin, למפתח Spark או לקבוצת Google שכוללת מפתחי Spark (ראו תפקידים נפוצים של נתונים ושירותים).
הפעלת חשבונות שירות בהתאמה אישית של עומסי עבודה (זמן ריצה 3.x)
השתמשו בחשבון שירות בהתאמה אישית עם סביבת זמן הריצה 3.x כשאתם צריכים להריץ עומסי עבודה בזהות ייעודית שניתנת לביקורת, במקום בפרטי הכניסה של משתמש הקצה (ראו שיטות מומלצות לחשבון שירות של IAM).
מקצים את התפקיד
roles/iam.serviceAccountUserבחשבון השירות בהתאמה אישית של עומס העבודה.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"מקצים את התפקיד
roles/dataproc.serverlessNodeלחשבון השירות בהתאמה אישית של עומס העבודה.התפקיד הזה מאפשר לחשבון השירות לנהל מאגרי צומתי מחשוב ולתקשר עם אפליקציות Spark במהלך ביצוע עומס העבודה:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:WORKLOAD_SA_EMAIL" \ --role="roles/dataproc.serverlessNode"לתת גישה לנתוני האפליקציה.
להקצות תפקידים ברמת הנתונים ישירות לחשבון השירות של עומס העבודה, כדי שהוא יוכל לקרוא ולכתוב מערכי נתונים של אפליקציות (ראו תפקידים נפוצים של נתונים ושירותים). אם עומסי העבודה שלכם משתמשים בסקריפטים זמניים או בקובצי JAR בהתאמה אישית, צריך לתת גם גישת קריאה לקטגוריות של Cloud Storage התואמות.
הפעלת חשבונות שירות בהתאמה אישית של שולח (זמן ריצה 3.x)
השתמשו בחשבון שירות מותאם אישית לשליחת משימות כשמערכות אוטומטיות (כמו Managed Service for Apache Airflow, Cloud Scheduler או צינורות עיבוד נתונים של CI או CD) שולחות עומסי עבודה בלי משתמש אנושי אינטראקטיבי.
בתרחיש הזה, חשבון השירות של השולח מריץ את הפקודה
gcloudשמפעילה את המשימה. הנה דוגמה לשימוש ב-gcloud:gcloud dataproc batches submit spark \ --service-account=WORKLOAD_SA_EMAIL \ ...חשבון השירות של עומס העבודה מריץ את קוד Spark בצומתי המחשוב וניגש למערכי הנתונים של האפליקציה.
- נותנים את ההרשאה
roles/dataproc.serverlessEditorלחשבון השירות המותאם אישית של השולח.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/dataproc.serverlessEditor"כשמשתמשים בסביבת זמן הריצה
3.xעם חשבון שירות מותאם אישית של שולח, צריך חשבון שירות מותאם אישית של עומס עבודה כדי להריץ את עומס העבודה. סביבת זמן הריצה לא יכולה לחזור לפרטי הכניסה של משתמש הקצה (EUC) כי אין משתמש קצה אינטראקטיבי. המשימה צריכה לפעול כחשבון שירות ספציפי של עומס עבודה (--service-account).- נותנים את ההרשאה
מקצים את התפקיד
roles/iam.serviceAccountUserבחשבון השירות בהתאמה אישית של עומס העבודה.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/iam.serviceAccountUser"מגדירים את חשבון השירות בהתאמה אישית של עומס העבודה. מקצים ל-
WORKLOAD_SA_EMAILאת התפקידיםroles/dataproc.serverlessNodeו-Application Data.
הפניה לתפקידי אדמין ב-Spark (סביבת זמן ריצה 3.x)
בטבלה הבאה מפורטים התפקידים שצריך להקצות בסביבת זמן הריצה 3.x.
| השולח/ת | Workload Identity | הענקת גישה לשולח | הקצאה לחשבון השירות של עומס העבודה |
|---|---|---|---|
| משתמש קצה (ברירת מחדל) | משתמש קצה (EUC) | roles/dataproc.serverlessEditor (תפקידי נתונים נוספים למשתמש) |
(none—no SA used) |
| משתמש קצה | SA בהתאמה אישית | roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית |
roles/dataproc.serverlessNode + תפקידי נתונים |
| חשבון שירות בהתאמה אישית (אוטומציה) | SA בהתאמה אישית | roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית |
roles/dataproc.serverlessNode + תפקידי נתונים |
צפייה
צפייה ב-Spark (זמן ריצה 3.x)
כצופים ב-Spark, אתם יכולים לראות עומסי עבודה באצווה, סשנים אינטראקטיביים, מדדי ביצוע, יומנים ולוחות בקרה של סטטוסים בלי לשלוח או לשנות עומסי עבודה.
צריך לבקש מהאדמין להקצות לך את roles/dataproc.serverlessViewer.
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:VIEWER_EMAIL" \
--role="roles/dataproc.serverlessViewer"
התפקיד הזה נותן הרשאת קריאה בלבד כדי לצפות בעומסי עבודה של אצווה ללא שרת, בסשנים אינטראקטיביים ובסטטוס הפעולה.
הרשאות מפורטות
הרשאות מפורטות (זמן ריצה 3.x)
בקטע הזה מפורטות ההרשאות של IAM שכלולות בתפקידי IAM שמשויכים לסביבת זמן הריצה 3.x.
תפקיד עריכה בלי שרת (roles/dataproc.serverlessEditor)
התפקיד הזה, עם ההרשאות שלו, מספק גישת קריאה וכתיבה לעומסי עבודה של אצווה בלי שרת (serverless) בזמן ריצה ב-3.x ולסשנים אינטראקטיביים.
| הרשאה | תיאור |
|---|---|
dataproc.batches.create |
ליצור ולשלוח עומסי עבודה חדשים של Batch. |
dataproc.batches.get |
קבלת הסטטוס והפרטים של עומס העבודה באצווה. |
dataproc.batches.list |
הצגת רשימה של כל עומסי העבודה באצווה בפרויקט או באזור. |
dataproc.batches.delete |
למחוק אצוות שהושלמו או הופסקו. |
dataproc.batches.cancel |
ביטול של עומס עבודה פעיל באצווה. |
dataproc.sessions.create |
ליצור סשנים אינטראקטיביים של Spark Connect. |
dataproc.sessions.get |
קבלת הסטטוס והפרטים של הסשן. |
dataproc.sessions.list |
הצגת רשימה של כל הסשנים בפרויקט או באזור. |
dataproc.sessions.delete |
למחוק סשנים שהסתיימו. |
dataproc.sessions.terminate |
סיום סשן אינטראקטיבי פעיל. |
dataproc.sessionTemplates.create |
ליצור פרופילים של סביבות זמן ריצה (תבניות של סשנים). |
dataproc.sessionTemplates.get |
קבלת פרטים על פרופיל זמן הריצה. |
dataproc.sessionTemplates.list |
הצגת רשימה של פרופילי זמן ריצה בפרויקט או באזור. |
dataproc.sessionTemplates.update |
עדכון פרופילים של סביבות זמן ריצה. |
dataproc.sessionTemplates.delete |
למחוק פרופילים של סביבות זמן ריצה. |
dataproc.operations.get |
בדיקת הסטטוס של פעולה אסינכרונית (נדרש על ידי ה-CLI של gcloud). |
תפקיד של צומת ללא שרת (roles/dataproc.serverlessNode)
הרשאות לניהול מאגר צמתים ולתקשורת פנימית של Spark, לחשבונות שירות של עומסי עבודה בהתאמה אישית בסביבת זמן הריצה 3.x.
התפקידים האלה עם ההרשאות שלהם נדרשים כשמשתמשים בחשבון שירות מותאם אישית של עומס עבודה עם סביבת זמן הריצה 3.x. עומסי עבודה שפועלים עם פרטי כניסה של משתמשי קצה (EUC) ב-3.x כברירת מחדל לא משתמשים בחשבון שירות של עומס עבודה.
| הרשאה | תיאור |
|---|---|
dataproc.batches.sparkApplicationWrite |
תקשורת של אפליקציית Spark לעומסי עבודה באצווה. |
dataproc.sessions.sparkApplicationWrite |
תקשורת של אפליקציית Spark לסשנים אינטראקטיביים. |
dataprocrm.nodePools.create |
ליצור מאגרי צומתי מחשוב. |
dataprocrm.nodePools.delete |
למחוק מאגרי צמתים. |
dataprocrm.nodePools.resize |
התאמה דינמית של מאגרי צמתים לעומס. |
dataprocrm.nodePools.get |
קריאת הסטטוס של מאגר הצמתים. |
dataprocrm.nodePools.list |
הצגת רשימה של מאגרי צמתים. |
dataprocrm.nodePools.update |
עדכון ההגדרות של מאגר הצמתים. |
dataprocrm.nodePools.deleteNodes |
הסרת צמתים ספציפיים ממאגר. |
dataprocrm.nodes.list |
הצגת רשימה של צמתים במאגר. |
dataprocrm.nodes.delete |
מחיקת צמתים בסיום המשימה. |
dataprocrm.nodes.get |
קריאת סטטוס הצומת. |
dataprocrm.nodes.heartbeat |
דיווח על תקינות הצומת ועל אותות חיים. |
dataprocrm.nodes.mintOAuthToken |
הנפקת אסימוני OAuth לפעולות בצומת. |
dataprocrm.operations.get |
בודקים את סטטוס הפעולה של התשתית. |
התפקיד "צפייה בלי שרת (serverless)" (roles/dataproc.serverlessViewer)
התפקיד הזה וההרשאות שלו נדרשים כשמשתמשים בסביבת זמן הריצה 3.x עם חשבון שירות מותאם אישית של שולח. הם מספקים הרשאת קריאה בלבד לעומסי עבודה (workloads) של סביבת זמן הריצה של 3.x ללא שרת (serverless) באצווה, לסשנים אינטראקטיביים ולסטטוס הפעולה.
| הרשאה | תיאור |
|---|---|
dataproc.batches.get |
לקרוא את הסטטוס והפרטים של עומס העבודה באצווה. |
dataproc.batches.list |
הצגת רשימה של עומסי עבודה באצווה. |
dataproc.sessions.get |
לקרוא את הסטטוס והפרטים של הסשן. |
dataproc.sessions.list |
הצגת רשימת הסשנים. |
dataproc.operations.get |
קריאת סטטוס הפעילות. |
dataproc.operations.list |
פעולות ברשימות. |
תפקיד הקצאת הרשאות של חשבון שירות (roles/iam.serviceAccountUser)
מאפשר למשתמש או למערכת אוטומטית לצרף ולהריץ עומסי עבודה כחשבון שירות בהתאמה אישית. עומס העבודה מופעל עם ההרשאות והגישה למשאבים שניתנו לחשבון השירות הזה, ולא עם פרטי הכניסה של משתמש הקצה (EUC) ששלח את הבקשה.
| הרשאה | תיאור |
|---|---|
iam.serviceAccounts.actAs |
מאפשר למגיש להריץ עומסי עבודה בתור חשבון השירות שצוין. |
סביבת זמן ריצה 2.x
כברירת מחדל, עומסי העבודה של סביבת זמן הריצה של 2.x פועלים בתור חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine. מגיש הבקשה (המשתמש או המערכת האוטומטית) פועל בתור החשבון הזה בזמן הרצת עומסי העבודה או הסשנים.
מפתח
מפתח Spark (זמן ריצה 2.x)
כמפתחי Spark שמשתמשים בסביבת זמן הריצה 2.x, אתם מפתחים, שולחים, מנטרים ופותרים בעיות בעומסי העבודה של Spark, וניגשים לנתונים. מכיוון שעומס העבודה פועל כחשבון שירות ולא כזהות המשתמש שלכם, אדמין מקצה לכם את התפקיד "עריכת IAM" ואת התפקיד "משתמש בחשבון שירות" כדי להריץ עומסי עבודה כחשבון השירות של עומס העבודה.
לבקש הרשאת עריכה. מבקשים מהאדמין להקצות לכם את התפקיד
roles/dataproc.editorבפרויקט:gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.editor"מבקשים הרשאת הקצאה. מבקשים מהאדמין להקצות לכם את התפקיד
roles/iam.serviceAccountUserבחשבון השירות של עומס העבודה.חשבון השירות שמוגדר כברירת מחדל לעומסי עבודה הוא חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine,
PROJECT_NUMBER-compute@developer.gserviceaccount.com:gcloud iam service-accounts add-iam-policy-binding \ PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"קבלת גישה לקטגוריית ה-Staging. למגיש סביבת זמן הריצה
2.xצריכה להיות הרשאה להעלות סקריפטים וקובצי JAR, ולחשבון השירות של עומס העבודה צריכה להיות הרשאה לנהל קבצים זמניים ויומנים. ההרשאות האלה כלולות בתפקידroles/storage.objectAdmin.# Grant submitter access to upload staged files gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/storage.objectAdmin" # Grant workload service account access for staging, temporary files, and logs gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/storage.objectAdmin"שולחים עומס עבודה של אצווה לבדיקה. כדי לוודא שההגדרה תקינה, שולחים עומס עבודה של מקבץ לבדיקה.
gcloud dataproc batches submit spark \ --region=REGION \ --version=2.2 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000הערות:
מכיוון שעומס העבודה פועל כחשבון השירות של עומס העבודה, החשבון הזה, ולא חשבון המשתמש שלכם, צריך גישה לנתונים שהמשימה קוראת וכותבת (ראו תפקידי נתונים ושירות נפוצים).
אם לפרויקט אין רשת VPC מסוג
default, צריך להשתמש בדגל או בשדהsubnetכדי לציין את רשת המשנה האזורית (ראו הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark).אם אתם משתמשים במסוף Google Cloud כדי ליצור פרופילים של סביבות זמן ריצה, סשנים אינטראקטיביים או עומסי עבודה באצווה, או אם אתם משתמשים ב-Google Cloud Data Agent Kit ב-IDE, אתם צריכים גם הרשאות כדי להציג רשימה של רשתות משנה ולבדוק את סטטוס ה-API (ראו הרשאות נוספות למסוף Google Cloud ול-IDEs).
במאמר טרנספורמציה של נתונים וכתיבה בטבלת Apache Iceberg מופיעה דוגמה מקצה לקצה להרצת עומסי עבודה של PySpark ו להגדרת ההרשאות הנדרשות ב-Cloud Storage, ב-BigLake וב-BigQuery.
חשבונות שירות בהתאמה אישית של עומסי עבודה בהתאמה אישית (סביבת זמן ריצה 2.x)
אם הארגון שלכם דורש שעומסי העבודה יפעלו בזהות ייעודית שניתן לבדוק, במקום בחשבון השירות שמוגדר כברירת מחדל של Compute Engine (ראו שיטות מומלצות לחשבונות שירות ב-IAM), אתם יכולים להשתמש בחשבון שירות בהתאמה אישית.
מקבלים הרשאה להריץ עומסי עבודה בתור חשבון השירות בהתאמה אישית. בקשו מהאדמין להקצות לכם את התפקיד
roles/iam.serviceAccountUserבחשבון השירות בהתאמה אישית:gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"מציינים את חשבון השירות בהתאמה אישית באמצעות הדגל
--service-accountכששולחים עומסי עבודה.gcloud dataproc batches submit spark \ --region=REGION \ --service-account=WORKLOAD_SA_EMAIL \ --version=2.2 \ --class=org.apache.spark.examples.SparkPi \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ -- 1000גישה למערך הנתונים: אם לעומס העבודה אין גישה למערכי נתונים, צריך להקצות לחשבון השירות המותאם אישית של עומס העבודה (לא לחשבון המשתמש) את התפקידים הנדרשים לגישה לנתונים (ראו תפקידים נפוצים של נתונים ושירותים).
מנהל מערכת
אדמין של Spark (זמן ריצה 2.x)
כאדמינים של Spark, אתם מגדירים את הפרויקט, את חשבונות השירות ונותנים גישה למפתחי Spark.
עומסי העבודה משתמשים באופן אוטומטי ברשת המשנה של ה-VPC שנקראת default. אם בפרויקט אין רשת default או שמשתמשים בו ברשתות VPC בהתאמה אישית, קראו את המאמר הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark כדי להגדיר ולציין תת-רשת לעומסי עבודה ולסשנים.
הפעלת סביבת זמן ריצה 2.x שמוגדרת כברירת מחדל
בסביבת זמן הריצה שמוגדרת כברירת מחדל 2.x, עומסי העבודה פועלים בתור חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
מעניקים למפתח
roles/dataproc.editor.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="roles/dataproc.editor"מקצים את התפקיד
roles/iam.serviceAccountUserבחשבון השירות שמוגדר כברירת מחדל.gcloud iam service-accounts add-iam-policy-binding \ PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"מקצים את התפקיד
roles/dataproc.workerלחשבון השירות של עומס העבודה.התפקיד הזה מאפשר לחשבון השירות לרשום את הסוכן של ה-VM, להשכיר ולהריץ משימות מחשוב ולשלוח יומנים ומדדים ל-Cloud Logging ול-Cloud Monitoring:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/dataproc.worker"מקצים את ההרשאה
roles/storage.objectAdminלאחסון בקטגוריית ה-Staging.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \ --role="roles/storage.objectAdmin"נותנים לחשבון השירות של עומס העבודה גישה למערך הנתונים.
מקצים תפקידים ברמת הנתונים לחשבון השירות של עומס העבודה, כדי לאפשר לו לגשת למערכי הנתונים של אפליקציית Spark (ראו תפקידים נפוצים של נתונים ושירותים).
הפעלת חשבונות שירות בהתאמה אישית של עומסי עבודה (זמן ריצה 2.x)
כדי לבודד עומסי עבודה, השתמשו בחשבון שירות בהתאמה אישית של עומס עבודה עם סביבת זמן הריצה 2.x, במקום להשתמש בחשבון השירות המשותף שמוגדר כברירת מחדל של Compute Engine.
מקצים למפתח את התפקיד
roles/iam.serviceAccountUserבחשבון השירות בהתאמה אישית.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="user:DEVELOPER_EMAIL" \ --role="roles/iam.serviceAccountUser"מקצים את התפקיד
roles/dataproc.workerלחשבון השירות בהתאמה אישית.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:WORKLOAD_SA_EMAIL" \ --role="roles/dataproc.worker"לתת גישה לנתוני האפליקציה ולסביבת ה-staging.
מקצים תפקידים ברמת הנתונים ישירות לחשבון השירות בהתאמה אישית של עומס העבודה (ראו תפקידים נפוצים של נתונים ושירותים) ומקצים את התפקיד
roles/storage.objectAdminבקטגוריות זמניות ובקטגוריות של שלב ביניים.
הפעלת חשבונות שירות בהתאמה אישית של השולח (זמן ריצה 2.x)
השתמשו בחשבון שירות מותאם אישית לשליחת משימות כשמערכות אוטומטיות (כמו Managed Service for Apache Airflow, Cloud Scheduler או צינורות עיבוד נתונים של CI/CD) שולחות עומסי עבודה בלי משתמש אנושי אינטראקטיבי.
מקצים את התפקיד
roles/dataproc.editorלחשבון השירות של השולח.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/dataproc.editor"מקצים את התפקיד
roles/iam.serviceAccountUserלחשבון השירות של עומס העבודה.gcloud iam service-accounts add-iam-policy-binding \ WORKLOAD_SA_EMAIL \ --member="serviceAccount:SUBMITTER_SA_EMAIL" \ --role="roles/iam.serviceAccountUser"מגדירים את חשבון השירות של עומס העבודה. נותנים ל-
WORKLOAD_SA_EMAILגישה ל-roles/dataproc.workerולמערך הנתונים.
הפניה לתפקידי אדמין ב-Spark (זמן ריצה 2.x)
בטבלה הבאה מפורטים תפקידי ה-IAM שצריך להקצות בסביבת זמן הריצה 2.x.
| השולח/ת | Workload Identity | הענקת גישה לשולח | הקצאה לחשבון השירות של עומס העבודה |
|---|---|---|---|
| משתמש קצה (ברירת מחדל) | חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine | roles/dataproc.editor + roles/iam.serviceAccountUser בחשבון השירות שמוגדר כברירת מחדל |
roles/dataproc.worker + roles/storage.objectAdmin + תפקידי נתונים |
| משתמש קצה | SA בהתאמה אישית | roles/dataproc.editor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית |
roles/dataproc.worker + roles/storage.objectAdmin + תפקידי נתונים |
| חשבון שירות בהתאמה אישית (אוטומציה) | SA בהתאמה אישית | roles/dataproc.editor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית |
roles/dataproc.worker + roles/storage.objectAdmin + תפקידי נתונים |
צפייה
Spark viewer (runtime 2.x)
כצופים ב-Spark, אתם יכולים לראות עומסי עבודה באצווה, סשנים אינטראקטיביים, מדדי ביצוע, יומנים ולוחות בקרה של סטטוסים בלי לשלוח או לשנות עומסי עבודה.
בקשו מהאדמין לתת לכם את ההרשאות הבאות ב-roles/dataproc.viewer:
gcloud projects add-iam-policy-binding PROJECT_ID \
--member="user:VIEWER_EMAIL" \
--role="roles/dataproc.viewer"
התפקיד הזה נותן גישת קריאה בלבד למשאבים של Managed Service for Apache Spark, כמו אשכולות, משימות, אצוות, סשנים ופעולות.
הרשאות מפורטות
הרשאות מפורטות (זמן ריצה 2.x)
בקטע הזה מפורטות ההרשאות של IAM שכלולות בתפקידי IAM שמשויכים לסביבת זמן הריצה 2.x.
תפקיד עריכה (roles/dataproc.editor)
התפקיד הזה מאפשר לשלוט בסביבות זמן הריצה של עומסי עבודה וסשנים ללא שרת (serverless) ב-2.x, וגם באשכולות ובמשימות של Managed Service for Apache Spark ב-Compute Engine.
| הרשאה | נדרש ללא שרת (serverless) | תיאור |
|---|---|---|
dataproc.batches.create |
כן | ליצור ולשלוח עומסי עבודה חדשים של Batch. |
dataproc.batches.get |
כן | קבלת הסטטוס והפרטים של עומס העבודה באצווה. |
dataproc.batches.list |
כן | הצגת רשימה של כל עומסי העבודה באצווה בפרויקט או באזור. |
dataproc.batches.delete |
כן | למחוק אצוות שהושלמו או הופסקו. |
dataproc.batches.cancel |
כן | ביטול של עומס עבודה פעיל באצווה. |
dataproc.sessions.create |
כן | ליצור סשנים אינטראקטיביים. |
dataproc.sessions.get |
כן | קבלת הסטטוס והפרטים של הסשן. |
dataproc.sessions.list |
כן | הצגת רשימה של כל הסשנים בפרויקט או באזור. |
dataproc.sessions.delete |
כן | למחוק סשנים שהסתיימו. |
dataproc.sessions.terminate |
כן | סיום סשן אינטראקטיבי פעיל. |
dataproc.operations.get |
כן | בדיקת הסטטוס של פעולה אסינכרונית (נדרש על ידי ה-CLI של gcloud). |
compute.networks.get |
כן | הצגת ההגדרות של רשת VPC. |
compute.networks.list |
כן | הצגת רשימה של רשתות VPC בפרויקט. לא מציג רשימה של רשתות משנה. כדי להציג רשימה של רשתות משנה במסוף Google Cloud או בסביבות פיתוח משולבות (IDE), נדרשת ההרשאה compute.subnetworks.list (ראו הרשאות נוספות למסוף Google Cloud ולסביבות פיתוח משולבות (IDE)). |
dataproc.clusters.* |
לא (אשכולות בלבד) | ליצור, לנהל ולהשתמש באשכולות של Managed Service for Apache Spark שמבוססים על Compute Engine. |
dataproc.jobs.* |
לא (אשכולות בלבד) | שליחה וניהול של משימות באשכולות של Managed Service for Apache Spark שמבוססים על Compute Engine. |
dataproc.autoscalingPolicies.* |
לא (אשכולות בלבד) | כללי מדיניות של התאמה אוטומטית לעומס (autoscaling) באשכולות שמבוססים על Compute Engine. |
dataproc.nodeGroups.* |
לא (אשכולות בלבד) | קבוצות של צמתים בהתאמה אישית באשכולות שמבוססים על Compute Engine. |
dataproc.workflowTemplates.* |
לא (אשכולות בלבד) | תבניות של תהליכי עבודה לאשכולות שמבוססים על Compute Engine. |
compute.machineTypes.* |
לא (אשכולות בלבד) | מטא-נתונים של סוג המכונה לאשכולות שמבוססים על Compute Engine. |
תפקיד העובד (roles/dataproc.worker)
התפקיד הזה נותן הרשאות להרצת עומסי עבודה בסביבת זמן הריצה 2.x.
| הרשאה | תיאור |
|---|---|
dataproc.agents.create |
רושמים את סוכן ה-VM ב-VM. |
dataproc.agents.get |
קריאת מצב הסוכן. |
dataproc.agents.update |
עדכון מצב הסוכן. |
dataproc.agents.delete |
בסיום, מבטלים את הרישום של הנציג. |
dataproc.tasks.lease |
להקצות משימות חישוב לביצוע. |
dataproc.tasks.reportStatus |
דיווח על סטטוס ביצוע המשימה. |
storage.objects.create |
לכתוב נתונים במאגר זמני, קבצים זמניים ויומנים. |
storage.objects.delete |
מחיקת קבצים זמניים. |
storage.objects.get |
לקרוא סקריפטים של אתחול וקבצים בשלבי הכנה. |
storage.objects.list |
הצגת רשימה של תכנים בקטגוריות זמניות ובקטגוריות של שלבי ביניים. |
תפקיד הצופה (roles/dataproc.viewer)
התפקיד הזה נותן הרשאת קריאה בלבד לכל המשאבים של Managed Service for Apache Spark.
| הרשאה | נדרש ללא שרת (serverless) | תיאור |
|---|---|---|
dataproc.batches.get |
כן | לקרוא את הסטטוס והפרטים של עומס העבודה באצווה. |
dataproc.batches.list |
כן | הצגת רשימה של כל עומסי העבודה באצווה בפרויקט או באזור. |
dataproc.sessions.get |
כן | לקרוא את הסטטוס והפרטים של הסשן. |
dataproc.sessions.list |
כן | הצגת רשימה של כל הסשנים בפרויקט או באזור. |
dataproc.operations.get |
כן | קריאת סטטוס של פעולה אסינכרונית. |
dataproc.operations.list |
כן | הצגת רשימה של פעולות בפרויקט או באזור. |
dataproc.clusters.get |
לא (אשכולות בלבד) | לראות את ההגדרות והסטטוס של האשכול. |
dataproc.clusters.list |
לא (אשכולות בלבד) | הצגת רשימה של אשכולות בפרויקט או באזור. |
dataproc.jobs.get |
לא (אשכולות בלבד) | לראות את הפרטים והסטטוס של משימות באשכולות. |
dataproc.jobs.list |
לא (אשכולות בלבד) | להציג רשימה של משימות באשכולות. |
dataproc.autoscalingPolicies.get |
לא (אשכולות בלבד) | הצגת פרטי המדיניות של ההתאמה האוטומטית לעומס. |
dataproc.autoscalingPolicies.list |
לא (אשכולות בלבד) | הצגת רשימה של כללי מדיניות להתאמה אוטומטית לעומס. |
dataproc.workflowTemplates.get |
לא (אשכולות בלבד) | הצגת פרטי התבנית של תהליך העבודה. |
dataproc.workflowTemplates.list |
לא (אשכולות בלבד) | הצגת רשימה של תבניות לתהליכי עבודה. |
תפקיד הקצאת הרשאות של חשבון שירות (roles/iam.serviceAccountUser)
מאפשר למשתמש או למערכת אוטומטית לצרף ולהריץ עומסי עבודה בתור חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine או בתור חשבון שירות בהתאמה אישית. עומס העבודה מופעל עם ההרשאות והגישה למשאבים שניתנו לחשבון השירות הזה.
| הרשאה | תיאור |
|---|---|
iam.serviceAccounts.actAs |
מאפשר למגיש להריץ עומסי עבודה בתור חשבון השירות שצוין. |
הרשאות נוספות למסוף Google Cloud ולסביבות פיתוח משולבות (IDE)
כששולחים עומסי עבודה באמצעות Google Cloud CLI או Dataproc API, מישור הבקרה של Managed Service for Apache Spark פותר באופן אוטומטי את רשת ה-VPC ורשת המשנה של הפרויקט default, בלי לבדוק את ההרשאות של רשת המשנה של Compute Engine או של Service Usage ברמת המתקשר.
עם זאת, כשיוצרים או עורכים פרופילים של סביבות זמן ריצה, סשנים אינטראקטיביים או עומסי עבודה באצווה במסוף Google Cloud , או כשמשתמשים ב-Google Cloud Data Agent Kit בסביבת פיתוח משולבת (IDE) כמו VS Code, הלקוח מבצע בדיקות קריאה נוספות באמצעות פרטי הכניסה של המשתמש:
| הרשאה | תהליך העבודה של הלקוח | מטרה |
|---|---|---|
compute.subnetworks.list |
מסוףGoogle Cloud ו-Data Agent Kit | מציגים רשימה של רשתות משנה אזוריות של VPC כדי לוודא שברשת default יש רשת משנה שמופעלת בה גישה פרטית ל-Google, וכדי לאכלס את התפריטים של הרשת ורשת המשנה. |
compute.subnetworks.get |
מסוףGoogle Cloud ו-Data Agent Kit | בודקים את המטא-נתונים של רשת המשנה כשמציגים, משכפלים או עורכים פרופיל של סביבת זמן ריצה, סשן או עומס עבודה באצווה. |
compute.networks.list |
מסוףGoogle Cloud ו-Data Agent Kit | הצגת רשימה של רשתות VPC בפרויקט (כלול ב-roles/dataproc.editor וב-roles/dataproc.admin, אבל לא ב-roles/dataproc.serverlessEditor). |
compute.networks.get |
מסוףGoogle Cloud ו-Data Agent Kit | הצגת פרטים של רשת VPC (כלול ב-roles/dataproc.editor וב-roles/dataproc.admin, אבל לא ב-roles/dataproc.serverlessEditor). |
serviceusage.services.get |
Data Agent Kit וסביבות פיתוח משולבות (IDE) | לפני שאתם טוענים את עץ המשאבים של Spark, בדקו אם Dataproc API (dataproc.googleapis.com) מופעל בפרויקט שבחרתם. |
serviceusage.services.list |
מסוףGoogle Cloud וסביבות פיתוח משולבות (IDE) | מציגים את רשימת ממשקי ה-API שמופעלים בפרויקט. |
הקצאת תפקיד בהתאמה אישית מינימלי (מומלץ)
כדי לפעול לפי העיקרון של הרשאות מינימליות, צרו תפקיד IAM בהתאמה אישית שמעניק רק את ההרשאות שנדרשות לתהליכי עבודה במסוף Google Cloud וב-IDE, וקשרו אותו למפתחי Spark בנוסף לתפקיד roles/dataproc.serverlessEditor או roles/dataproc.editor:
יוצרים את התפקיד בהתאמה אישית בפרויקט:
gcloud iam roles create sparkConsoleAndIdeUser \ --project=PROJECT_ID \ --title="Managed Spark Console and IDE User" \ --description="Read-only network and Service Usage permissions for Managed Spark console and IDE workflows" \ --permissions=compute.networks.get,compute.networks.list,compute.subnetworks.get,compute.subnetworks.list,serviceusage.services.get,serviceusage.services.list \ --stage=GAמקצים את התפקיד בהתאמה אישית למפתח Spark:
gcloud projects add-iam-policy-binding PROJECT_ID \ --member="user:DEVELOPER_EMAIL" \ --role="projects/PROJECT_ID/roles/sparkConsoleAndIdeUser"
במקום להשתמש בתפקיד בהתאמה אישית, אתם יכולים להקצות את התפקידים המוגדרים מראש "צפייה ברשת Compute" (roles/compute.networkViewer) ו"צפייה בשימוש בשירות" (roles/serviceusage.serviceUsageViewer). שימוש בתפקידים מוגדרים מראש חוסך את הצורך בתחזוקה של תפקידים בהתאמה אישית, כי Google Cloud מנהל את ההרשאות שלהם באופן אוטומטי. עם זאת, תפקידי הצפייה המוגדרים מראש מעניקים גישת קריאה רחבה יותר ממה שנדרש ל-Managed Service for Apache Spark: התפקיד roles/compute.networkViewer מאפשר למשתמשים לראות את כל משאבי הרשת של Compute Engine בפרויקט (כולל כללי חומת אש, נתיבים, Cloud Routers, מנהרות VPN, כללי העברה וקבוצות של נקודות קצה ברשת), והתפקיד roles/serviceusage.serviceUsageViewer מאפשר למשתמשים לראות מכסות ומדיניות צרכנים בכל השירותים בפרויקט.
אל תתנו את התפקידים roles/compute.networkUser או roles/serviceusage.serviceUsageConsumer למשתמשי קצה רק בשביל גישה למסוף Google Cloud או ל-IDE, כי התפקידים האלה גם נותנים הרשאות לצירוף משאבים ולמכסות (compute.subnetworks.use ו-serviceusage.services.use) שמשתמשי קצה לא צריכים.
המאמרים הבאים
- במדריך המלא טרנספורמציה של נתונים וכתיבה בטבלת Apache Iceberg מוסבר איך משתמשים ב-PySpark ובהרשאות של Spark ללא שרת (serverless).
- הסבר על מחזור החיים של עומס עבודה באצווה ללא שרת (serverless) ב-Managed Service for Apache Spark.
- מידע על הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark