פרסונות ותפקידי IAM ללא שרת

במדריך הזה מוסבר למפתחים, לאדמינים ולצופים ב-Spark איך לקבל את ההרשאות שנדרשות כדי להתחיל להשתמש ב-Managed Service for Apache Spark בלי שרת (serverless) לעומסי עבודה באצווה ולסשנים אינטראקטיביים.

פרסונה מה התפקיד שלהם בארגון מה הם צריכים מ-IAM
מפתח Spark הגורם שבונה את הפלטפורמה והגורם שמשתמש בה. כותב ומריץ משימות PySpark ו-Spark, מפתח ב-notebooks ובסשנים, קורא וכותב מערכי נתונים, עוקב אחרי עומסי העבודה ופותר בהם בעיות. זה כולל מהנדסי מערכות מידע, מדעני נתונים ומפתחים. הרשאות לשליחה, להפעלה, למעקב ולפתרון בעיות בעומסי עבודה, ולקריאה ולכתיבה של הנתונים שהמשימות שלהם נוגעות בהם.
אדמין ב-Spark הבעלים והמנהל של הפלטפורמה. מגדיר את הפרויקט, מחליט איך עומסי העבודה מאומתים, מכשיר מפתחי Spark, מנהל חשבונות שירות משותפים ואוכף את אמצעי ההגנה של הארגון ואת ההרשאות המינימליות. נקרא גם "מנהל הפלטפורמה". הרשאות לתת גישה לאחרים, להגדיר זהות להרצה (פרטי כניסה של משתמש קצה או חשבון שירות משותף) ולנהל משאבים בלי שרת (serverless) ברמת הפרויקט.
מציג Spark הצופה והמבקר של הפלטפורמה. מעקב אחרי השלמת משימות, היסטוריית ביצוע, מדדים ומרכזי בקרה בלי לשלוח או לשנות עומסי עבודה. כולל אנליסטים, מנהלי פרויקטים, FinOps ומבקרי תאימות. הרשאות לקריאה בלבד כדי להציג קבוצות, סשנים, פעולות ולוחות בקרה של סטטוסים.

בחירת גרסת סביבת זמן ריצה

גרסת זמן הריצה המומלצת תלויה בגרסת Apache Spark שבה פועלים עומסי העבודה שלכם.

  • ‫Runtime 3.x (מומלץ): משתמש ב-Spark 4, וההגדרה והשימוש בו פשוטים יותר. כברירת מחדל, עומסי העבודה פועלים בתור המשתמש ששלח אותם, עם פרטי הכניסה של משתמש הקצה (EUC). לכן צריך להקצות למשתמש תפקיד IAM אחד. אדמינים יכולים להגדיר חשבונות שירות בהתאמה אישית לעומסי עבודה, לשימוש מתקדם יותר.

  • ‫Runtime 2.x: משתמש ב-Spark 3.5 ובחשבונות נפרדים לשליחה ולעומס העבודה. כברירת מחדל, המגיש הוא זהות המשתמש, וחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine הוא Workload Identity. אדמינים יכולים להגדיר חשבונות שירות בהתאמה אישית לעומסי עבודה, כדי לקבל בקרת גישה מפורטת יותר.

מידע נוסף זמין במאמר גרסאות סביבת זמן הריצה של Managed Service for Apache Spark.

השוואת תכונות

סביבת זמן הריצה של 3.x משדרגת את הרכיבים והיכולות של 2.x, ומספקת הגדרה פשוטה יותר:

יכולת ותהליך עבודה זמן ריצה 3.x (מומלץ) סביבת זמן הריצה 2.x
גרסת Apache Spark Spark 4 ‫Spark 3.5 (וגרסאות קודמות של 3.x)
פיתוח אינטראקטיבי סשנים של Spark Connect (לקוח Spark אינטראקטיבי בסטנדרט המקובל בתחום) סשנים של Jupyter
עומסי עבודה של אצוות R sparklyr אצוות SparkR
זהות הביצוע פרטי כניסה של משתמשי קצה (EUC)1 חשבון שירות 1
אחסון להכנת משימות לא נדרש (מנוהל באופן פנימי) קטגוריות זמניות ב-Cloud Storage
פורמט הפלט של היומן פורמט JSON מובנה (jsonPayload) פורמט טקסט פשוט (textPayload)

‫1 כברירת מחדל, זמן הריצה של 3.x משתמש בפרטי הכניסה של משתמש הקצה (EUC) של מי ששלח את הבקשה, אלא אם צוין חשבון שירות בהתאמה אישית לעומס העבודה או לסשן. סביבת זמן הריצה 2.x משתמשת כברירת מחדל בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, אלא אם צוין חשבון שירות בהתאמה אישית לעומס העבודה או לסשן.

תפקידים נפוצים של נתונים ושירותים

בדרך כלל, Managed Service for Apache Spark משמש לקריאה ולכתיבה של שירותיGoogle Cloud אחרים. בקטע הזה מפורטים תפקידים שמשויכים לשירותים נפוצים.

  • זמן ריצה 3.x (זהות EUC שמוגדרת כברירת מחדל): מקצים תפקידים למפתח Spark (משתמש או קבוצה).
  • זמן ריצה 2.x: מקצים תפקידים לחשבון השירות של עומס העבודה (חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine או חשבון שירות בהתאמה אישית של עומס העבודה).
שירות או API תפקיד מטרה
Cloud Storage roles/storage.objectViewer
roles/storage.objectAdmin
קריאת נתוני קלט וסקריפטים בשלבי פיתוח.
כתיבת נתוני פלט.
קטלוג ייעודי לזמן ריצה של BigLake ו-Lakehouse roles/biglake.viewer
roles/biglake.editor
roles/biglake.admin
אתם יכולים לשלוח שאילתות ולנהל פורמטים של טבלאות פתוחות, כמו Apache Iceberg ו-Delta Lake, באמצעות קטלוג BigLake REST (קטלוג Lakehouse REST (LRC)).
Bigtable roles/bigtable.reader
roles/bigtable.user
קריאת טבלאות Bigtable.
קריאה וכתיבה של נתוני Bigtable.
Dataproc Metastore ‏(DPMS) roles/metastore.metadataViewer
roles/metastore.editor
קריאת מטא-נתונים של Hive.
ניהול סכימות וטבלאות של מטא-נתונים.

DPMS הוא מאגר מטא-נתונים מדור קודם. אנחנו ממליצים ללקוחות להשתמש ב-BigLake Lakehouse REST Catalog ‏(LRC).

ב-BigQuery יש הרבה תפקידי IAM מפורטים ורשימות ACL ברמת המשאב. במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף.

הקצאת תפקידים

בקטע הבא מוסבר איך להקצות תפקידים לכל אחת מהפרסונות שמשויכות להגדרה, לשליחה ולמעקב אחרי עומסי עבודה באצווה וסשנים אינטראקטיביים ב-Managed Service for Apache Spark ללא שרת (serverless) בגרסאות 3.x ו-2.x.

סביבת זמן ריצה 3.x

כברירת מחדל, עומסי העבודה של 3.x פועלים באמצעות פרטי הכניסה של משתמש הקצה (EUC) ששלח את הבקשה. האדמינים מקצים תפקיד אחד למשתמש, ואין צורך בחשבונות שירות משותפים או בקטגוריות של שלבי ביניים. אדמינים יכולים להגדיר חשבונות שירות בהתאמה אישית כשנדרשות זהויות שירות ייעודיות.

מפתח

מפתח Spark (סביבת זמן ריצה 3.x)

כמפתחי Spark, אתם יכולים להשתמש בסביבת זמן הריצה 3.x עם פרטי הכניסה של המשתמש כדי לפתח, לשלוח, לעקוב ולפתור בעיות בעומסי העבודה של Spark, ולגשת ישירות לנתונים.

  1. מבקשים את תפקיד העריכה ללא שרת. צריך לבקש מהאדמין לתת לכם את ההרשאה roles/dataproc.serverlessEditor בפרויקט.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    

    התפקיד הזה מאפשר לשלוח, לעקוב, לפתור בעיות ולבטל עומסי עבודה באצווה של Spark וסשנים אינטראקטיביים של Spark Connect.

  2. לקבל גישה לנתונים ולשירותים. מכיוון שעומס העבודה פועל בשמכם, הזהות שלכם צריכה גישה לשירותים ולמערכי הנתונים שאפליקציית Spark משתמשת בהם (ראו תפקידים נפוצים של נתונים ושירותים).

    לדוגמה, כדי לתת לעצמכם גישת קריאה לקטגוריה של Cloud Storage לקלט:

    gcloud storage buckets add-iam-policy-binding gs://INPUT_BUCKET \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/storage.objectViewer"
    
  3. שולחים עומס עבודה לבדיקה. כדי לוודא שההגדרה תקינה, שולחים עומס עבודה של מקבץ לבדיקה.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --version=3.0 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    

    הערות:

    • אם זו הפעם הראשונה שאתם שולחים עומס עבודה של 3.x באמצעות פרטי כניסה של משתמש קצה (EUC), תתבקשו לתת הסכמה חד-פעמית ל-OAuth. צריך לתת את ההסכמה ואז לשלוח מחדש את עומס העבודה.

    • אם לפרויקט אין רשת VPC מסוג default, צריך להשתמש בדגל או בשדה subnet כדי לציין את רשת המשנה האזורית (ראו הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark).

    • אם אתם משתמשים במסוף Google Cloud כדי ליצור פרופילים של סביבות זמן ריצה, סשנים אינטראקטיביים או עומסי עבודה באצווה, או אם אתם משתמשים ב-Google Cloud Data Agent Kit ב-IDE, אתם צריכים גם הרשאות כדי להציג רשימה של רשתות משנה ולבדוק את סטטוס ה-API (ראו הרשאות נוספות למסוף Google Cloud ול-IDEs).

    • במאמר טרנספורמציה של נתונים וכתיבה בטבלת Apache Iceberg מופיעה דוגמה מקצה לקצה להרצת עומסי עבודה של PySpark ו להגדרת ההרשאות הנדרשות ב-Cloud Storage, ב-BigLake וב-BigQuery.

חשבונות שירות בהתאמה אישית של עומסי עבודה (זמן ריצה 3.x)

אם הארגון שלכם דורש שעומסי העבודה יפעלו בזהות ייעודית שניתן לבדוק, במקום בפרטי הכניסה של משתמש הקצה, השתמשו בחשבון שירות בהתאמה אישית עם סביבת זמן הריצה 3.x (ראו שיטות מומלצות לחשבון שירות של IAM).

  1. מקבלים הרשאה להריץ עומסי עבודה בתור חשבון השירות בהתאמה אישית. בקשו מהאדמין להקצות לכם את התפקיד roles/iam.serviceAccountUser בחשבון השירות בהתאמה אישית.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. מציינים את השירות בהתאמה אישית.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --service-account=WORKLOAD_SA_EMAIL \
      --version=3.0 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    
  3. נותנים גישה למערך הנתונים. כשמשתמשים בחשבון שירות בהתאמה אישית, צריך להקצות תפקידים ברמת הנתונים ישירות ל-WORKLOAD_SA_EMAIL (ראו תפקידים נפוצים של נתונים ושירותים).

מנהל מערכת

אדמין ב-Spark (זמן ריצה 3.x)

בתור אדמינים של Spark, אתם מגדירים את הפרויקט, מחליטים איך עומסי העבודה מאומתים ונותנים גישה למפתחי Spark.

עומסי העבודה משתמשים באופן אוטומטי ברשת המשנה של ה-VPC שנקראת default. אם בפרויקט אין רשת default או שמשתמשים בו ברשתות VPC בהתאמה אישית, קראו את המאמר הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark כדי להגדיר ולציין תת-רשת לעומסי עבודה ולסשנים.

הפעלת סביבת זמן ריצה 3.x עם פרטי כניסה של משתמשי קצה (מומלץ)

זו ההגדרה עם הכי פחות הרשאות והכי פחות תחזוקה. כל מפתח Spark מריץ עומסי עבודה בתור זהות המשתמש שלו, והאדמינים לא צריכים להגדיר ולנהל חשבונות שירות של עומסי עבודה.

  1. מענק בסך roles/dataproc.serverlessEditor למפתחי Spark.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    
  2. מעניקים roles/dataproc.serverlessViewer לצופים עם הרשאת קריאה בלבד.

    הקצו את התפקיד הזה למבקרים, למשתמשים במרכז הבקרה ולחברי צוות שצריכים לעקוב אחרי סטטוס המשימות ויומני הרישום, בלי לשלוח או לשנות עומסי עבודה.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:VIEWER_EMAIL" \
      --role="roles/dataproc.serverlessViewer"
    
  3. לוודא שלמפתחים יש גישה לנתונים.

    כברירת מחדל, עומסי העבודה של סביבת זמן הריצה של 3.x פועלים בתור המשתמש ששלח אותם. להקצות תפקידים עם גישה לנתונים, כמו roles/storage.objectViewer או roles/storage.objectAdmin, למפתח Spark או לקבוצת Google שכוללת מפתחי Spark (ראו תפקידים נפוצים של נתונים ושירותים).

הפעלת חשבונות שירות בהתאמה אישית של עומסי עבודה (זמן ריצה 3.x)

השתמשו בחשבון שירות בהתאמה אישית עם סביבת זמן הריצה 3.x כשאתם צריכים להריץ עומסי עבודה בזהות ייעודית שניתנת לביקורת, במקום בפרטי הכניסה של משתמש הקצה (ראו שיטות מומלצות לחשבון שירות של IAM).

  1. מקצים את התפקיד roles/iam.serviceAccountUser בחשבון השירות בהתאמה אישית של עומס העבודה.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. מקצים את התפקיד roles/dataproc.serverlessNode לחשבון השירות בהתאמה אישית של עומס העבודה.

    התפקיד הזה מאפשר לחשבון השירות לנהל מאגרי צומתי מחשוב ולתקשר עם אפליקציות Spark במהלך ביצוע עומס העבודה:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:WORKLOAD_SA_EMAIL" \
      --role="roles/dataproc.serverlessNode"
    
  3. לתת גישה לנתוני האפליקציה.

    להקצות תפקידים ברמת הנתונים ישירות לחשבון השירות של עומס העבודה, כדי שהוא יוכל לקרוא ולכתוב מערכי נתונים של אפליקציות (ראו תפקידים נפוצים של נתונים ושירותים). אם עומסי העבודה שלכם משתמשים בסקריפטים זמניים או בקובצי JAR בהתאמה אישית, צריך לתת גם גישת קריאה לקטגוריות של Cloud Storage התואמות.

הפעלת חשבונות שירות בהתאמה אישית של שולח (זמן ריצה 3.x)

השתמשו בחשבון שירות מותאם אישית לשליחת משימות כשמערכות אוטומטיות (כמו Managed Service for Apache Airflow,‏ Cloud Scheduler או צינורות עיבוד נתונים של CI או CD) שולחות עומסי עבודה בלי משתמש אנושי אינטראקטיבי.

  • בתרחיש הזה, חשבון השירות של השולח מריץ את הפקודה gcloud שמפעילה את המשימה. הנה דוגמה לשימוש ב-gcloud:

    gcloud dataproc batches submit spark \
      --service-account=WORKLOAD_SA_EMAIL \
      ...
    
  • חשבון השירות של עומס העבודה מריץ את קוד Spark בצומתי המחשוב וניגש למערכי הנתונים של האפליקציה.

    1. נותנים את ההרשאה roles/dataproc.serverlessEditor לחשבון השירות המותאם אישית של השולח.
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/dataproc.serverlessEditor"
    

    כשמשתמשים בסביבת זמן הריצה 3.x עם חשבון שירות מותאם אישית של שולח, צריך חשבון שירות מותאם אישית של עומס עבודה כדי להריץ את עומס העבודה. סביבת זמן הריצה לא יכולה לחזור לפרטי הכניסה של משתמש הקצה (EUC) כי אין משתמש קצה אינטראקטיבי. המשימה צריכה לפעול כחשבון שירות ספציפי של עומס עבודה (--service-account).

  1. מקצים את התפקיד roles/iam.serviceAccountUser בחשבון השירות בהתאמה אישית של עומס העבודה.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. מגדירים את חשבון השירות בהתאמה אישית של עומס העבודה. מקצים ל-WORKLOAD_SA_EMAIL את התפקידים roles/dataproc.serverlessNode ו-Application Data.

הפניה לתפקידי אדמין ב-Spark (סביבת זמן ריצה 3.x)

בטבלה הבאה מפורטים התפקידים שצריך להקצות בסביבת זמן הריצה 3.x.

השולח/ת Workload Identity הענקת גישה לשולח הקצאה לחשבון השירות של עומס העבודה
משתמש קצה (ברירת מחדל) משתמש קצה (EUC) ‫roles/dataproc.serverlessEditor (תפקידי נתונים נוספים למשתמש) (none—no SA used)
משתמש קצה SA בהתאמה אישית roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית ‫roles/dataproc.serverlessNode + תפקידי נתונים
חשבון שירות בהתאמה אישית (אוטומציה) SA בהתאמה אישית roles/dataproc.serverlessEditor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית ‫roles/dataproc.serverlessNode + תפקידי נתונים

צפייה

צפייה ב-Spark (זמן ריצה 3.x)

כצופים ב-Spark, אתם יכולים לראות עומסי עבודה באצווה, סשנים אינטראקטיביים, מדדי ביצוע, יומנים ולוחות בקרה של סטטוסים בלי לשלוח או לשנות עומסי עבודה.

צריך לבקש מהאדמין להקצות לך את roles/dataproc.serverlessViewer.

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="user:VIEWER_EMAIL" \
  --role="roles/dataproc.serverlessViewer"

התפקיד הזה נותן הרשאת קריאה בלבד כדי לצפות בעומסי עבודה של אצווה ללא שרת, בסשנים אינטראקטיביים ובסטטוס הפעולה.

הרשאות מפורטות

הרשאות מפורטות (זמן ריצה 3.x)

בקטע הזה מפורטות ההרשאות של IAM שכלולות בתפקידי IAM שמשויכים לסביבת זמן הריצה 3.x.

תפקיד עריכה בלי שרת (roles/dataproc.serverlessEditor)

התפקיד הזה, עם ההרשאות שלו, מספק גישת קריאה וכתיבה לעומסי עבודה של אצווה בלי שרת (serverless) בזמן ריצה ב-3.x ולסשנים אינטראקטיביים.

הרשאה תיאור
dataproc.batches.create ליצור ולשלוח עומסי עבודה חדשים של Batch.
dataproc.batches.get קבלת הסטטוס והפרטים של עומס העבודה באצווה.
dataproc.batches.list הצגת רשימה של כל עומסי העבודה באצווה בפרויקט או באזור.
dataproc.batches.delete למחוק אצוות שהושלמו או הופסקו.
dataproc.batches.cancel ביטול של עומס עבודה פעיל באצווה.
dataproc.sessions.create ליצור סשנים אינטראקטיביים של Spark Connect.
dataproc.sessions.get קבלת הסטטוס והפרטים של הסשן.
dataproc.sessions.list הצגת רשימה של כל הסשנים בפרויקט או באזור.
dataproc.sessions.delete למחוק סשנים שהסתיימו.
dataproc.sessions.terminate סיום סשן אינטראקטיבי פעיל.
dataproc.sessionTemplates.create ליצור פרופילים של סביבות זמן ריצה (תבניות של סשנים).
dataproc.sessionTemplates.get קבלת פרטים על פרופיל זמן הריצה.
dataproc.sessionTemplates.list הצגת רשימה של פרופילי זמן ריצה בפרויקט או באזור.
dataproc.sessionTemplates.update עדכון פרופילים של סביבות זמן ריצה.
dataproc.sessionTemplates.delete למחוק פרופילים של סביבות זמן ריצה.
dataproc.operations.get בדיקת הסטטוס של פעולה אסינכרונית (נדרש על ידי ה-CLI של gcloud).

תפקיד של צומת ללא שרת (roles/dataproc.serverlessNode)

הרשאות לניהול מאגר צמתים ולתקשורת פנימית של Spark, לחשבונות שירות של עומסי עבודה בהתאמה אישית בסביבת זמן הריצה 3.x.

התפקידים האלה עם ההרשאות שלהם נדרשים כשמשתמשים בחשבון שירות מותאם אישית של עומס עבודה עם סביבת זמן הריצה 3.x. עומסי עבודה שפועלים עם פרטי כניסה של משתמשי קצה (EUC) ב-3.x כברירת מחדל לא משתמשים בחשבון שירות של עומס עבודה.

הרשאה תיאור
dataproc.batches.sparkApplicationWrite תקשורת של אפליקציית Spark לעומסי עבודה באצווה.
dataproc.sessions.sparkApplicationWrite תקשורת של אפליקציית Spark לסשנים אינטראקטיביים.
dataprocrm.nodePools.create ליצור מאגרי צומתי מחשוב.
dataprocrm.nodePools.delete למחוק מאגרי צמתים.
dataprocrm.nodePools.resize התאמה דינמית של מאגרי צמתים לעומס.
dataprocrm.nodePools.get קריאת הסטטוס של מאגר הצמתים.
dataprocrm.nodePools.list הצגת רשימה של מאגרי צמתים.
dataprocrm.nodePools.update עדכון ההגדרות של מאגר הצמתים.
dataprocrm.nodePools.deleteNodes הסרת צמתים ספציפיים ממאגר.
dataprocrm.nodes.list הצגת רשימה של צמתים במאגר.
dataprocrm.nodes.delete מחיקת צמתים בסיום המשימה.
dataprocrm.nodes.get קריאת סטטוס הצומת.
dataprocrm.nodes.heartbeat דיווח על תקינות הצומת ועל אותות חיים.
dataprocrm.nodes.mintOAuthToken הנפקת אסימוני OAuth לפעולות בצומת.
dataprocrm.operations.get בודקים את סטטוס הפעולה של התשתית.

התפקיד "צפייה בלי שרת (serverless)" (roles/dataproc.serverlessViewer)

התפקיד הזה וההרשאות שלו נדרשים כשמשתמשים בסביבת זמן הריצה 3.x עם חשבון שירות מותאם אישית של שולח. הם מספקים הרשאת קריאה בלבד לעומסי עבודה (workloads) של סביבת זמן הריצה של 3.x ללא שרת (serverless) באצווה, לסשנים אינטראקטיביים ולסטטוס הפעולה.

הרשאה תיאור
dataproc.batches.get לקרוא את הסטטוס והפרטים של עומס העבודה באצווה.
dataproc.batches.list הצגת רשימה של עומסי עבודה באצווה.
dataproc.sessions.get לקרוא את הסטטוס והפרטים של הסשן.
dataproc.sessions.list הצגת רשימת הסשנים.
dataproc.operations.get קריאת סטטוס הפעילות.
dataproc.operations.list פעולות ברשימות.

תפקיד הקצאת הרשאות של חשבון שירות (roles/iam.serviceAccountUser)

מאפשר למשתמש או למערכת אוטומטית לצרף ולהריץ עומסי עבודה כחשבון שירות בהתאמה אישית. עומס העבודה מופעל עם ההרשאות והגישה למשאבים שניתנו לחשבון השירות הזה, ולא עם פרטי הכניסה של משתמש הקצה (EUC) ששלח את הבקשה.

הרשאה תיאור
iam.serviceAccounts.actAs מאפשר למגיש להריץ עומסי עבודה בתור חשבון השירות שצוין.

סביבת זמן ריצה 2.x

כברירת מחדל, עומסי העבודה של סביבת זמן הריצה של 2.x פועלים בתור חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine. מגיש הבקשה (המשתמש או המערכת האוטומטית) פועל בתור החשבון הזה בזמן הרצת עומסי העבודה או הסשנים.

מפתח

מפתח Spark (זמן ריצה 2.x)

כמפתחי Spark שמשתמשים בסביבת זמן הריצה 2.x, אתם מפתחים, שולחים, מנטרים ופותרים בעיות בעומסי העבודה של Spark, וניגשים לנתונים. מכיוון שעומס העבודה פועל כחשבון שירות ולא כזהות המשתמש שלכם, אדמין מקצה לכם את התפקיד "עריכת IAM" ואת התפקיד "משתמש בחשבון שירות" כדי להריץ עומסי עבודה כחשבון השירות של עומס העבודה.

  1. לבקש הרשאת עריכה. מבקשים מהאדמין להקצות לכם את התפקיד roles/dataproc.editor בפרויקט:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. מבקשים הרשאת הקצאה. מבקשים מהאדמין להקצות לכם את התפקיד roles/iam.serviceAccountUser בחשבון השירות של עומס העבודה.

    חשבון השירות שמוגדר כברירת מחדל לעומסי עבודה הוא חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine, PROJECT_NUMBER-compute@developer.gserviceaccount.com:

    gcloud iam service-accounts add-iam-policy-binding \
      PROJECT_NUMBER-compute@developer.gserviceaccount.com \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. קבלת גישה לקטגוריית ה-Staging. למגיש סביבת זמן הריצה 2.x צריכה להיות הרשאה להעלות סקריפטים וקובצי JAR, ולחשבון השירות של עומס העבודה צריכה להיות הרשאה לנהל קבצים זמניים ויומנים. ההרשאות האלה כלולות בתפקיד roles/storage.objectAdmin.

    # Grant submitter access to upload staged files
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/storage.objectAdmin"
    
    # Grant workload service account access for staging, temporary files, and logs
    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/storage.objectAdmin"
    
  4. שולחים עומס עבודה של אצווה לבדיקה. כדי לוודא שההגדרה תקינה, שולחים עומס עבודה של מקבץ לבדיקה.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --version=2.2 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    

    הערות:

חשבונות שירות בהתאמה אישית של עומסי עבודה בהתאמה אישית (סביבת זמן ריצה 2.x)

אם הארגון שלכם דורש שעומסי העבודה יפעלו בזהות ייעודית שניתן לבדוק, במקום בחשבון השירות שמוגדר כברירת מחדל של Compute Engine (ראו שיטות מומלצות לחשבונות שירות ב-IAM), אתם יכולים להשתמש בחשבון שירות בהתאמה אישית.

  1. מקבלים הרשאה להריץ עומסי עבודה בתור חשבון השירות בהתאמה אישית. בקשו מהאדמין להקצות לכם את התפקיד roles/iam.serviceAccountUser בחשבון השירות בהתאמה אישית:

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. מציינים את חשבון השירות בהתאמה אישית באמצעות הדגל --service-account כששולחים עומסי עבודה.

    gcloud dataproc batches submit spark \
      --region=REGION \
      --service-account=WORKLOAD_SA_EMAIL \
      --version=2.2 \
      --class=org.apache.spark.examples.SparkPi \
      --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
      -- 1000
    
  3. גישה למערך הנתונים: אם לעומס העבודה אין גישה למערכי נתונים, צריך להקצות לחשבון השירות המותאם אישית של עומס העבודה (לא לחשבון המשתמש) את התפקידים הנדרשים לגישה לנתונים (ראו תפקידים נפוצים של נתונים ושירותים).

מנהל מערכת

אדמין של Spark (זמן ריצה 2.x)

כאדמינים של Spark, אתם מגדירים את הפרויקט, את חשבונות השירות ונותנים גישה למפתחי Spark.

עומסי העבודה משתמשים באופן אוטומטי ברשת המשנה של ה-VPC שנקראת default. אם בפרויקט אין רשת default או שמשתמשים בו ברשתות VPC בהתאמה אישית, קראו את המאמר הגדרת רשת ללא שרת (serverless) ב-Managed Service for Apache Spark כדי להגדיר ולציין תת-רשת לעומסי עבודה ולסשנים.

הפעלת סביבת זמן ריצה 2.x שמוגדרת כברירת מחדל

בסביבת זמן הריצה שמוגדרת כברירת מחדל 2.x, עומסי העבודה פועלים בתור חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

  1. מעניקים למפתח roles/dataproc.editor.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. מקצים את התפקיד roles/iam.serviceAccountUser בחשבון השירות שמוגדר כברירת מחדל.

    gcloud iam service-accounts add-iam-policy-binding \
      PROJECT_NUMBER-compute@developer.gserviceaccount.com \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. מקצים את התפקיד roles/dataproc.worker לחשבון השירות של עומס העבודה.

    התפקיד הזה מאפשר לחשבון השירות לרשום את הסוכן של ה-VM, להשכיר ולהריץ משימות מחשוב ולשלוח יומנים ומדדים ל-Cloud Logging ול-Cloud Monitoring:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/dataproc.worker"
    
  4. מקצים את ההרשאה roles/storage.objectAdmin לאחסון בקטגוריית ה-Staging.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com" \
      --role="roles/storage.objectAdmin"
    
  5. נותנים לחשבון השירות של עומס העבודה גישה למערך הנתונים.

    מקצים תפקידים ברמת הנתונים לחשבון השירות של עומס העבודה, כדי לאפשר לו לגשת למערכי הנתונים של אפליקציית Spark (ראו תפקידים נפוצים של נתונים ושירותים).

הפעלת חשבונות שירות בהתאמה אישית של עומסי עבודה (זמן ריצה 2.x)

כדי לבודד עומסי עבודה, השתמשו בחשבון שירות בהתאמה אישית של עומס עבודה עם סביבת זמן הריצה 2.x, במקום להשתמש בחשבון השירות המשותף שמוגדר כברירת מחדל של Compute Engine.

  1. מקצים למפתח את התפקיד roles/iam.serviceAccountUser בחשבון השירות בהתאמה אישית.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="user:DEVELOPER_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  2. מקצים את התפקיד roles/dataproc.worker לחשבון השירות בהתאמה אישית.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:WORKLOAD_SA_EMAIL" \
      --role="roles/dataproc.worker"
    
  3. לתת גישה לנתוני האפליקציה ולסביבת ה-staging.

    מקצים תפקידים ברמת הנתונים ישירות לחשבון השירות בהתאמה אישית של עומס העבודה (ראו תפקידים נפוצים של נתונים ושירותים) ומקצים את התפקיד roles/storage.objectAdmin בקטגוריות זמניות ובקטגוריות של שלב ביניים.

הפעלת חשבונות שירות בהתאמה אישית של השולח (זמן ריצה 2.x)

השתמשו בחשבון שירות מותאם אישית לשליחת משימות כשמערכות אוטומטיות (כמו Managed Service for Apache Airflow,‏ Cloud Scheduler או צינורות עיבוד נתונים של CI/CD) שולחות עומסי עבודה בלי משתמש אנושי אינטראקטיבי.

  1. מקצים את התפקיד roles/dataproc.editor לחשבון השירות של השולח.

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/dataproc.editor"
    
  2. מקצים את התפקיד roles/iam.serviceAccountUser לחשבון השירות של עומס העבודה.

    gcloud iam service-accounts add-iam-policy-binding \
      WORKLOAD_SA_EMAIL \
      --member="serviceAccount:SUBMITTER_SA_EMAIL" \
      --role="roles/iam.serviceAccountUser"
    
  3. מגדירים את חשבון השירות של עומס העבודה. נותנים ל-WORKLOAD_SA_EMAIL גישה ל-roles/dataproc.worker ולמערך הנתונים.

הפניה לתפקידי אדמין ב-Spark (זמן ריצה 2.x)

בטבלה הבאה מפורטים תפקידי ה-IAM שצריך להקצות בסביבת זמן הריצה 2.x.

השולח/ת Workload Identity הענקת גישה לשולח הקצאה לחשבון השירות של עומס העבודה
משתמש קצה (ברירת מחדל) חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine ‫roles/dataproc.editor + roles/iam.serviceAccountUser בחשבון השירות שמוגדר כברירת מחדל ‫roles/dataproc.worker + roles/storage.objectAdmin + תפקידי נתונים
משתמש קצה SA בהתאמה אישית roles/dataproc.editor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית ‫roles/dataproc.worker + roles/storage.objectAdmin + תפקידי נתונים
חשבון שירות בהתאמה אישית (אוטומציה) SA בהתאמה אישית roles/dataproc.editor + roles/iam.serviceAccountUser ב-SA בהתאמה אישית ‫roles/dataproc.worker + roles/storage.objectAdmin + תפקידי נתונים

צפייה

Spark viewer (runtime 2.x)

כצופים ב-Spark, אתם יכולים לראות עומסי עבודה באצווה, סשנים אינטראקטיביים, מדדי ביצוע, יומנים ולוחות בקרה של סטטוסים בלי לשלוח או לשנות עומסי עבודה.

בקשו מהאדמין לתת לכם את ההרשאות הבאות ב-roles/dataproc.viewer:

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member="user:VIEWER_EMAIL" \
  --role="roles/dataproc.viewer"

התפקיד הזה נותן גישת קריאה בלבד למשאבים של Managed Service for Apache Spark, כמו אשכולות, משימות, אצוות, סשנים ופעולות.

הרשאות מפורטות

הרשאות מפורטות (זמן ריצה 2.x)

בקטע הזה מפורטות ההרשאות של IAM שכלולות בתפקידי IAM שמשויכים לסביבת זמן הריצה 2.x.

תפקיד עריכה (roles/dataproc.editor)

התפקיד הזה מאפשר לשלוט בסביבות זמן הריצה של עומסי עבודה וסשנים ללא שרת (serverless) ב-2.x, וגם באשכולות ובמשימות של Managed Service for Apache Spark ב-Compute Engine.

הרשאה נדרש ללא שרת (serverless) תיאור
dataproc.batches.create כן ליצור ולשלוח עומסי עבודה חדשים של Batch.
dataproc.batches.get כן קבלת הסטטוס והפרטים של עומס העבודה באצווה.
dataproc.batches.list כן הצגת רשימה של כל עומסי העבודה באצווה בפרויקט או באזור.
dataproc.batches.delete כן למחוק אצוות שהושלמו או הופסקו.
dataproc.batches.cancel כן ביטול של עומס עבודה פעיל באצווה.
dataproc.sessions.create כן ליצור סשנים אינטראקטיביים.
dataproc.sessions.get כן קבלת הסטטוס והפרטים של הסשן.
dataproc.sessions.list כן הצגת רשימה של כל הסשנים בפרויקט או באזור.
dataproc.sessions.delete כן למחוק סשנים שהסתיימו.
dataproc.sessions.terminate כן סיום סשן אינטראקטיבי פעיל.
dataproc.operations.get כן בדיקת הסטטוס של פעולה אסינכרונית (נדרש על ידי ה-CLI של gcloud).
compute.networks.get כן הצגת ההגדרות של רשת VPC.
compute.networks.list כן הצגת רשימה של רשתות VPC בפרויקט. לא מציג רשימה של רשתות משנה. כדי להציג רשימה של רשתות משנה במסוף Google Cloud או בסביבות פיתוח משולבות (IDE), נדרשת ההרשאה compute.subnetworks.list (ראו הרשאות נוספות למסוף Google Cloud ולסביבות פיתוח משולבות (IDE)).
dataproc.clusters.* לא (אשכולות בלבד) ליצור, לנהל ולהשתמש באשכולות של Managed Service for Apache Spark שמבוססים על Compute Engine.
dataproc.jobs.* לא (אשכולות בלבד) שליחה וניהול של משימות באשכולות של Managed Service for Apache Spark שמבוססים על Compute Engine.
dataproc.autoscalingPolicies.* לא (אשכולות בלבד) כללי מדיניות של התאמה אוטומטית לעומס (autoscaling) באשכולות שמבוססים על Compute Engine.
dataproc.nodeGroups.* לא (אשכולות בלבד) קבוצות של צמתים בהתאמה אישית באשכולות שמבוססים על Compute Engine.
dataproc.workflowTemplates.* לא (אשכולות בלבד) תבניות של תהליכי עבודה לאשכולות שמבוססים על Compute Engine.
compute.machineTypes.* לא (אשכולות בלבד) מטא-נתונים של סוג המכונה לאשכולות שמבוססים על Compute Engine.

תפקיד העובד (roles/dataproc.worker)

התפקיד הזה נותן הרשאות להרצת עומסי עבודה בסביבת זמן הריצה 2.x.

הרשאה תיאור
dataproc.agents.create רושמים את סוכן ה-VM ב-VM.
dataproc.agents.get קריאת מצב הסוכן.
dataproc.agents.update עדכון מצב הסוכן.
dataproc.agents.delete בסיום, מבטלים את הרישום של הנציג.
dataproc.tasks.lease להקצות משימות חישוב לביצוע.
dataproc.tasks.reportStatus דיווח על סטטוס ביצוע המשימה.
storage.objects.create לכתוב נתונים במאגר זמני, קבצים זמניים ויומנים.
storage.objects.delete מחיקת קבצים זמניים.
storage.objects.get לקרוא סקריפטים של אתחול וקבצים בשלבי הכנה.
storage.objects.list הצגת רשימה של תכנים בקטגוריות זמניות ובקטגוריות של שלבי ביניים.

תפקיד הצופה (roles/dataproc.viewer)

התפקיד הזה נותן הרשאת קריאה בלבד לכל המשאבים של Managed Service for Apache Spark.

הרשאה נדרש ללא שרת (serverless) תיאור
dataproc.batches.get כן לקרוא את הסטטוס והפרטים של עומס העבודה באצווה.
dataproc.batches.list כן הצגת רשימה של כל עומסי העבודה באצווה בפרויקט או באזור.
dataproc.sessions.get כן לקרוא את הסטטוס והפרטים של הסשן.
dataproc.sessions.list כן הצגת רשימה של כל הסשנים בפרויקט או באזור.
dataproc.operations.get כן קריאת סטטוס של פעולה אסינכרונית.
dataproc.operations.list כן הצגת רשימה של פעולות בפרויקט או באזור.
dataproc.clusters.get לא (אשכולות בלבד) לראות את ההגדרות והסטטוס של האשכול.
dataproc.clusters.list לא (אשכולות בלבד) הצגת רשימה של אשכולות בפרויקט או באזור.
dataproc.jobs.get לא (אשכולות בלבד) לראות את הפרטים והסטטוס של משימות באשכולות.
dataproc.jobs.list לא (אשכולות בלבד) להציג רשימה של משימות באשכולות.
dataproc.autoscalingPolicies.get לא (אשכולות בלבד) הצגת פרטי המדיניות של ההתאמה האוטומטית לעומס.
dataproc.autoscalingPolicies.list לא (אשכולות בלבד) הצגת רשימה של כללי מדיניות להתאמה אוטומטית לעומס.
dataproc.workflowTemplates.get לא (אשכולות בלבד) הצגת פרטי התבנית של תהליך העבודה.
dataproc.workflowTemplates.list לא (אשכולות בלבד) הצגת רשימה של תבניות לתהליכי עבודה.

תפקיד הקצאת הרשאות של חשבון שירות (roles/iam.serviceAccountUser)

מאפשר למשתמש או למערכת אוטומטית לצרף ולהריץ עומסי עבודה בתור חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine או בתור חשבון שירות בהתאמה אישית. עומס העבודה מופעל עם ההרשאות והגישה למשאבים שניתנו לחשבון השירות הזה.

הרשאה תיאור
iam.serviceAccounts.actAs מאפשר למגיש להריץ עומסי עבודה בתור חשבון השירות שצוין.

הרשאות נוספות למסוף Google Cloud ולסביבות פיתוח משולבות (IDE)

כששולחים עומסי עבודה באמצעות Google Cloud CLI או Dataproc API, מישור הבקרה של Managed Service for Apache Spark פותר באופן אוטומטי את רשת ה-VPC ורשת המשנה של הפרויקט default, בלי לבדוק את ההרשאות של רשת המשנה של Compute Engine או של Service Usage ברמת המתקשר.

עם זאת, כשיוצרים או עורכים פרופילים של סביבות זמן ריצה, סשנים אינטראקטיביים או עומסי עבודה באצווה במסוף Google Cloud , או כשמשתמשים ב-Google Cloud Data Agent Kit בסביבת פיתוח משולבת (IDE) כמו VS Code, הלקוח מבצע בדיקות קריאה נוספות באמצעות פרטי הכניסה של המשתמש:

הרשאה תהליך העבודה של הלקוח מטרה
compute.subnetworks.list מסוףGoogle Cloud ו-Data Agent Kit מציגים רשימה של רשתות משנה אזוריות של VPC כדי לוודא שברשת default יש רשת משנה שמופעלת בה גישה פרטית ל-Google, וכדי לאכלס את התפריטים של הרשת ורשת המשנה.
compute.subnetworks.get מסוףGoogle Cloud ו-Data Agent Kit בודקים את המטא-נתונים של רשת המשנה כשמציגים, משכפלים או עורכים פרופיל של סביבת זמן ריצה, סשן או עומס עבודה באצווה.
compute.networks.list מסוףGoogle Cloud ו-Data Agent Kit הצגת רשימה של רשתות VPC בפרויקט (כלול ב-roles/dataproc.editor וב-roles/dataproc.admin, אבל לא ב-roles/dataproc.serverlessEditor).
compute.networks.get מסוףGoogle Cloud ו-Data Agent Kit הצגת פרטים של רשת VPC (כלול ב-roles/dataproc.editor וב-roles/dataproc.admin, אבל לא ב-roles/dataproc.serverlessEditor).
serviceusage.services.get ‫Data Agent Kit וסביבות פיתוח משולבות (IDE) לפני שאתם טוענים את עץ המשאבים של Spark, בדקו אם Dataproc API‏ (dataproc.googleapis.com) מופעל בפרויקט שבחרתם.
serviceusage.services.list מסוףGoogle Cloud וסביבות פיתוח משולבות (IDE) מציגים את רשימת ממשקי ה-API שמופעלים בפרויקט.

הקצאת תפקיד בהתאמה אישית מינימלי (מומלץ)

כדי לפעול לפי העיקרון של הרשאות מינימליות, צרו תפקיד IAM בהתאמה אישית שמעניק רק את ההרשאות שנדרשות לתהליכי עבודה במסוף Google Cloud וב-IDE, וקשרו אותו למפתחי Spark בנוסף לתפקיד roles/dataproc.serverlessEditor או roles/dataproc.editor:

  1. יוצרים את התפקיד בהתאמה אישית בפרויקט:

    gcloud iam roles create sparkConsoleAndIdeUser \
      --project=PROJECT_ID \
      --title="Managed Spark Console and IDE User" \
      --description="Read-only network and Service Usage permissions for Managed Spark console and IDE workflows" \
      --permissions=compute.networks.get,compute.networks.list,compute.subnetworks.get,compute.subnetworks.list,serviceusage.services.get,serviceusage.services.list \
      --stage=GA
    
  2. מקצים את התפקיד בהתאמה אישית למפתח Spark:

    gcloud projects add-iam-policy-binding PROJECT_ID \
      --member="user:DEVELOPER_EMAIL" \
      --role="projects/PROJECT_ID/roles/sparkConsoleAndIdeUser"
    

במקום להשתמש בתפקיד בהתאמה אישית, אתם יכולים להקצות את התפקידים המוגדרים מראש "צפייה ברשת Compute"‏ (roles/compute.networkViewer) ו"צפייה בשימוש בשירות" (roles/serviceusage.serviceUsageViewer). שימוש בתפקידים מוגדרים מראש חוסך את הצורך בתחזוקה של תפקידים בהתאמה אישית, כי Google Cloud מנהל את ההרשאות שלהם באופן אוטומטי. עם זאת, תפקידי הצפייה המוגדרים מראש מעניקים גישת קריאה רחבה יותר ממה שנדרש ל-Managed Service for Apache Spark: התפקיד roles/compute.networkViewer מאפשר למשתמשים לראות את כל משאבי הרשת של Compute Engine בפרויקט (כולל כללי חומת אש, נתיבים, Cloud Routers, מנהרות VPN, כללי העברה וקבוצות של נקודות קצה ברשת), והתפקיד roles/serviceusage.serviceUsageViewer מאפשר למשתמשים לראות מכסות ומדיניות צרכנים בכל השירותים בפרויקט. אל תתנו את התפקידים roles/compute.networkUser או roles/serviceusage.serviceUsageConsumer למשתמשי קצה רק בשביל גישה למסוף Google Cloud או ל-IDE, כי התפקידים האלה גם נותנים הרשאות לצירוף משאבים ולמכסות (compute.subnetworks.use ו-serviceusage.services.use) שמשתמשי קצה לא צריכים.

המאמרים הבאים