כשמשתמשים ב-Managed Service for Apache Spark כדי ליצור אשכולות ולהריץ משימות באשכולות, השירות מגדיר את התפקידים וההרשאות הנדרשים של Managed Service for Apache Spark בפרויקט כדי לגשת למשאבים שנדרשים לביצוע המשימות האלה ולהשתמש בהם. Google Cloud אבל אם אתם עובדים על פרויקטים שונים, למשל כדי לגשת לנתונים בפרויקט אחר, תצטרכו להגדיר את התפקידים וההרשאות הנדרשים כדי לגשת למשאבים בפרויקטים שונים.
כדי לעזור לכם לבצע עבודה בין פרויקטים בהצלחה, במסמך הזה מפורטים החשבונות השונים שמשתמשים ב-Managed Service for Apache Spark והתפקידים שמכילים את ההרשאות הנדרשות לחשבונות האלה כדי לגשת למשאבים של Google Cloud ולהשתמש בהם.
יש שלושה גורמים (זהויות) שמקבלים גישה ל-Managed Service for Apache Spark ומשתמשים בו:
- זהות המשתמש
- Control Plane Identity
זהות במישור הנתונים
משתמש Dataproc API (זהות משתמש)
דוגמה: username@example.com
זהו המשתמש שמבצע קריאות ל-Managed Service for Apache Spark כדי ליצור אשכולות, לשלוח משימות ולבצע בקשות אחרות לשירות. המשתמש הוא בדרך כלל אדם פרטי, אבל הוא יכול להיות גם חשבון שירות אם מפעילים את Managed Service for Apache Spark דרך לקוח API או משירות אחר כמו Compute Engine, פונקציות Cloud Run או Managed Service for Apache Airflow.Google Cloud
תפקידים קשורים
הערות
- משימות שנשלחות באמצעות Dataproc API מורצות כ-
rootב-Linux. אשכולות של Managed Service for Apache Spark מקבלים בירושה מטא-נתונים של SSH ב-Compute Engine ברמת הפרויקט, אלא אם חוסמים זאת באופן מפורש על ידי הגדרת
--metadata=block-project-ssh-keys=trueכשיוצרים את האשכול (ראו מטא-נתונים של אשכול).ספריות משתמשים ב-HDFS נוצרות לכל משתמש SSH ברמת הפרויקט. ספריות HDFS האלה נוצרות בזמן פריסת האשכול, ומשתמש SSH חדש (אחרי הפריסה) לא מקבל ספריית HDFS באשכולות קיימים.
סוכן שירות Managed Service for Apache Spark (זהות של מישור הבקרה)
דוגמה: service-project-number@dataproc-accounts.iam.gserviceaccount.com
חשבון השירות של סוכן השירות Managed Service for Apache Spark משמש לביצוע מגוון רחב של פעולות מערכת במשאבים שנמצאים בפרויקט שבו נוצר אשכול של Managed Service for Apache Spark, כולל:
- יצירה של משאבי Compute Engine, כולל מכונות וירטואליות, קבוצות של מכונות ותבניות של מכונות
- פעולות
getו-listכדי לאשר את ההגדרה של משאבים כמו תמונות, חומות אש, פעולות אתחול של Managed Service for Apache Spark וקטגוריות של Cloud Storage - יצירה אוטומטית של מאגרי זמני ומאגרי staging ב-Managed Service for Apache Spark אם המשתמש לא מציין את מאגר ה-staging או המאגר הזמני
- כתיבת מטא-נתונים של תצורת האשכול לקטגוריית הביניים
- גישה לרשתות VPC בפרויקט מארח
תפקידים קשורים
חשבון שירות של מכונה וירטואלית בשירות המנוהל ל-Apache Spark (זהות של מישור הנתונים)
דוגמה: project-number-compute@developer.gserviceaccount.com
קוד האפליקציה שלכם פועל כחשבון השירות של המכונה הווירטואלית במכונות וירטואליות של Managed Service for Apache Spark. למשימות של המשתמש מוקצים התפקידים (עם ההרשאות שמשויכות אליהם) של חשבון השירות הזה.
חשבון השירות של המכונה הווירטואלית מבצע את הפעולות הבאות:
- מתקשר עם מישור הבקרה של Managed Service for Apache Spark.
- קריאה וכתיבה של נתונים ממאגרי זמניים ומאגרי staging של Managed Service for Apache Spark.
- בהתאם לצורך של המשימות בשירות המנוהל ל-Apache Spark, המערכת קוראת וכותבת נתונים מ-Cloud Storage, מ-BigQuery, מ-Cloud Logging וממקורות אחרים Google Cloud .
תפקידים קשורים
המאמרים הבאים
- מידע נוסף על תפקידים והרשאות ב-Managed Service for Apache Spark
- מידע נוסף על חשבונות שירות של Managed Service for Apache Spark
- מידע נוסף על בקרת גישה ב-BigQuery
- אפשרויות בקרת גישה ב-Cloud Storage