זהות במישור הנתונים
ב-Managed Service for Apache Spark ב-GKE, נעשה שימוש ב-Workload Identity ב-GKE כדי לאפשר לפודים באשכול Managed Service for Apache Spark ב-GKE לפעול עם הסמכות של חשבון השירות של מכונת ה-VM שמוגדר כברירת מחדל ב-Managed Service for Apache Spark (זהות מישור הנתונים).
כדי לעדכן את מדיניות ה-IAM ב-GSA שמשמש את האשכול הווירטואלי של Managed Service for Apache Spark ב-GKE, נדרשות ההרשאות הבאות ל-Workload Identity:
compute.projects.getiam.serviceAccounts.getIamPolicyiam.serviceAccounts.setIamPolicy
Workload Identity ב-GKE מקשר את חשבונות השירות הבאים של GKE (KSA) לחשבון השירות של המכונה הווירטואלית של Managed Service for Apache Spark:
-
agentKSA (מקיים אינטראקציה עם מישור הבקרה של Managed Service for Apache Spark):
serviceAccount:${PROJECT}.svc.id.goog[${DPGKE_NAMESPACE}/agent] -
spark-driverKSA (מריץ מנהלי התקנים של Spark):serviceAccount:${PROJECT}.svc.id.goog[${DPGKE_NAMESPACE}/spark-driver] -
spark-executorKSA (מריץ את מנהלי הביצוע של Spark):serviceAccount:${PROJECT}.svc.id.goog[${DPGKE_NAMESPACE}/spark-executor]
הקצאת תפקידים
נותנים הרשאות לחשבון השירות של Managed Service for Apache Spark VM כדי לאפשר ל-spark-driver ול-spark-executor לגשת למשאבי הפרויקט, למקורות הנתונים, ל-data sinks ולכל שירות אחר שנדרש לעומס העבודה.
דוגמה:
הפקודה הבאה מקצה תפקידים לחשבון השירות של מכונות וירטואליות שמוגדר כברירת מחדל ב-Managed Service for Apache Spark, כדי לאפשר לעומסי עבודה של Spark שפועלים ב-Managed Service for Apache Spark במכונות וירטואליות של אשכול GKE לגשת לקטגוריות של Cloud Storage ולמערכי נתונים של BigQuery בפרויקט.
gcloud projects add-iam-policy-binding \
--role=roles/storage.objectAdmin \
--role=roles/bigquery.dataEditor \
--member="project-number-compute@developer.gserviceaccount.com" \
"${PROJECT}"
הגדרת IAM בהתאמה אישית
ב-Managed Service for Apache Spark ב-GKE, משתמשים ב-Workload Identity ב-GKE כדי לקשר את חשבון השירות של מכונות וירטואליות ב-Managed Service for Apache Spark (זהות במישור הנתונים) לשלושת חשבונות השירות של GKE (KSA).
כדי ליצור חשבון שירות אחר ב-Google (GSA) ולהשתמש בו לקישור אל ה-KSA:
יוצרים את חשבון השירות ב-Google (ראו יצירה וניהול של חשבונות שירות).
דוגמה ל-CLI של gcloud:
הערות:gcloud iam service-accounts create "dataproc-${USER}" \ --description "Used by Managed Service for Apache Spark on GKE workloads."- בדוגמה הזו, שם ה-GSA הוא dataproc-${USER}, אבל אפשר להשתמש בשם אחר.
מגדירים את משתני הסביבה:
הערות:PROJECT=project-id \ DPGKE_GSA="dataproc-${USER}@${PROJECT}.iam.gserviceaccount.com" DPGKE_NAMESPACE=GKE namespace-
DPGKE_GSA: בדוגמאות,DPGKE_GSAמוגדר ומשמש כשם המשתנה שמכיל את כתובת האימייל של חשבון השירות ב-Google. אפשר להגדיר שם משתנה אחר ולהשתמש בו. -
DPGKE_NAMESPACE: מרחב השמות שמוגדר כברירת מחדל ב-GKE הוא השם של אשכול Managed Service for Apache Spark ב-GKE.
-
כשיוצרים את אשכול Managed Service for Apache Spark ב-GKE, מוסיפים את המאפיינים הבאים ל-Managed Service for Apache Spark כדי להשתמש ב-GSA במקום ב-GSA שמוגדר כברירת מחדל:
--properties "dataproc:dataproc.gke.agent.google-service-account=${DPGKE_GSA}" \ --properties "dataproc:dataproc.gke.nodepool.google-service-account=${DPGKE_GSA}" \ --properties "dataproc:dataproc.gke.spark.driver.google-service-account=${DPGKE_GSA}" \ --properties "dataproc:dataproc.gke.spark.executor.google-service-account=${DPGKE_GSA}" \מריצים את הפקודות הבאות כדי להקצות את ההרשאות הנדרשות של Workload Identity לחשבונות השירות:
- מקצים ל-GSA את התפקיד
dataproc.workerכדי לאפשר לו לפעול כנציג:gcloud projects add-iam-policy-binding \ --role=roles/dataproc.worker \ --member="serviceAccount:${DPGKE_GSA}" \ "${PROJECT}" מקצים ל-KSA של
agentאת התפקידiam.workloadIdentityUserכדי לאפשר לו לפעול בתור GSA:gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.workloadIdentityUser \ --member="serviceAccount:${PROJECT}.svc.id.goog[${DPGKE_NAMESPACE}/agent]" \ "${DPGKE_GSA}"מקצים ל-KSA של
spark-driverאת התפקידiam.workloadIdentityUserכדי לאפשר לו לפעול בתור GSA:gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.workloadIdentityUser \ --member="serviceAccount:${PROJECT}.svc.id.goog[${DPGKE_NAMESPACE}/spark-driver]" \ "${DPGKE_GSA}"מקצים ל-KSA של
spark-executorאת התפקידiam.workloadIdentityUserכדי לאפשר לו לפעול בתור GSA:gcloud iam service-accounts add-iam-policy-binding \ --role=roles/iam.workloadIdentityUser \ --member="serviceAccount:${PROJECT}.svc.id.goog[${DPGKE_NAMESPACE}/spark-executor]" \ "${DPGKE_GSA}"
- מקצים ל-GSA את התפקיד