Apache Spark용 관리형 서비스 Identity and Access Management 역할 및 권한

Identity and Access Management(IAM)를 사용하면 프로젝트 리소스에 대한 사용자 및 그룹 액세스를 제어할 수 있습니다. 이 문서에서는 Managed Service for Apache Spark와 관련된 IAM 권한과 해당 권한을 부여하는 IAM 역할에 대해 집중적으로 다룹니다.

Managed Service for Apache Spark 권한

2020년 8월 3일부터 보안 요구사항: Managed Service for Apache Spark 사용자는 클러스터를 만들고 워크플로를 인스턴스화하는 등 Managed Service for Apache Spark 리소스를 배포하려면 서비스 계정 ActAs 권한이 있어야 합니다. 서비스 계정 권한에 대한 자세한 내용은 서비스 계정 인증 역할을 참조하세요.

기존 Managed Service for Apache Spark 사용자의 선택: 기존 2020년 8월 3일 기준으로 기존의 Managed Service for Apache Spark 사용자는 이 보안 요구사항을 선택할 수 있습니다 (Managed Service for Apache Spark, Dataflow, Cloud Data Fusion 보호 참고).

Managed Service for Apache Spark 권한을 사용하면 서비스 계정을 포함한 사용자가 Managed Service for Apache Spark 클러스터, 작업, 작업, 워크플로 템플릿에서 작업을 수행할 수 있습니다. 예를 들어 dataproc.clusters.create 권한이 있는 사용자는 프로젝트에서 Managed Service for Apache Spark 클러스터를 만들 수 있습니다. 일반적으로 권한을 부여하지 않습니다. 그 대신 하나 이상의 권한이 포함된 역할을 부여합니다.

다음 표는 Managed Service for Apache Spark API (메서드)를 호출하는 데 필요한 권한 목록입니다. 이 표는 각 Managed Service for Apache Spark 리소스 (클러스터, 작업, 작업, 워크플로 템플릿)와 관련된 API에 따라 구성됩니다.

권한 범위: 다음 표에 나와 있는 Managed Service for Apache Spark 권한의 범위는 포함된 Google Cloud프로젝트 (cloud-platform 범위)입니다. 서비스 계정 권한을 참조하세요.

예:

• dataproc.clusters.create는 포함된 프로젝트에 Managed Service for Apache Spark 클러스터를 만들도록 허용합니다.
• dataproc.jobs.create는 포함된 프로젝트의 Managed Service for Apache Spark 클러스터에 Managed Service for Apache Spark 작업을 제출하도록 허용합니다.
• dataproc.clusters.list는 포함된 프로젝트에 Managed Service for Apache Spark 클러스터의 세부정보를 표시하도록 허용합니다.

클러스터 메서드에 필요한 권한

메서드	필수 권한
projects.regions.clusters.create ^1, 2	dataproc.clusters.create
projects.regions.clusters.get	dataproc.clusters.get
projects.regions.clusters.list	dataproc.clusters.list
projects.regions.clusters.patch ^1, 2, 3	dataproc.clusters.update
projects.regions.clusters.delete ^1	dataproc.clusters.delete
projects.regions.clusters.start	dataproc.clusters.start
projects.regions.clusters.stop	dataproc.clusters.stop
projects.regions.clusters.getIamPolicy	dataproc.clusters.getIamPolicy
projects.regions.clusters.setIamPolicy	dataproc.clusters.setIamPolicy

참고:

1. Google Cloud CLI에서 상태 업데이트를 가져오려면 dataproc.operations.get 권한도 필요합니다.
2. Google Cloud CLI에서 작업의 결과를 가져오려면 dataproc.clusters.get 권한도 필요합니다.
3. 클러스터에서 자동 확장 정책을 사용 설정하려면 dataproc.autoscalingPolicies.use 권한도 필요합니다.

작업 메서드에 필요한 권한

메서드	필수 권한
projects.regions.jobs.submit ^1, 2	dataproc.jobs.create dataproc.clusters.use
projects.regions.jobs.get	dataproc.jobs.get
projects.regions.jobs.list	dataproc.jobs.list
projects.regions.jobs.cancel ^1	dataproc.jobs.cancel
projects.regions.jobs.patch ^1	dataproc.jobs.update
projects.regions.jobs.delete ^1	dataproc.jobs.delete
projects.regions.jobs.getIamPolicy	dataproc.jobs.getIamPolicy
projects.regions.jobs.setIamPolicy	dataproc.jobs.setIamPolicy

참고:

1. Google Cloud CLI에는 jobs submit, jobs wait, jobs update, jobs delete, jobs kill 명령어에 대한 dataproc.jobs.get 권한도 필요합니다.

2. gcloud CLI에는 작업을 제출하기 위한 dataproc.clusters.get 권한도 필요합니다. Managed Service for Apache Spark 상세 IAM을 사용하여 클러스터에서 gcloud dataproc jobs submit을 실행하는 데 필요한 사용자 권한을 설정하는 예시에 대해서는 상세 IAM을 사용하여 작업 제출을 참고하세요.

운영 메서드에 필요한 권한

메서드	필수 권한
projects.regions.operations.get	dataproc.operations.get
projects.regions.operations.list	dataproc.operations.list
projects.regions.operations.cancel	dataproc.operations.cancel
projects.regions.operations.delete	dataproc.operations.delete
projects.regions.operations.getIamPolicy	dataproc.operations.getIamPolicy
projects.regions.operations.setIamPolicy	dataproc.operations.setIamPolicy

워크플로 템플릿 메서드에 필요한 권한

메서드	필수 권한
projects.regions.workflowTemplates.instantiate	dataproc.workflowTemplates.instantiate
projects.regions.workflowTemplates.instantiateInline	dataproc.workflowTemplates.instantiateInline
projects.regions.workflowTemplates.create	dataproc.workflowTemplates.create
projects.regions.workflowTemplates.get	dataproc.workflowTemplates.get
projects.regions.workflowTemplates.list	dataproc.workflowTemplates.list
projects.regions.workflowTemplates.update	dataproc.workflowTemplates.update
projects.regions.workflowTemplates.delete	dataproc.workflowTemplates.delete
projects.regions.workflowTemplates.getIamPolicy	dataproc.workflowTemplates.getIamPolicy
projects.regions.workflowTemplates.setIamPolicy	dataproc.workflowTemplates.setIamPolicy

참고:

1. 워크플로 템플릿 권한은 클러스터 권한 및 작업 권한과 무관합니다. create cluster 또는 submit job 권한이 없어도 워크플로 템플릿을 만들고 인스턴스화할 수 있습니다.

2. 워크플로 완료를 폴링하려면 Google Cloud CLI에 dataproc.operations.get 권한이 추가로 필요합니다.

3. 실행 중인 워크플로를 취소하려면 dataproc.operations.cancel 권한이 필요합니다.

자동 확장 정책 메서드에 필요한 권한

메서드	필수 권한
projects.regions.autoscalingPolicies.create	dataproc.autoscalingPolicies.create
projects.regions.autoscalingPolicies.get	dataproc.autoscalingPolicies.get
projects.regions.autoscalingPolicies.list	dataproc.autoscalingPolicies.list
projects.regions.autoscalingPolicies.update	dataproc.autoscalingPolicies.update
projects.regions.autoscalingPolicies.delete	dataproc.autoscalingPolicies.delete
projects.regions.autoscalingPolicies.getIamPolicy	dataproc.autoscalingPolicies.getIamPolicy
projects.regions.autoscalingPolicies.setIamPolicy	dataproc.autoscalingPolicies.setIamPolicy

참고:

1. 클러스터에서 clusters.patch 메서드 요청으로 자동 확장 정책을 사용 설정하려면 dataproc.autoscalingPolicies.use 권한이 필요합니다.

노드 그룹 메서드에 필요한 권한

메서드	필수 권한
projects.regions.nodeGroups.create	dataproc.nodeGroups.create
projects.regions.nodeGroups.get	dataproc.nodeGroups.get
projects.regions.nodeGroups.resize	dataproc.nodeGroups.update

Managed Service for Apache Spark 역할

Managed Service for Apache Spark IAM 역할은 하나 이상의 권한 모음입니다. 프로젝트의 Managed Service for Apache Spark 리소스에서 작업을 수행할 수 있도록 사용자 또는 그룹에 역할을 부여할 수 있습니다. 예를 들어 Managed Service for Apache Spark 뷰어 역할에는 get 및 list 권한이 포함되며, 이를 통해 사용자는 프로젝트의 Managed Service for Apache Spark 클러스터, 작업, 운영을 가져와 표시할 수 있습니다.

다음 표에는 Managed Service for Apache Spark 클러스터를 만들고 관리하는 데 필요한 권한이 포함된 역할이 나열되어 있습니다.

역할 부여 대상	역할
사용자	사용자에게 다음 역할을 부여합니다. Dataproc 편집자 역할: Managed Service for Apache Spark 클러스터를 만들고 관리합니다. Managed Service for Apache Spark VM 서비스 계정에 대한 서비스 계정 사용자 역할
서비스 계정	Managed Service for Apache Spark VM 서비스 계정에 Dataproc 작업자 역할을 부여합니다.

다음에 유의하세요.

• Cloud Storage, BigQuery, Cloud Logging 및 기타 Google Cloud 리소스에서 데이터를 읽고 쓰는 등의 다른 작업에 필요한 권한이 포함된 추가 사전 정의 역할 또는 맞춤 역할을 Managed Service for Apache Spark VM 서비스 계정에 부여해야 할 수 있습니다.

• 일부 프로젝트에서는 Managed Service for Apache Spark VM 서비스 계정에 Managed Service for Apache Spark 작업자 역할 권한과 Managed Service for Apache Spark 데이터 영역 작업에 필요하지 않은 추가 권한을 포함하는 프로젝트 편집자 역할이 자동으로 부여되었을 수 있습니다. 최소 권한의 보안 권장사항 원칙을 준수하려면 편집자 역할을 Managed Service for Apache Spark 작업자 역할로 대체합니다 (VM 서비스 계정 역할 보기 참고).

역할을 부여해야 하나요?

조직 정책에 따라 필수 역할이 이미 부여되었을 수 있습니다.

사용자에게 부여된 역할 확인

사용자에게 역할이 부여되었는지 확인하려면 프로젝트, 폴더, 조직에 대한 액세스 관리 > 현재 액세스 권한 보기의 안내를 따르세요.

서비스 계정에 부여된 역할 확인

서비스 계정에 역할이 부여되었는지 확인하려면 IAM 서비스 계정 역할 보기 및 관리를 참고하세요.

서비스 계정에 부여된 역할 확인

사용자에게 서비스 계정에 대한 역할이 부여되었는지 확인하려면 서비스 계정에 대한 액세스 관리 > 현재 액세스 보기의 안내를 따르세요.

Managed Service for Apache Spark 역할 및 권한 조회

다음 섹션을 사용하여 Managed Service for Apache Spark 역할 및 권한을 조회할 수 있습니다.

Role	Permissions
Dataproc Administrator (roles/dataproc.admin) Full control of Dataproc resources.	cloudkms.keyHandles.* cloudkms.keyHandles.create cloudkms.keyHandles.get cloudkms.keyHandles.list cloudkms.operations.get cloudkms.projects.showEffectiveAutokeyConfig compute.machineTypes.* compute.machineTypes.get compute.machineTypes.list compute.networks.get compute.networks.list compute.projects.get compute.regions.* compute.regions.get compute.regions.list compute.zones.* compute.zones.get compute.zones.list dataproc.autoscalingPolicies.* dataproc.autoscalingPolicies.create dataproc.autoscalingPolicies.delete dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.getIamPolicy dataproc.autoscalingPolicies.list dataproc.autoscalingPolicies.setIamPolicy dataproc.autoscalingPolicies.update dataproc.autoscalingPolicies.use dataproc.batches.* dataproc.batches.analyze dataproc.batches.cancel dataproc.batches.create dataproc.batches.delete dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.batches.sparkApplicationWrite dataproc.clusters.* dataproc.clusters.create dataproc.clusters.delete dataproc.clusters.get dataproc.clusters.getIamPolicy dataproc.clusters.list dataproc.clusters.repair dataproc.clusters.setIamPolicy dataproc.clusters.start dataproc.clusters.stop dataproc.clusters.update dataproc.clusters.use dataproc.jobs.* dataproc.jobs.cancel dataproc.jobs.create dataproc.jobs.delete dataproc.jobs.get dataproc.jobs.getIamPolicy dataproc.jobs.list dataproc.jobs.setIamPolicy dataproc.jobs.update dataproc.nodeGroups.* dataproc.nodeGroups.create dataproc.nodeGroups.get dataproc.nodeGroups.update dataproc.operations.* dataproc.operations.cancel dataproc.operations.delete dataproc.operations.get dataproc.operations.getIamPolicy dataproc.operations.list dataproc.operations.setIamPolicy dataproc.sessionTemplates.* dataproc.sessionTemplates.create dataproc.sessionTemplates.delete dataproc.sessionTemplates.get dataproc.sessionTemplates.list dataproc.sessionTemplates.update dataproc.sessions.* dataproc.sessions.create dataproc.sessions.delete dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.sessions.sparkApplicationWrite dataproc.sessions.terminate dataproc.workflowTemplates.* dataproc.workflowTemplates.create dataproc.workflowTemplates.delete dataproc.workflowTemplates.get dataproc.workflowTemplates.getIamPolicy dataproc.workflowTemplates.instantiate dataproc.workflowTemplates.instantiateInline dataproc.workflowTemplates.list dataproc.workflowTemplates.setIamPolicy dataproc.workflowTemplates.update dataprocrm.nodePools.* dataprocrm.nodePools.create dataprocrm.nodePools.delete dataprocrm.nodePools.deleteNodes dataprocrm.nodePools.get dataprocrm.nodePools.list dataprocrm.nodePools.resize dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.update dataprocrm.operations.get dataprocrm.operations.list dataprocrm.workloads.* dataprocrm.workloads.cancel dataprocrm.workloads.create dataprocrm.workloads.delete dataprocrm.workloads.get dataprocrm.workloads.list resourcemanager.projects.get resourcemanager.projects.list
Dataproc Editor (roles/dataproc.editor) Provides the permissions necessary for viewing the resources required to manage Managed Service for Apache Spark, including machine types, networks, projects, and zones. Lowest-level resources where you can grant this role: Cluster	cloudkms.keyHandles.* cloudkms.keyHandles.create cloudkms.keyHandles.get cloudkms.keyHandles.list cloudkms.operations.get cloudkms.projects.showEffectiveAutokeyConfig compute.machineTypes.* compute.machineTypes.get compute.machineTypes.list compute.networks.get compute.networks.list compute.projects.get compute.regions.* compute.regions.get compute.regions.list compute.zones.* compute.zones.get compute.zones.list dataproc.autoscalingPolicies.create dataproc.autoscalingPolicies.delete dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.list dataproc.autoscalingPolicies.update dataproc.autoscalingPolicies.use dataproc.batches.* dataproc.batches.analyze dataproc.batches.cancel dataproc.batches.create dataproc.batches.delete dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.batches.sparkApplicationWrite dataproc.clusters.create dataproc.clusters.delete dataproc.clusters.get dataproc.clusters.list dataproc.clusters.repair dataproc.clusters.start dataproc.clusters.stop dataproc.clusters.update dataproc.clusters.use dataproc.jobs.cancel dataproc.jobs.create dataproc.jobs.delete dataproc.jobs.get dataproc.jobs.list dataproc.jobs.update dataproc.nodeGroups.* dataproc.nodeGroups.create dataproc.nodeGroups.get dataproc.nodeGroups.update dataproc.operations.cancel dataproc.operations.delete dataproc.operations.get dataproc.operations.list dataproc.sessionTemplates.* dataproc.sessionTemplates.create dataproc.sessionTemplates.delete dataproc.sessionTemplates.get dataproc.sessionTemplates.list dataproc.sessionTemplates.update dataproc.sessions.* dataproc.sessions.create dataproc.sessions.delete dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.sessions.sparkApplicationWrite dataproc.sessions.terminate dataproc.workflowTemplates.create dataproc.workflowTemplates.delete dataproc.workflowTemplates.get dataproc.workflowTemplates.instantiate dataproc.workflowTemplates.instantiateInline dataproc.workflowTemplates.list dataproc.workflowTemplates.update dataprocrm.nodePools.* dataprocrm.nodePools.create dataprocrm.nodePools.delete dataprocrm.nodePools.deleteNodes dataprocrm.nodePools.get dataprocrm.nodePools.list dataprocrm.nodePools.resize dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.update dataprocrm.operations.get dataprocrm.operations.list dataprocrm.workloads.* dataprocrm.workloads.cancel dataprocrm.workloads.create dataprocrm.workloads.delete dataprocrm.workloads.get dataprocrm.workloads.list resourcemanager.projects.get resourcemanager.projects.list
Dataproc Viewer (roles/dataproc.viewer) Provides read-only access to Managed Service for Apache Spark resources. Lowest-level resources where you can grant this role: Cluster	compute.machineTypes.get compute.regions.* compute.regions.get compute.regions.list compute.zones.* compute.zones.get compute.zones.list dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.list dataproc.batches.analyze dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.clusters.get dataproc.clusters.list dataproc.jobs.get dataproc.jobs.list dataproc.nodeGroups.get dataproc.operations.get dataproc.operations.list dataproc.sessionTemplates.get dataproc.sessionTemplates.list dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.workflowTemplates.get dataproc.workflowTemplates.list resourcemanager.projects.get resourcemanager.projects.list
Dataproc Hub Agent (roles/dataproc.hubAgent) Allows management of Dataproc resources. Intended for service accounts running Dataproc Hub instances.	compute.instances.get compute.instances.setMetadata compute.instances.setTags compute.zoneOperations.get compute.zones.list dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.list dataproc.autoscalingPolicies.use dataproc.clusters.create dataproc.clusters.delete dataproc.clusters.get dataproc.clusters.list dataproc.clusters.repair dataproc.clusters.update dataproc.operations.cancel dataproc.operations.delete dataproc.operations.get dataproc.operations.list iam.serviceAccounts.actAs iam.serviceAccounts.get iam.serviceAccounts.list logging.buckets.get logging.buckets.list logging.exclusions.get logging.exclusions.list logging.links.get logging.links.list logging.locations.* logging.locations.get logging.locations.list logging.logEntries.create logging.logEntries.list logging.logEntries.route logging.logMetrics.get logging.logMetrics.list logging.logScopes.get logging.logScopes.list logging.logServiceIndexes.list logging.logServices.list logging.logs.list logging.operations.get logging.operations.list logging.queries.getShared logging.queries.listShared logging.queries.usePrivate logging.sinks.get logging.sinks.list logging.usage.get logging.views.get logging.views.list observability.scopes.get resourcemanager.projects.get resourcemanager.projects.list storage.buckets.get storage.objects.get storage.objects.list
Dataproc Serverless Editor (roles/dataproc.serverlessEditor) Permissions needed to run serverless sessions and batches as a user	cloudkms.keyHandles.* cloudkms.keyHandles.create cloudkms.keyHandles.get cloudkms.keyHandles.list cloudkms.operations.get cloudkms.projects.showEffectiveAutokeyConfig compute.projects.get compute.regions.* compute.regions.get compute.regions.list compute.zones.* compute.zones.get compute.zones.list dataproc.batches.* dataproc.batches.analyze dataproc.batches.cancel dataproc.batches.create dataproc.batches.delete dataproc.batches.get dataproc.batches.list dataproc.batches.sparkApplicationRead dataproc.batches.sparkApplicationWrite dataproc.operations.cancel dataproc.operations.delete dataproc.operations.get dataproc.operations.list dataproc.sessionTemplates.* dataproc.sessionTemplates.create dataproc.sessionTemplates.delete dataproc.sessionTemplates.get dataproc.sessionTemplates.list dataproc.sessionTemplates.update dataproc.sessions.* dataproc.sessions.create dataproc.sessions.delete dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.sessions.sparkApplicationWrite dataproc.sessions.terminate dataprocrm.nodePools.* dataprocrm.nodePools.create dataprocrm.nodePools.delete dataprocrm.nodePools.deleteNodes dataprocrm.nodePools.get dataprocrm.nodePools.list dataprocrm.nodePools.resize dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.update dataprocrm.operations.get dataprocrm.operations.list dataprocrm.workloads.* dataprocrm.workloads.cancel dataprocrm.workloads.create dataprocrm.workloads.delete dataprocrm.workloads.get dataprocrm.workloads.list resourcemanager.projects.get resourcemanager.projects.list
Dataproc Serverless Node. (roles/dataproc.serverlessNode) Node access to Dataproc Serverless sessions and batches. Intended for service accounts.	dataproc.batches.sparkApplicationWrite dataproc.sessions.sparkApplicationRead dataproc.sessions.sparkApplicationWrite dataprocrm.nodePools.* dataprocrm.nodePools.create dataprocrm.nodePools.delete dataprocrm.nodePools.deleteNodes dataprocrm.nodePools.get dataprocrm.nodePools.list dataprocrm.nodePools.resize dataprocrm.nodes.list dataprocrm.operations.get
Dataproc Serverless Viewer (roles/dataproc.serverlessViewer) Permissions needed to view serverless sessions and batches	compute.projects.get compute.regions.* compute.regions.get compute.regions.list compute.zones.* compute.zones.get compute.zones.list dataproc.batches.get dataproc.batches.list dataproc.sessionTemplates.get dataproc.sessionTemplates.list dataproc.sessions.get dataproc.sessions.list resourcemanager.projects.get resourcemanager.projects.list
Dataproc Worker (roles/dataproc.worker) Provides worker access to Managed Service for Apache Spark resources. Intended for service accounts.	cloudprofiler.profiles.create cloudprofiler.profiles.update datalineage.locations.processOpenLineageMessage dataproc.agents.* dataproc.agents.create dataproc.agents.delete dataproc.agents.get dataproc.agents.list dataproc.agents.update dataproc.batches.sparkApplicationWrite dataproc.sessions.sparkApplicationWrite dataproc.tasks.* dataproc.tasks.lease dataproc.tasks.listInvalidatedLeases dataproc.tasks.reportStatus dataprocrm.nodePools.* dataprocrm.nodePools.create dataprocrm.nodePools.delete dataprocrm.nodePools.deleteNodes dataprocrm.nodePools.get dataprocrm.nodePools.list dataprocrm.nodePools.resize dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.mintOAuthToken dataprocrm.operations.get logging.logEntries.create logging.logEntries.route monitoring.metricDescriptors.create monitoring.metricDescriptors.get monitoring.metricDescriptors.list monitoring.monitoredResourceDescriptors.* monitoring.monitoredResourceDescriptors.get monitoring.monitoredResourceDescriptors.list monitoring.timeSeries.create storage.buckets.get storage.folders.* storage.folders.create storage.folders.delete storage.folders.get storage.folders.list storage.folders.rename storage.managedFolders.create storage.managedFolders.delete storage.managedFolders.get storage.managedFolders.list storage.multipartUploads.* storage.multipartUploads.abort storage.multipartUploads.create storage.multipartUploads.list storage.multipartUploads.listParts storage.objects.create storage.objects.createContext storage.objects.delete storage.objects.deleteContext storage.objects.get storage.objects.getIamPolicy storage.objects.list storage.objects.overrideUnlockedRetention storage.objects.restore storage.objects.setIamPolicy storage.objects.setRetention storage.objects.update storage.objects.updateContext telemetry.metrics.write

Service agent roles

Service agent roles should only be granted to service agents.

Role

Permissions

Dataproc Service Agent (roles/dataproc.serviceAgent) Gives Dataproc Service Account access to service accounts, compute resources, storage resources, and kubernetes resources. Includes access to service accounts. Warning: Do not grant service agent roles to any principals except service agents.

backupdr.backupPlanAssociations.createForComputeDisk backupdr.backupPlanAssociations.createForComputeInstance backupdr.backupPlanAssociations.deleteForComputeDisk backupdr.backupPlanAssociations.deleteForComputeInstance backupdr.backupPlanAssociations.fetchForComputeDisk backupdr.backupPlanAssociations.getForComputeDisk backupdr.backupPlanAssociations.list backupdr.backupPlanAssociations.triggerBackupForComputeDisk backupdr.backupPlanAssociations.triggerBackupForComputeInstance backupdr.backupPlanAssociations.updateForComputeDisk backupdr.backupPlanAssociations.updateForComputeInstance backupdr.backupPlans.get backupdr.backupPlans.list backupdr.backupPlans.useForComputeDisk backupdr.backupPlans.useForComputeInstance backupdr.backupVaults.get backupdr.backupVaults.list backupdr.locations.list backupdr.operations.get backupdr.operations.list backupdr.serviceConfig.initialize cloudaicompanion.instances.completeTask compute.acceleratorTypes.* compute.acceleratorTypes.get compute.acceleratorTypes.list compute.addresses.createInternal compute.addresses.deleteInternal compute.addresses.get compute.addresses.list compute.addresses.listEffectiveTags compute.addresses.listTagBindings compute.addresses.use compute.addresses.useInternal compute.autoscalers.* compute.autoscalers.create compute.autoscalers.delete compute.autoscalers.get compute.autoscalers.list compute.autoscalers.update compute.diskSettings.get compute.diskTypes.* compute.diskTypes.get compute.diskTypes.list compute.disks.create compute.disks.createSnapshot compute.disks.createTagBinding compute.disks.delete compute.disks.get compute.disks.list compute.disks.resize compute.disks.setLabels compute.disks.startAsyncReplication compute.disks.stopAsyncReplication compute.disks.stopGroupAsyncReplication compute.disks.update compute.disks.updateKmsKey compute.disks.use compute.disks.useReadOnly compute.firewalls.get compute.firewalls.list compute.globalAddresses.get compute.globalAddresses.list compute.globalAddresses.listEffectiveTags compute.globalAddresses.listTagBindings compute.globalAddresses.use compute.globalNetworkEndpointGroups.* compute.globalNetworkEndpointGroups.attachNetworkEndpoints compute.globalNetworkEndpointGroups.create compute.globalNetworkEndpointGroups.createTagBinding compute.globalNetworkEndpointGroups.delete compute.globalNetworkEndpointGroups.deleteTagBinding compute.globalNetworkEndpointGroups.detachNetworkEndpoints compute.globalNetworkEndpointGroups.get compute.globalNetworkEndpointGroups.list compute.globalNetworkEndpointGroups.listEffectiveTags compute.globalNetworkEndpointGroups.listTagBindings compute.globalNetworkEndpointGroups.use compute.globalOperations.get compute.globalOperations.list compute.images.get compute.images.getFromFamily compute.images.list compute.images.useReadOnly compute.instanceGroupManagers.* compute.instanceGroupManagers.create compute.instanceGroupManagers.createTagBinding compute.instanceGroupManagers.delete compute.instanceGroupManagers.deleteTagBinding compute.instanceGroupManagers.get compute.instanceGroupManagers.list compute.instanceGroupManagers.listEffectiveTags compute.instanceGroupManagers.listTagBindings compute.instanceGroupManagers.update compute.instanceGroupManagers.use compute.instanceGroups.* compute.instanceGroups.create compute.instanceGroups.createTagBinding compute.instanceGroups.delete compute.instanceGroups.deleteTagBinding compute.instanceGroups.get compute.instanceGroups.list compute.instanceGroups.listEffectiveTags compute.instanceGroups.listTagBindings compute.instanceGroups.update compute.instanceGroups.use compute.instanceSettings.get compute.instanceTemplates.* compute.instanceTemplates.create compute.instanceTemplates.delete compute.instanceTemplates.get compute.instanceTemplates.getIamPolicy compute.instanceTemplates.list compute.instanceTemplates.setIamPolicy compute.instanceTemplates.useReadOnly compute.instances.* compute.instances.addAccessConfig compute.instances.addNetworkInterface compute.instances.addResourcePolicies compute.instances.attachDisk compute.instances.create compute.instances.createTagBinding compute.instances.delete compute.instances.deleteAccessConfig compute.instances.deleteNetworkInterface compute.instances.deleteTagBinding compute.instances.detachDisk compute.instances.get compute.instances.getEffectiveFirewalls compute.instances.getGuestAttributes compute.instances.getIamPolicy compute.instances.getScreenshot compute.instances.getSerialPortOutput compute.instances.getShieldedInstanceIdentity compute.instances.getShieldedVmIdentity compute.instances.list compute.instances.listEffectiveTags compute.instances.listReferrers compute.instances.listTagBindings compute.instances.osAdminLogin compute.instances.osLogin compute.instances.pscInterfaceCreate compute.instances.removeResourcePolicies compute.instances.reset compute.instances.resume compute.instances.sendDiagnosticInterrupt compute.instances.setDeletionProtection compute.instances.setDiskAutoDelete compute.instances.setIamPolicy compute.instances.setLabels compute.instances.setMachineResources compute.instances.setMachineType compute.instances.setMetadata compute.instances.setMinCpuPlatform compute.instances.setName compute.instances.setScheduling compute.instances.setSecurityPolicy compute.instances.setServiceAccount compute.instances.setShieldedInstanceIntegrityPolicy compute.instances.setShieldedVmIntegrityPolicy compute.instances.setTags compute.instances.simulateMaintenanceEvent compute.instances.start compute.instances.startWithEncryptionKey compute.instances.stop compute.instances.suspend compute.instances.update compute.instances.updateAccessConfig compute.instances.updateDisplayDevice compute.instances.updateNetworkInterface compute.instances.updateSecurity compute.instances.updateShieldedInstanceConfig compute.instances.updateShieldedVmConfig compute.instances.use compute.instances.useReadOnly compute.licenses.get compute.licenses.list compute.licenses.listEffectiveTags compute.licenses.listTagBindings compute.machineImages.* compute.machineImages.create compute.machineImages.createTagBinding compute.machineImages.delete compute.machineImages.deleteTagBinding compute.machineImages.get compute.machineImages.getIamPolicy compute.machineImages.list compute.machineImages.listEffectiveTags compute.machineImages.listTagBindings compute.machineImages.setIamPolicy compute.machineImages.setLabels compute.machineImages.useReadOnly compute.machineTypes.* compute.machineTypes.get compute.machineTypes.list compute.multiMig.* compute.multiMig.create compute.multiMig.delete compute.multiMig.get compute.multiMig.list compute.multiMigMembers.* compute.multiMigMembers.get compute.multiMigMembers.list compute.networkEndpointGroups.* compute.networkEndpointGroups.attachNetworkEndpoints compute.networkEndpointGroups.create compute.networkEndpointGroups.createTagBinding compute.networkEndpointGroups.delete compute.networkEndpointGroups.deleteTagBinding compute.networkEndpointGroups.detachNetworkEndpoints compute.networkEndpointGroups.get compute.networkEndpointGroups.list compute.networkEndpointGroups.listEffectiveTags compute.networkEndpointGroups.listTagBindings compute.networkEndpointGroups.use compute.networks.get compute.networks.getEffectiveFirewalls compute.networks.list compute.networks.listEffectiveTags compute.networks.listTagBindings compute.networks.setFirewallPolicy compute.networks.use compute.networks.useExternalIp compute.nodeGroups.get compute.nodeTypes.get compute.projects.get compute.regionFirewallPolicies.create compute.regionFirewallPolicies.createTagBinding compute.regionFirewallPolicies.delete compute.regionFirewallPolicies.deleteTagBinding compute.regionFirewallPolicies.get compute.regionFirewallPolicies.update compute.regionFirewallPolicies.use compute.regionNetworkEndpointGroups.* compute.regionNetworkEndpointGroups.attachNetworkEndpoints compute.regionNetworkEndpointGroups.create compute.regionNetworkEndpointGroups.createTagBinding compute.regionNetworkEndpointGroups.delete compute.regionNetworkEndpointGroups.deleteTagBinding compute.regionNetworkEndpointGroups.detachNetworkEndpoints compute.regionNetworkEndpointGroups.get compute.regionNetworkEndpointGroups.list compute.regionNetworkEndpointGroups.listEffectiveTags compute.regionNetworkEndpointGroups.listTagBindings compute.regionNetworkEndpointGroups.use compute.regionOperations.get compute.regionOperations.list compute.regions.* compute.regions.get compute.regions.list compute.reservationBlocks.get compute.reservationBlocks.list compute.reservationSubBlocks.* compute.reservationSubBlocks.get compute.reservationSubBlocks.list compute.reservationSubBlocks.performMaintenance compute.reservationSubBlocks.reportFaulty compute.reservations.get compute.reservations.list compute.reservations.listEffectiveTags compute.reservations.listTagBindings compute.resourcePolicies.list compute.resourcePolicies.useReadOnly compute.storagePools.get compute.storagePools.list compute.storagePools.listEffectiveTags compute.storagePools.listTagBindings compute.storagePools.use compute.subnetworks.get compute.subnetworks.list compute.subnetworks.listEffectiveTags compute.subnetworks.listTagBindings compute.subnetworks.setPrivateIpGoogleAccess compute.subnetworks.use compute.subnetworks.useExternalIp compute.targetPools.get compute.targetPools.list compute.targetPools.listEffectiveTags compute.targetPools.listTagBindings compute.zoneOperations.get compute.zoneOperations.list compute.zones.* compute.zones.get compute.zones.list container.clusterRoleBindings.* container.clusterRoleBindings.create container.clusterRoleBindings.delete container.clusterRoleBindings.get container.clusterRoleBindings.list container.clusterRoleBindings.update container.clusterRoles.* container.clusterRoles.bind container.clusterRoles.create container.clusterRoles.delete container.clusterRoles.escalate container.clusterRoles.get container.clusterRoles.list container.clusterRoles.update container.clusters.connect container.clusters.get container.clusters.update container.customResourceDefinitions.create container.customResourceDefinitions.delete container.customResourceDefinitions.get container.customResourceDefinitions.list container.customResourceDefinitions.update container.namespaces.create container.namespaces.delete container.namespaces.get container.namespaces.list container.namespaces.update container.operations.get container.roleBindings.* container.roleBindings.create container.roleBindings.delete container.roleBindings.get container.roleBindings.list container.roleBindings.update container.roles.bind container.roles.escalate dataproc.autoscalingPolicies.create dataproc.autoscalingPolicies.delete dataproc.autoscalingPolicies.get dataproc.autoscalingPolicies.getIamPolicy dataproc.autoscalingPolicies.list dataproc.autoscalingPolicies.update dataproc.autoscalingPolicies.use dataproc.clusters.* dataproc.clusters.create dataproc.clusters.delete dataproc.clusters.get dataproc.clusters.getIamPolicy dataproc.clusters.list dataproc.clusters.repair dataproc.clusters.setIamPolicy dataproc.clusters.start dataproc.clusters.stop dataproc.clusters.update dataproc.clusters.use dataproc.jobs.* dataproc.jobs.cancel dataproc.jobs.create dataproc.jobs.delete dataproc.jobs.get dataproc.jobs.getIamPolicy dataproc.jobs.list dataproc.jobs.setIamPolicy dataproc.jobs.update dataproc.nodeGroups.* dataproc.nodeGroups.create dataproc.nodeGroups.get dataproc.nodeGroups.update dataproc.operations.cancel dataproc.sessionTemplates.get dataproc.sessions.* dataproc.sessions.create dataproc.sessions.delete dataproc.sessions.get dataproc.sessions.list dataproc.sessions.sparkApplicationRead dataproc.sessions.sparkApplicationWrite dataproc.sessions.terminate dataprocrm.nodePools.* dataprocrm.nodePools.create dataprocrm.nodePools.delete dataprocrm.nodePools.deleteNodes dataprocrm.nodePools.get dataprocrm.nodePools.list dataprocrm.nodePools.resize dataprocrm.nodes.* dataprocrm.nodes.get dataprocrm.nodes.heartbeat dataprocrm.nodes.list dataprocrm.nodes.mintOAuthToken dataprocrm.nodes.update dataprocrm.operations.cancel dataprocrm.operations.get dataprocrm.operations.list dataprocrm.workloads.* dataprocrm.workloads.cancel dataprocrm.workloads.create dataprocrm.workloads.delete dataprocrm.workloads.get dataprocrm.workloads.list firebase.projects.get iam.serviceAccounts.actAs iam.serviceAccounts.getAccessToken metastore.services.get monitoring.metricDescriptors.list monitoring.monitoredResourceDescriptors.list monitoring.timeSeries.* monitoring.timeSeries.create monitoring.timeSeries.list orgpolicy.policy.get recommender.iamPolicyInsights.* recommender.iamPolicyInsights.get recommender.iamPolicyInsights.list recommender.iamPolicyInsights.update recommender.iamPolicyRecommendations.* recommender.iamPolicyRecommendations.get recommender.iamPolicyRecommendations.list recommender.iamPolicyRecommendations.update recommender.storageBucketSoftDeleteInsights.* recommender.storageBucketSoftDeleteInsights.get recommender.storageBucketSoftDeleteInsights.list recommender.storageBucketSoftDeleteInsights.update recommender.storageBucketSoftDeleteRecommendations.* recommender.storageBucketSoftDeleteRecommendations.get recommender.storageBucketSoftDeleteRecommendations.list recommender.storageBucketSoftDeleteRecommendations.update resourcemanager.hierarchyNodes.listEffectiveTags resourcemanager.projects.get resourcemanager.projects.list resourcemanager.tagKeys.create resourcemanager.tagKeys.get resourcemanager.tagKeys.getIamPolicy resourcemanager.tagKeys.setIamPolicy resourcemanager.tagValueBindings.* resourcemanager.tagValueBindings.create resourcemanager.tagValueBindings.delete resourcemanager.tagValues.create resourcemanager.tagValues.get serviceusage.consumerpolicy.analyze serviceusage.consumerpolicy.get serviceusage.effectivepolicy.get serviceusage.groups.* serviceusage.groups.list serviceusage.groups.listExpandedMembers serviceusage.groups.listMembers serviceusage.quotas.get serviceusage.services.get serviceusage.services.list serviceusage.services.use serviceusage.values.test storage.anywhereCaches.* storage.anywhereCaches.create storage.anywhereCaches.disable storage.anywhereCaches.get storage.anywhereCaches.list storage.anywhereCaches.pause storage.anywhereCaches.resume storage.anywhereCaches.update storage.bucketOperations.* storage.bucketOperations.cancel storage.bucketOperations.get storage.bucketOperations.list storage.buckets.* storage.buckets.create storage.buckets.createTagBinding storage.buckets.delete storage.buckets.deleteTagBinding storage.buckets.enableObjectRetention storage.buckets.get storage.buckets.getIamPolicy storage.buckets.getIpFilter storage.buckets.getObjectInsights storage.buckets.list storage.buckets.listEffectiveTags storage.buckets.listTagBindings storage.buckets.relocate storage.buckets.restore storage.buckets.setIamPolicy storage.buckets.setIpFilter storage.buckets.update storage.buckets.viewIntelligenceDetails storage.folders.* storage.folders.create storage.folders.delete storage.folders.get storage.folders.list storage.folders.rename storage.intelligenceConfigs.* storage.intelligenceConfigs.get storage.intelligenceConfigs.update storage.managedFolders.* storage.managedFolders.create storage.managedFolders.delete storage.managedFolders.get storage.managedFolders.getIamPolicy storage.managedFolders.list storage.managedFolders.setIamPolicy storage.multipartUploads.* storage.multipartUploads.abort storage.multipartUploads.create storage.multipartUploads.list storage.multipartUploads.listParts storage.objects.* storage.objects.create storage.objects.createContext storage.objects.delete storage.objects.deleteContext storage.objects.get storage.objects.getIamPolicy storage.objects.list storage.objects.move storage.objects.overrideUnlockedRetention storage.objects.restore storage.objects.setIamPolicy storage.objects.setRetention storage.objects.update storage.objects.updateContext storagebatchoperations.* storagebatchoperations.bucketOperations.get storagebatchoperations.bucketOperations.list storagebatchoperations.jobs.cancel storagebatchoperations.jobs.create storagebatchoperations.jobs.delete storagebatchoperations.jobs.get storagebatchoperations.jobs.list storagebatchoperations.locations.get storagebatchoperations.locations.list storagebatchoperations.operations.cancel storagebatchoperations.operations.delete storagebatchoperations.operations.get storagebatchoperations.operations.list

참고:

• compute 권한은 Google Cloud 콘솔 또는 gcloud CLI Google Cloud CLI를 사용할 때 Managed Service for Apache Spark 클러스터를 만들고 확인하는 데 필요하거나 권장됩니다.
• 사용자가 파일을 업로드할 수 있도록 Storage Object Creator 역할을 부여합니다. 사용자가 작업 출력을 볼 수 있도록 Storage Object Viewer 역할을 부여합니다.
• Google Cloud 콘솔→Managed Service for Apache Spark→클러스터 세부정보 개요 탭에서 그래프를 보려면 monitoring.timeSeries.list 권한이 있어야 합니다.
• Google Cloud 콘솔→Managed Service for Apache Spark→클러스터 세부정보 VM 인스턴스 탭에서 인스턴스 상태와 마스터 인스턴스 SSH 메뉴를 보려면 compute.instances.list 권한이 있어야 합니다. Compute Engine 역할에 대한 자세한 내용은 Compute Engine→사용 가능한 IAM 역할을 참조하세요.
• 사용자가 지정한 서비스 계정으로 클러스터를 만들려면 지정된 서비스 계정에 Managed Service for Apache Spark Worker 역할에서 부여한 모든 권한이 있어야 하며, 여기에는 Managed Service for Apache Spark 스테이징 및 임시 버킷에 대한 액세스 권한이 포함됩니다. 구성된 기능에 따라 추가 역할이 필요할 수 있습니다. 자세한 내용은 커스텀 VM 서비스 계정으로 클러스터 만들기를 참조하세요.

프로젝트 역할

IAM 프로젝트 역할을 사용하여 프로젝트 수준에서 권한을 설정할 수도 있습니다. 다음 표에는 IAM 프로젝트 역할과 연결된 권한이 나와 있습니다.

프로젝트 역할	권한
프로젝트 뷰어	상태를 보존하는 읽기 전용 작업에 대한 모든 프로젝트 권한(가져오기, 표시)
프로젝트 편집자	모든 프로젝트 뷰어 권한에 더해 상태를 수정하는 작업에 대한 모든 프로젝트 권한(만들기, 삭제, 업데이트, 사용, 취소, 중지, 시작)
프로젝트 소유자	프로젝트에 대한 액세스 제어를 관리하고(IamPolicy 가져오기/설정) 프로젝트 결제를 설정할 수 있는 권한이 추가된 모든 프로젝트 편집자 권한

IAM 역할 및 Managed Service for Apache Spark 작업 요약

다음 표에는 프로젝트 및 Managed Service for Apache Spark 역할과 연결된 Managed Service for Apache Spark 작업이 나와 있습니다.

작업	프로젝트 편집자	프로젝트 뷰어	Managed Service for Apache Spark 관리자	Managed Service for Apache Spark 편집기	Managed Service for Apache Spark 뷰어
Managed Service for Apache Spark IAM 권한 가져오기/설정	아니요	아니요	예	아니요	아니요
클러스터 만들기	예	아니요	예	예	아니요
클러스터 나열	예	예	예	예	예
클러스터 세부정보 가져오기	예	예	예 ^1, 2	예 ^1, 2	예 ^1, 2
클러스터 업데이트	예	아니요	예	예	아니요
클러스터 삭제	예	아니요	예	예	아니요
클러스터 시작/중지	예	아니요	예	예	아니요
작업 제출	예	아니요	예 ^3	예 ^3	아니요
작업 표시	예	예	예	예	예
작업 세부정보 가져오기	예	예	예 ^4	예 ^4	예 ^4
작업 취소	예	아니요	예	예	아니요
작업 삭제	예	아니요	예	예	아니요
작업 나열	예	예	예	예	예
운영 세부정보 가져오기	예	예	예	예	예
작업 삭제	예	아니요	예	예	아니요

참고:

1. 사용자에게 monitoring.timeSeries.list 권한이 있는 역할이 없으면 성능 그래프를 이용할 수 없습니다.
2. 사용자에게 compute.instances.list 권한이 있는 역할이 없으면 클러스터의 VM 목록에 마스터 인스턴스의 상태 정보 또는 SSH 링크가 포함되지 않습니다.
3. 파일 업로드 작업의 경우 사용자에게 Managed Service for Apache Spark 스테이징 버킷에 대한 Storage Object Creator 역할 또는 쓰기 액세스 권한이 있어야 합니다.
4. 사용자에게 저장소 객체 뷰어 역할이 없거나 프로젝트의 스테이징 버킷에 대한 읽기 액세스 권한이 부여되지 않으면 작업 출력을 사용할 수 없습니다.

Managed Service for Apache Spark VM 액세스 범위

VM 액세스 범위와 IAM 역할은 함께 작동하여 VM 액세스를 Google CloudAPI로 제한합니다. 예를 들어 클러스터 VM에 https://www.googleapis.com/auth/storage-full 범위만 부여된 경우, 클러스터 VM에서 실행되는 애플리케이션은 Cloud Storage API를 호출할 수 있지만 광범위한 권한이 있는 BigQuery 역할이 부여된 VM 서비스 계정으로 실행 중인 경우에도 BigQuery에 요청할 수는 없습니다.

권장사항은 광범위한 cloud-platform 범위(https://www.googleapis.com/auth/cloud-platform)를 VM에 부여한 후 특정 IAM 역할을 VM 서비스 계정에 부여하여 VM 액세스를 제한하는 것입니다 (범위 권장사항 참고).

참고: cloud-platform 범위는 기본적으로 Managed Service for Apache Spark 이미지 버전 2.1 이상으로 생성된 Managed Service for Apache Spark 클러스터 VM에 적용됩니다.

기본 Managed Service for Apache Spark VM 범위 클러스터를 만들 때 범위를 지정하지 않으면 (gcloud dataproc cluster create --scopes 참조) Managed Service for Apache Spark VM의 기본 범위 집합은 다음과 같습니다.

https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+).
https://www.googleapis.com/auth/bigquery
https://www.googleapis.com/auth/bigtable.admin.table
https://www.googleapis.com/auth/bigtable.data
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.full_control
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write

클러스터를 만들 때 범위를 지정하면 지정한 범위(및)와 (지정하지 않더라도) 다음과 같은 최소 필수 범위 집합이 클러스터 VM에 포함됩니다.

https://www.googleapis.com/auth/cloud-platform (clusters created with image version 2.1+).
https://www.googleapis.com/auth/cloud.useraccounts.readonly
https://www.googleapis.com/auth/devstorage.read_write
https://www.googleapis.com/auth/logging.write

IAM 허용 정책 관리

허용 정책을 사용하여 주 구성원에게 IAM 역할을 부여합니다. Google Cloud 콘솔, IAM API 또는 Google Cloud CLI를 사용하여 허용 정책을 가져오고 설정할 수 있습니다.

• Google Cloud 콘솔의 경우 Google Cloud 콘솔을 사용하여 액세스 제어를 참조하세요.
• API는 API를 사용하여 액세스 제어를 참조하세요.
• Google Cloud CLI의 경우 Google Cloud CLI를 사용한 액세스 제어를 참고하세요.

다음 단계

• Managed Service for Apache Spark 주 구성원 및 역할 알아보기
• Managed Service for Apache Spark 상세 IAM 자세히 알아보기
• IAM 자세히 알아보기
• Managed Service for Apache Spark의 서비스 계정에 대해 알아보기