Managed Service for Apache Spark 클러스터 노드의 부팅 디스크로 표준, SSD, 균형 있는 Persistent Disk, 또는 Google Cloud Hyperdisk Balanced를 선택할 수 있습니다.
부팅 디스크 유형 옵션:
마스터, 기본 작업자, 보조 작업자 클러스터 노드의 부팅 디스크로 표준, SSD 또는 균형 있는 Persistent Disk를 선택할 수 있습니다.
Hyperdisk Balanced를 마스터 및 기본 워커 노드의 부팅 디스크로 선택할 수 있습니다. 기본 작업자 부팅 디스크 유형이 하이퍼디스크 균형으로 설정되면 Managed Service for Apache Spark에서 보조 작업자 부팅 디스크 유형을 하이퍼디스크 균형으로 자동 설정합니다.
Managed Service for Apache Spark 클러스터 마스터 및 기본 워커 노드의 기본 영구 부팅 디스크 유형은 표준 (pd-standard)입니다. VM 머신 유형 이 부팅 디스크로 하이퍼디스크 균형 만 지원할 경우 기본 부팅 디스크는 하이퍼디스크 균형 (hyperdisk-balanced)입니다. 클러스터 보조 워커 노드의 기본 영구 부팅 디스크 유형은 기본 워커 노드 영구 부팅 디스크 유형입니다.
클러스터 노드의 영구 부팅 디스크 유형 선택
콘솔 Google Cloud , Google Cloud CLI, Dataproc API를 사용하여 클러스터를 만들 때 영구 부팅 디스크 유형을 선택할 수 있습니다.
Google Cloud 콘솔
클러스터 노드 부팅 디스크 유형을 선택하려면 다음 단계를 따르세요.
- Managed Service for Apache Spark 클러스터 만들기 페이지를 엽니다.
- 추가 구성 을 클릭하여 섹션을 펼칩니다.
- 기본 작업자 및 보조 작업자 를 클릭하여 기본 설정을 확인하거나 변경합니다.
- 기본적으로 드라이버 (마스터) 노드 설정은 기본 워커 설정과 동일합니다. 추가 구성에서 드라이버 노드를 클릭하여 기본 드라이버 노드를 기본 작업자와 동일하게 설정 체크박스를 선택 해제한 후 드라이버 노드 설정을 지정할 수 있습니다.
gcloud CLI
gcloud dataproc clusters create
명령어를 --master-boot-disk-type,
--worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그와 함께 사용하여 클러스터를 만들고 클러스터 노드 부팅 디스크 유형을 선택할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
REST API
pd-standard, pd-ssd,
pd-balanced, 또는 hyperdisk-balanced 값을
InstanceGroupConfig.DiskConfig.bootDiskType
필드에 masterConfig, workerConfig, 및
secondaryWorkerConfig의 일부로
cluster.create
API 요청에 설정할 수 있습니다.
하이퍼디스크 설정
하이퍼디스크 균형 볼륨 을 Managed Service for Apache Spark 클러스터 노드의 부팅 디스크로 사용해서 클러스터를 만들 때는 프로비저닝된 IOPS 및 처리량을 설정할 수 있습니다.
콘솔
프로비저닝된 IOPS 및 처리량을 구성하려면 다음 단계를 따르세요.
- Managed Service for Apache Spark 클러스터 만들기 페이지를 엽니다.
- 추가 구성 을 클릭하여 섹션을 펼칩니다.
- 드라이버 노드 또는 기본 작업자 를 클릭합니다.
- 열리는 패널에서 프로비저닝된 IOPS 및 처리량 설정을 구성한 후 저장 을 클릭합니다.
gcloud CLI
gcloud dataproc clusters create 명령어에 --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, --worker-boot-disk-provisioned-throughput 플래그를 사용해서 Hyperdisk Balanced 부팅 디스크로 클러스터 노드에 대한 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
마스터 및 작업자 구성에 대해
InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 및 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 필드를 사용해서 하이퍼디스크 부팅 디스크로 클러스터 노드에 대해 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.