Managed Service for Apache Spark 클러스터 노드의 부팅 디스크로 표준, SSD, 균형 있는 Persistent Disk, Google Cloud Hyperdisk Balanced를 선택할 수 있습니다.
부팅 디스크 유형 옵션:
마스터, 기본 작업자, 보조 작업자 클러스터 노드에 대해 표준, SSD 또는 균형 있는 영구 디스크 부팅 디스크를 선택할 수 있습니다.
마스터 및 기본 작업자 노드의 부팅 디스크로 하이퍼디스크 균형을 선택할 수 있습니다. 기본 작업자 부팅 디스크 유형이 hyperdisk balanced로 설정되면 Managed Service for Apache Spark에서 보조 작업자 부팅 디스크 유형을 hyperdisk balanced로 자동 설정합니다.
Managed Service for Apache Spark 클러스터 마스터 및 기본 워커 노드의 기본 영구 부팅 디스크 유형은 standard (pd-standard)입니다. VM 머신 유형이 hyperdisk balanced만 부팅 디스크로 지원할 경우 기본 부팅 디스크는 hyperdisk balanced (hyperdisk-balanced)입니다. 클러스터 보조 워커 노드의 기본 영구 부팅 디스크 유형은 기본 워커 노드 영구 부팅 디스크 유형입니다.
클러스터 노드의 영구 부팅 디스크 유형 선택
Google Cloud 콘솔, Google Cloud CLI, Dataproc API를 사용하여 클러스터를 만들 때 영구 부팅 디스크 유형을 선택할 수 있습니다.
Google Cloud 콘솔
클러스터 노드 부팅 디스크 유형을 선택하려면 다음 단계를 따르세요.
- Managed Service for Apache Spark 클러스터 만들기 페이지를 엽니다.
- 추가 구성을 클릭하여 해당 섹션을 펼칩니다.
- 기본 작업자 및 보조 작업자를 클릭하여 기본 설정을 확인하거나 변경합니다.
- 기본적으로 드라이버 (마스터) 노드 설정은 기본 작업자 설정과 동일합니다. 추가 구성에서 드라이버 노드를 클릭하여 기본 드라이버 노드를 기본 작업자와 동일하게 설정 체크박스를 선택 해제한 다음 드라이버 노드 설정을 지정할 수 있습니다.
gcloud CLI
gcloud dataproc clusters create 명령어를 --master-boot-disk-type, --worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그와 함께 사용하여 클러스터를 만들고 클러스터 노드 부팅 디스크 유형을 선택할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
REST API
cluster.create API 요청의 일부로 masterConfig, workerConfig, secondaryWorkerConfig의 InstanceGroupConfig.DiskConfig.bootDiskType 필드에 pd-standard, pd-ssd, pd-balanced, hyperdisk-balanced 값을 설정할 수 있습니다.
하이퍼디스크 설정
하이퍼디스크 밸런스드 볼륨을 Managed Service for Apache Spark 클러스터 노드의 부팅 디스크로 사용해서 클러스터를 만들 때는 프로비저닝된 IOPS 및 처리량을 설정할 수 있습니다.
콘솔
프로비저닝된 IOPS 및 처리량을 구성하려면 다음 단계를 따르세요.
- Managed Service for Apache Spark 클러스터 만들기 페이지를 엽니다.
- 추가 구성을 클릭하여 해당 섹션을 펼칩니다.
- 드라이버 노드 또는 기본 작업자를 클릭합니다.
- 열리는 패널에서 프로비저닝된 IOPS 및 처리량 설정을 구성한 다음 저장을 클릭합니다.
gcloud CLI
gcloud dataproc clusters create 명령어에 --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, --worker-boot-disk-provisioned-throughput 플래그를 사용해서 Hyperdisk Balanced 부팅 디스크로 클러스터 노드에 대한 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
마스터 및 작업자 구성에 대해 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 및 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 필드를 사용해서 하이퍼디스크 부팅 디스크로 클러스터 노드에 대해 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.