Managed Service for Apache Spark 클러스터 노드의 부팅 디스크로 표준, SSD, 균형 있는 영구 디스크, 또는 Google Cloud Hyperdisk Balanced를 선택할 수 있습니다.
부팅 디스크 유형 옵션:
**관리자**(마스터), **기본 작업자** , **보조 작업자** 클러스터 노드의 부팅 디스크로 **표준** , **SSD** 또는 **균형 있는 영구 디스크** 를 선택할 수 있습니다.
관리자 (마스터) 및 기본 작업자 노드의 부팅 디스크로 Hyperdisk Balanced를 선택할 수 있습니다. 기본 작업자 부팅 디스크 유형이 Hyperdisk Balanced로 설정되면 Managed Service for Apache Spark에서 보조 작업자 부팅 디스크 유형을 Hyperdisk Balanced로 자동 설정합니다.
Managed Service for Apache Spark 클러스터 관리자
(마스터) 및 기본 워커 노드의 기본 영구 부팅 디스크 유형은 표준 (pd-standard)입니다. VM
머신 유형
이 부팅 디스크로 Hyperdisk Balanced
만 지원할 경우 기본 부팅 디스크는 Hyperdisk Balanced (hyperdisk-balanced)입니다.
클러스터 보조 워커 노드의 기본 영구 부팅 디스크 유형은
기본 워커 노드 영구 부팅 디스크 유형입니다.
클러스터 노드의 영구 부팅 디스크 유형 선택
콘솔, Google Cloud CLI 또는 Managed Service for Apache Spark API를 사용하여 클러스터를 만들 때 영구 부팅 디스크 유형을 선택할 수 있습니다.Google Cloud
콘솔
콘솔의 Managed Service for Apache Spark 클러스터 만들기 페이지에 있는 노드 구성 패널에서 클러스터를 만들고 클러스터 노드 부팅 디스크 유형을 선택할 수 있습니다. Google Cloud
gcloud CLI
gcloud dataproc clusters create
명령어를 --master-boot-disk-type,
--worker-boot-disk-type, --secondary-worker-boot-disk-type 플래그와 함께 사용하여 클러스터를 만들고 클러스터 노드 부팅 디스크 유형을 선택할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
REST API
pd-standard, pd-ssd,
pd-balanced, 또는 hyperdisk-balanced 값을
InstanceGroupConfig.DiskConfig.bootDiskType
필드에 masterConfig, workerConfig, 및
secondaryWorkerConfig의 일부로
cluster.create
API 요청에 설정할 수 있습니다.
하이퍼디스크 설정
Hyperdisk Balanced 볼륨을 Managed Service for Apache Spark 클러스터 노드의 부팅 디스크로 사용해서 클러스터를 만들 때는 프로비저닝된 IOPS 및 처리량을 설정할 수 있습니다.
콘솔
IOPS 및 처리량을 설정하거나 Managed Service for Apache Spark 클러스터 만들기 페이지의 노드 구성 패널에서 기본값을 적용할 수 있습니다.
gcloud CLI
gcloud dataproc clusters create 명령어에 --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, --worker-boot-disk-provisioned-throughput 플래그를 사용해서 Hyperdisk Balanced 부팅 디스크로 클러스터 노드에 대한 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
관리자 (마스터) 및 작업자 구성에 대해 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 및 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 필드를 사용해서
하이퍼디스크 부팅 디스크로 클러스터 노드에 대해 프로비저닝된 IOPS 및 프로비저닝된 처리량을 설정할 수 있습니다.