클러스터 캐싱

Managed Service for Apache Spark 클러스터 캐싱을 사용하면 자주 액세스하는 Cloud Storage 데이터를 클러스터 노드에 로컬로 저장하여 작업 실행을 가속화할 수 있습니다. 이 로컬 캐시는 읽기 지연 시간을 줄이고 반복적인 워크로드에 대한 Cloud Storage API 요청을 최소화합니다.

Managed Service for Apache Spark 클러스터 캐싱을 사용 설정하면 클러스터는 Spark 작업에서 자주 액세스하는 Cloud Storage 데이터를 캐시합니다.

이점

  • 성능 향상: 캐싱은 스토리지에서 데이터를 검색하는 데 소요되는 시간을 줄여 작업 성능을 높일 수 있습니다.
  • 스토리지 비용 절감: 핫 데이터가 로컬 디스크에 캐시되므로 데이터를 검색하는 스토리지 API 호출이 감소합니다.
  • Spark 작업 적용 가능성: 클러스터 캐싱이 클러스터에서 사용 설정된 경우에는 Managed Service for Apache Spark에 제출되거나 클러스터에서 독립적으로 실행되는지 여부에 관계없이 클러스터에서 실행되는 모든 Spark 작업에 적용됩니다.

제한사항 및 요구사항

  • 캐싱은 Managed Service for Apache Spark 작업에만 적용됩니다.
  • Cloud Storage 데이터만 캐시됩니다.
  • 캐싱은 다음 요구사항을 충족하는 클러스터에만 적용됩니다.

클러스터 캐싱 사용 설정

Google Cloud 콘솔, Google Cloud CLI 또는 Dataproc API를 사용하여 Managed Service for Apache Spark 클러스터를 만들 때 클러스터 캐싱을 사용 설정할 수 있습니다.

Google Cloud 콘솔

  1. Google Cloud 콘솔 클러스터 만들기 페이지를 엽니다.
  2. 추가 구성을 클릭하여 해당 섹션을 펼칩니다.
  3. 맞춤설정 및 기타를 수정합니다.
  4. 패널이 열리면 클러스터 속성 섹션에서 + 속성 추가를 클릭합니다.
  5. 프리픽스 목록에서 dataproc을 선택한 후 키 dataproc.cluster.caching.enabled 및 값 true을 추가합니다.

gcloud CLI

gcloud dataproc clusters create 명령어를 터미널 창에서 로컬로 실행하거나 Cloud Shell에서 dataproc:dataproc.cluster.caching.enabled=true 클러스터 속성을 사용하여 실행합니다.

예:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...

REST API

SoftwareConfig.properties를 설정하여 "dataproc:dataproc.cluster.caching.enabled": "true" 클러스터 속성을 clusters.create 요청에 포함합니다.