"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.
Hadoop 데이터 스토리지
컬렉션을 사용해 정리하기
내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.
Managed Service for Apache Spark를 사용하면 Hadoop 분산 파일 시스템 (HDFS)과 Cloud Storage를 동시에 사용하여 워크로드 데이터를 저장하고 처리할 수 있습니다. 사전 설치된 Cloud Storage 커넥터를 사용하면 기본 VM 디스크 스토리지를 작업 성능 요구사항에 맞게 조정하면서 클러스터 안팎으로 데이터를 전송할 수 있습니다.
스토리지 옵션 및 고려사항
다음 기능 및 고려사항은 Managed Service for Apache Spark 클러스터 및 작업의 컴퓨팅과 데이터 스토리지 옵션을 선택할 때 중요합니다.
HDFS와 Cloud Storage 함께 사용: Managed Service for Apache Spark는 스토리지로 Hadoop 분산 파일 시스템 (HDFS)을 사용합니다. 또한 Managed Service for Apache Spark는 Cloud Storage를 HDFS와 함께 사용할 수 있도록 지원하는 HDFS 호환 Cloud Storage 커넥터를 자동으로 설치합니다. 데이터는 HDFS 또는 Cloud Storage에 대한 업로드 및 다운로드를 통해 클러스터에 들어가거나 나갈 수 있습니다.
VM 디스크:
기본적으로 로컬 SSD가 제공되지 않으면 HDFS 데이터 및 중간 셔플 데이터는 영구 디스크인 VM 부팅 디스크에 저장됩니다.
