"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

클러스터 메타데이터

Managed Service for Apache Spark는 클러스터에서 실행되는 인스턴스의 특수 메타데이터 값을 설정합니다.

메타데이터 키	값
`dataproc-bucket`	클러스터의 스테이징 버킷 이름
`dataproc-region`	클러스터의 엔드포인트 지역
`dataproc-worker-count`	클러스터에 있는 워커 노드 수. 단일 노드 클러스터의 경우 값은 `0`입니다.
`dataproc-cluster-name`	클러스터의 이름
`dataproc-cluster-uuid`	클러스터의 UUID
`dataproc-role`	인스턴스 역할(`Master` 또는 `Worker`)
`dataproc-master`	첫 번째 마스터 노드의 호스트 이름. 값은 표준 또는 단일 노드 클러스터에서는 `[CLUSTER_NAME]-m`이거나 고가용성 클러스터에서는 `[CLUSTER_NAME]-m-0`입니다. 여기서 `[CLUSTER_NAME]`은 클러스터의 이름입니다.
`dataproc-master-additional`	고가용성 클러스터에서 추가 마스터 노드의 호스트 이름을 쉼표로 구분한 목록입니다. 예를 들어 마스터 노드가 3개인 클러스터의 경우 `[CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2`입니다.
`SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL`	Spark 애플리케이션에서 사용할 Spark BigQuery 커넥터 버전을 가리키는 버전 또는 URL입니다(예: `0.42.1` 또는 `gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar`). 기본 Spark BigQuery 커넥터 버전은 Managed Service for Apache Spark `2.1` 이상 이미지 버전 클러스터에 사전 설치됩니다. 자세한 내용은 Spark BigQuery 커넥터 사용을 참고하세요.

이 값을 사용하여 초기화 작업의 동작을 맞춤설정할 수 있습니다.

gcloud dataproc clusters create 명령어에서 --metadata 플래그를 사용하여 자체 메타데이터를 제공할 수 있습니다.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...

클러스터 메타데이터 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

클러스터 메타데이터