Apache Spark용 관리형 서비스 선택적 Zeppelin 구성요소

선택적 구성요소 기능을 사용하여 Managed Service for Apache Spark 클러스터를 만들 때 Zeppelin과 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 Zeppelin 구성요소에 대해 설명합니다.

Zeppelin 노트북 구성요소는 대화형 데이터 분석을 위한 웹 기반 노트북입니다. Zeppelin 웹 UI는 클러스터의 첫 번째 마스터 노드에 있는 포트 8080에서 사용할 수 있습니다.

기본적으로 노트북은 Cloud Storage 의 Managed Service for Apache Spark 스테이징 버킷에 저장되며 이 버킷은 사용자가 지정하거나 클러스터를 만들 때 자동 생성됩니다. 위치는 클러스터를 만드는 시점에 via the zeppelin:zeppelin.notebook.gcs.dir 속성을 통해 변경할 수 있습니다.

구성요소 설치

Managed Service for Apache Spark 클러스터를 만들 때 구성요소를 설치합니다. 구성요소는 Managed Service for Apache Spark 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다.

각 Managed Service for Apache Spark 이미지 출시에 포함된 구성요소 버전은 지원되는 Dataproc 버전 을 참조하세요.

gcloud 명령어

Zeppelin 구성요소가 포함된 Managed Service for Apache Spark 클러스터를 만들려면 gcloud dataproc clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용합니다.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Zeppelin 구성요소는 Managed Service for Apache Spark API를 통해 SoftwareConfig.Component 를 사용하여 clusters.create 요청의 일부로 지정할 수 있습니다.

콘솔

  1. 구성요소 및 구성요소 게이트웨이를 사용 설정합니다.

Zeppelin 노트북 열기

클러스터 마스터 노드에서 실행 중인 Zeppelin 노트북 UI를 로컬 브라우저에서 열기 위해 Google Cloud 콘솔에서 구성요소 게이트웨이 링크를 클릭하는 방법은 구성요소 게이트웨이 URL 보기 및 액세스를 참조하세요.