Apache Spark용 관리형 서비스 선택적 Solr 구성요소

선택적 구성요소 기능을 사용하여 Managed Service for Apache Spark 클러스터를 만들 때 Solr과 같은 추가 구성요소를 설치할 수 있습니다. 이 페이지에서는 Solr 구성요소를 설명합니다.

Apache Solr 구성요소는 오픈소스 기반의 엔터프라이즈 검색 플랫폼입니다. Solr 서버 및 웹 UI는 클러스터의 마스터 노드에 있는 포트 8983에서 사용할 수 있습니다.

Solr 파일 유지: 기본적으로 Solr은 HDFS에서 색인 및 트랜잭션 로그 파일을 쓰고 읽습니다. Solr 파일을 유지하려면 구성요소를 설치할 때 dataproc:solr.gcs.path 클러스터 속성을 설정하여 Cloud Storage 경로를 Solr 홈 디렉터리로 사용합니다.

구성요소 설치

Managed Service for Apache Spark 클러스터를 만들 때 구성요소를 설치합니다. 구성요소는 Managed Service for Apache Spark 버전 1.3 이상으로 만든 클러스터에 추가할 수 있습니다.

각 Managed Service for Apache Spark 이미지 출시에 포함된 구성요소 버전은 지원되는 Managed Service for Apache Spark 버전을 참고하세요.

gcloud 명령어

Solr 구성요소가 포함된 Managed Service for Apache Spark 클러스터를 만들려면 gcloud dataproc clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용합니다. 아래의 샘플 명령어는 선택적인 properties 플래그를 사용하여 Cloud Storage 경로를 Solr 홈 디렉터리로 설정합니다.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --optional-components=SOLR \
    --enable-component-gateway \
    ... other flags
클러스터 속성 --properties="dataproc:solr.gcs.path=gs://bucket-name/"을 gcloud dataproc clusters create 명령어에 추가하여 Solr 문서가 저장될 Cloud Storage 버킷을 설정합니다(Solr 홈 디렉터리).

REST API

Solr 구성요소는 clusters.create 요청의 일부로 SoftwareConfig.Component를 사용하여 Managed Service for Apache Spark API를 통해 지정할 수 있습니다.

콘솔

  1. 구성요소 및 구성요소 게이트웨이를 사용 설정합니다.
    • Google Cloud 콘솔에서 Managed Service for Apache Spark 클러스터 만들기 페이지를 엽니다. '클러스터 설정' 패널이 선택되어 있습니다.
    • 구성요소 섹션에서 다음을 수행합니다.
      • 선택적 구성요소 아래에서 클러스터에 설치할 Solr 및 기타 선택적 구성요소를 선택합니다.
      • 구성요소 게이트웨이 아래에서 구성요소 게이트웨이 사용 설정을 선택합니다(구성요소 게이트웨이 URL 보기 및 액세스 참조).