Managed Service for Apache Spark 클러스터 노드에서 Docker 컨테이너를 실행하려면 클러스터 생성 중에 Docker 선택적 구성요소를 사용 설정하세요. 이 문서에서는 Managed Service for Apache Spark에 Docker 구성요소를 설치하고 구성하는 방법을 설명합니다.
Managed Service for Apache Spark에서 사용할 수 있는 다른 선택적 구성요소에 대해 자세히 알아보려면 사용 가능한 선택적 구성요소를 참고하세요.
Docker 구성요소의 작동 방식
Managed Service for Apache Spark Docker 구성요소를 사용 설정하면 각 클러스터 노드에 Docker 데몬이 설치됩니다. 또한 각 노드에서 Docker 데몬을 실행하기 위해 'docker'라는 Linux 사용자 및 그룹을 설정합니다. 또한 이 구성요소는 dockerd 서비스를 실행하기 위해 'docker' systemd 서비스를 만듭니다. Docker 서비스의 수명 주기를 관리하려면 이 systemd 서비스를 사용해야 합니다.
구성요소 설치
Managed Service for Apache Spark 클러스터를 만들 때 구성요소를 설치합니다. Docker 구성요소는 Managed Service for Apache Spark 이미지 버전 1.5 이상으로 생성된 클러스터에 설치할 수 있습니다.
각 Managed Service for Apache Spark 이미지 출시에 포함된 구성요소 버전은 지원되는 Managed Service for Apache Spark 버전을 참고하세요.
gcloud 명령어
Docker 구성요소가 포함된 Managed Service for Apache Spark 클러스터를 만들려면 gcloud dataproc clusters create cluster-name 명령어를 --optional-components 플래그와 함께 사용합니다.
gcloud dataproc clusters create cluster-name \ --optional-components=DOCKER \ --region=region \ --image-version=1.5 \ ... other flags
REST API
Docker 구성요소는 SoftwareConfig.Component를 clusters.create 요청에 사용하여 Managed Service for Apache Spark API를 통해 지정할 수 있습니다.
콘솔
- 구성요소를 사용 설정합니다.
- Google Cloud 콘솔에서 Managed Service for Apache Spark 클러스터 만들기 페이지를 엽니다. '클러스터 설정' 패널이 선택되어 있습니다.
- '구성요소' 섹션에서 다음을 수행합니다.
- '선택적 구성요소' 아래에서 클러스터에 설치할 Docker 및 기타 선택적인 구성요소를 선택합니다.
YARN에서 Docker 실행 사용 설정
YARN에서 맞춤설정된 Docker 이미지를 사용하려면 YARN에서 Docker 실행 기능으로 Spark 작업 런타임 맞춤설정을 참조하세요.
Docker Logging
기본적으로 Managed Service for Apache Spark Docker 구성요소는 gcplogs driver를 설정하여 Cloud Logging에 로그를 기록합니다(로그 보기 참고).
Docker 레지스트리
Managed Service for Apache Spark Docker 구성요소는 기본 Docker 레지스트리 외에도 Container Registry를 사용하도록 Docker를 구성합니다. Docker는 Docker 사용자 인증 정보 도우미를 사용하여 Container Registry에 인증을 수행합니다.
Kerberos 클러스터에서 Docker 구성요소 사용
Kerberos 보안을 사용 설정하여 생성 중인 클러스터에서 Docker 선택적 구성요소를 설치할 수 있습니다.