"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

Conda 채널 이전 및 설정

사전 구성된 Conda 패키지 채널이 Managed Service for Apache Spark 클러스터 이미지 및 서버리스 런타임에서 삭제됩니다. 이 문서에서는 워크로드의 Conda 채널을 마이그레이션하고 구성하는 방법을 설명합니다.

사전 구성된 Conda 채널 삭제

이전에는 Managed Service for Apache Spark 이미지에 Anaconda의 defaults 저장소와 같은 사전 구성된 Conda 채널이 번들로 포함되어 있었습니다. 라이선스 변경으로 인해 Managed Service for Apache Spark는 모든 과거 및 미래 Managed Service for Apache Spark 이미지와 서버리스 런타임에서 사전 구성된 모든 채널 포인터를 삭제합니다.

변경사항: 명시적으로 제공된 채널 없이 conda install PACKAGE를 실행하는 명령어는 더 이상 기본 저장소에 대해 패키지를 확인하지 않고 실패합니다.
변경되지 않는 사항: PyPI (pip install PACKAGE 또는 dataproc:pip.packages 클러스터 속성)의 표준 Python 패키지 설치는 전혀 영향을 받지 않습니다.

채널이 없는 측면 이미지의 사용 가능 여부

개발자가 이 업데이트에 적응할 수 있도록 Managed Service for Apache Spark에서는 다음 표에 나열된 출시 채널이 없는 하위 버전이 출시되었습니다. 이러한 이미지는 기존 이미지와의 바이너리 및 구성요소 호환성을 100% 유지하며, 사전 구성된 Conda 채널이 삭제된다는 점만 다릅니다.

이미지 트랙	기존 버전 또는 영향을 받는 버전	Conda가 없는 측면 버전 게시	상태 및 호환성
1.3	`<= 1.3.95`	`1.3.96`	`1.3.95`와 100% 호환, Conda 채널 삭제
1.4	`<= 1.4.80`	`1.4.81`	`1.4.80`와 100% 호환, Conda 채널 삭제
1.5	`<= 1.5.90`	`1.5.92`	`1.5.90`와 100% 호환, Conda 채널 삭제됨
2.0	`<= 2.0.160`	`2.0.161`	`2.0.160`와 100% 호환, Conda 채널 삭제
2.1	`<= 2.1.116`	`2.1.117`, `2.1.119` 이상	지원되는 버전; Conda 채널 삭제됨
2.2	`<= 2.2.84`	`2.2.85`, `2.2.87` 이상	지원되는 출시 버전, Conda 채널 삭제됨
2.3	`<= 2.3.31`	`2.3.32`, `2.3.36` 이상	지원되는 버전; Conda 채널 삭제됨

삭제가 워크로드에 미치는 영향

고정되지 않은 클러스터: 이미지 버전 별칭 (예: --image-version=2.2-debian12)을 지정하는 클러스터 생성 스크립트는 새 채널 없는 이미지를 자동으로 수신합니다.
고정 또는 커스텀 이미지: 이전 하위 부 버전에 고정되거나 커스텀 이미지를 사용하는 클러스터는 업데이트되지 않는 한 이전 채널 구성을 계속 참조합니다. 고정 이미지를 사용하는 경우 추가 시간을 확보하고 지원되는 채널 없는 버전으로 이전하려면 연장을 요청해야 합니다.
실행 실패: 채널을 지정하지 않고 conda install PACKAGE를 제출하는 초기화 작업, 파이프라인 스크립트 또는 작업은 채널 확인 오류로 인해 실패합니다.

Conda 채널 구성 방법

워크로드에서 Conda를 사용하여 바이너리 패키지를 설치하는 경우 다음 옵션 중 하나를 사용하여 채널을 명시적으로 선언해야 합니다. Conda 관련 클러스터 속성에서 채널을 지정하려면 conda 관련 클러스터 속성 사용을 참고하세요.

옵션 1: 명시적 명령줄 플래그

이 옵션은 임시 설치에 권장됩니다. conda install를 실행할 때 --channel 플래그를 전달합니다.

conda install --channel conda-forge PACKAGE

또는 짧은 -c 플래그를 사용합니다.

conda install -c conda-forge PACKAGE

PACKAGE을 설치할 패키지 이름으로 바꿉니다.

옵션 2: 클러스터 초기화 작업

이 옵션은 자동화된 환경에 권장됩니다. .condarc 구성 파일에서 사용하려는 채널을 사전 구성하는 커스텀 초기화 작업을 추가합니다.

#!/bin/bash
# Preconfigure the community conda-forge channel or a private enterprise repository.
conda config --add channels conda-forge
conda config --set channel_priority strict

기존 이미지 (1.x 및 2.0)에서 마이그레이션

Managed Service for Apache Spark 버전 1.3, 1.4, 1.5, 2.0은 오랫동안 지원되지 않았습니다. 이전 이미지를 실행하면 기본 운영체제 및 오픈소스 소프트웨어 (OSS) 종속 항목에 알려진 Common Vulnerabilities and Exposures (CVE)를 비롯한 심각한 운영 및 보안 위험이 발생합니다.

Google Cloud 는 1.x 및 2.0 트랙의 이미지 생성을 영구적으로 중단합니다.
이러한 지원 중단된 이미지 (1.x 및 2.0)만 지원하는 GoogleCloudDataproc/initialization-actions GitHub 저장소에서 사용 가능한 모든 초기화 작업도 삭제됩니다.
2026년 10월 15일까지 모든 워크로드를 Conda 채널이 없는 측면 이미지로 마이그레이션해야 합니다.
모든 워크로드는 지원되는 활성 버전 (2.1, 2.2, 2.3 또는 3.0 이상)으로 최종적으로 이전해야 합니다.

자세한 내용은 지원되지 않는 Managed Service for Apache Spark 이미지 버전을 참조하세요.

사용 가능한 확장 프로그램

Managed Service for Apache Spark는 서비스팀의 승인이 필요한 선택적 허용 목록을 통해 두 가지 확장 경로를 제공합니다.

확장 프로그램 유형

다음 확장 프로그램 유형을 사용할 수 있습니다.

임시 Conda 해결 방법 확장 프로그램

유효 기간: 최대 2026년 10월 31일까지
목적: 2026년 8월 25일 및 2026년 9월 1일에 기본 이미지 별칭 전환으로 인해 자동 배포 또는 초기화 작업이 중단되는 고객에게 즉각적인 운영 버퍼를 제공합니다.
혜택: --channel를 포함하도록 스크립트를 수정하거나 채널이 없는 이미지로 전환하는 동안 프로젝트에서 이전 동작을 일시적으로 유지할 수 있습니다.

기존 이미지 지원 중단 확장 프로그램

유효 기간: 2026년 12월 31일까지
목적: Spark 3.x 이상 OS 환경에 맞게 코드를 즉시 리팩터링할 수 없는 1.x 또는 2.0에서 실행되는 미션 크리티컬 워크로드용입니다.
혜택: 2026년 말까지 기존 트랙에서 클러스터를 계속 만들어 즉각적인 프로덕션 중단을 방지할 수 있습니다.
기본 요건: 현재 1.x 및 2.0 워크로드가 Conda 호환 측면 이미지를 사용하는 경우에만 이 확장 프로그램을 획득할 수 있습니다.

확장 프로그램 요구사항

확장 프로그램에는 규정 준수 및 인프라 제약 조건이 적용됩니다. 승인을 받으려면 다음 요구사항을 모두 충족해야 합니다.

기존 프로젝트만 해당: 확장 프로그램은 2026년 8월 이전에 이러한 버전을 실행한 활동 내역이 있는 Google Cloud 프로젝트 ID에만 적용됩니다. 새 프로젝트는 허용 목록에 추가되지 않습니다.
2026년 10월 31일까지 필수 측면 이미지 스왑: 1.x 또는 2.0에서 연장이 부여된 경우 2026년 10월 31일까지 클러스터 생성 구성을 측면 Conda 호환 하위 부 버전 (1.3.96, 1.4.81, 1.5.92, 2.0.161)으로 전환해야 합니다.
global 리전 사용 안함: 이미지 버전 1.5 이하의 경우 클러스터를 기존 global 리전에 배포하면 안 됩니다. 워크로드는 특정 리전 엔드포인트 (예: us-central1 또는 europe-west1)를 사용해야 합니다.
약정된 마이그레이션 로드맵: 2026년 12월 31일 기한 전에 워크로드를 Conda 호환 지원 버전 (2.2 이상 또는 3.0)으로 이동하려면 활성 현대화 계획이 있어야 합니다.

연장 요청 방법

확장 프로그램 허용 목록에 포함되도록 요청하려면 다음 채널 중 하나를 통해 요청을 제출하세요.

이메일: dataproc-msa-support@google.com으로 요청을 직접 보내세요.
지원 케이스: Dataproc Conda 지원 중단 MSA를 참조하는 Cloud Customer Care에 케이스를 제출합니다.
계정팀: 전담 Google Cloud 기술계정 관리자 (TAM) 또는 고객 엔지니어 (CE)에게 문의하세요.

요청에 다음 정보를 포함하세요.

Google Cloud 조직 이름
타겟 Google Cloud 프로젝트 ID 및 프로젝트 번호
영향을 받는 클러스터 이름 또는 UUID
현재 사용 중인 이미지 버전
연장 요청 이유 및 목표 이전 완료일

규정을 준수하는 Conda 채널 체크리스트

다음 우선순위를 순서대로 완료하세요.

우선순위 1: 워크로드 검색 및 인벤토리

지원 중단된 이미지 식별: 조직의 프로젝트에서 1.3, 1.4, 1.5 또는 2.0에서 실행되는 클러스터를 감사합니다.

다음 명령어는 리전의 활성 클러스터 이미지 버전을 나열합니다.
```
gcloud dataproc clusters list --region=REGION \
    --format="table(clusterName, status.state, config.softwareConfig.imageVersion)"
```
REGION을 클러스터가 있는 리전으로 바꿉니다.
Conda 사용 감사: 초기화 작업(--initialization-actions), 시작 스크립트, 작업 제출 스크립트에서 conda install 호출을 검토합니다.

우선순위 2: 즉각적인 실패 분류

서비스 중단이 발생하면 다음 단계를 따르세요.

Conda 패키지가 누락되어 자동 파이프라인이 실패하면 --channel conda-forge (또는 -c conda-forge)를 추가하여 초기화 작업 또는 스크립트를 즉시 패치하세요.
```
conda install -c conda-forge PACKAGE
```
지원 중단된 이미지 블록으로 인해 클러스터 생성이 실패하면 즉시 dataproc-msa-support@google.com 또는 TAM에 문의하여 임시 허용 목록 등록을 요청하세요.

우선순위 3: 측면 하위 마이너 스왑 실행

이 단계에서는 코드를 변경할 필요가 없습니다.

이미지 버전 2.2 이상으로 즉시 업그레이드할 수 없는 파이프라인의 경우 채널이 없는 측면 버전을 사용하도록 클러스터 생성 템플릿 (예: Terraform, Apache Airflow DataprocCreateClusterOperator, Managed Service for Apache Airflow, CI/CD 스크립트)을 업데이트합니다.
- 1.3.*를 1.3.96로 바꿉니다.
- 1.4.*를 1.4.81로 바꿉니다.
- 1.5.*를 1.5.92로 바꿉니다.
- 2.0.*를 2.0.161로 바꿉니다.
작동 원리: 이러한 이미지에는 이전 하위 버전과 동일한 버전의 Apache Spark, Apache Hadoop, Apache Hive, Java가 포함되어 있습니다. 코드 변경 없이 100% 애플리케이션 호환성을 보장합니다.

우선순위 4: 장기 실행 클러스터 다시 만들기

이전 이미지에 배포된 정적 장기 실행 클러스터가 있는 경우 최신 측면 하위 버전 (또는 Conda 호환 지원 2.x 또는 3.x 버전)을 사용하여 다시 생성하도록 유지관리 기간을 예약하세요. 클러스터를 다시 만들면 모든 중요한 보안 및 구성 업데이트가 적용됩니다.

우선순위 5: 지원되는 버전으로의 전체 업그레이드 계획

이 우선순위의 목표 완료 시기는 2026년 4분기입니다.

이미지 버전 2.2 (Debian 12, Spark 3.5) 또는 정식 버전 (GA)인 이미지 버전 3.0에서 테스트 환경을 설정합니다.
Spark 3.x API 사양에 대해 PySpark, Scala, Java 작업을 검증합니다.
전용 현대화 지원이 필요한 경우 Google CloudProfessional Services Organization(PSO) 또는 인증된 마이그레이션 파트너(예: Wipro 및 HCL)를 사용하세요.

자주 묻는 질문(FAQ)

다음 섹션에서는 Conda 채널 삭제에 관해 자주 묻는 질문에 대한 답변을 제공합니다.

일반 및 배경

다음 질문에서는 이러한 변경사항이 발생하는 이유와 서로 어떻게 다른지 설명합니다.

Managed Service for Apache Spark에서 사전 구성된 Conda 채널을 삭제하는 이유는 무엇인가요?

라이선스 요구사항 변경으로 인해 Managed Service for Apache Spark는 독점 Anaconda 채널에서 서비스를 분리하고 표준 오픈소스 패키징 메커니즘으로 전환하고 있습니다.

Conda 채널 삭제와 이미지 지원 중단의 차이점은 무엇인가요?

Conda 채널 삭제는 적극적으로 지원되는 버전 2.1, 2.2, 2.3 및 서버리스 런타임을 비롯한 모든 Managed Service for Apache Spark 버전에 영향을 미칩니다. Anaconda 저장소의 기본 포인터를 삭제합니다.
이미지 지원 중단은 특히 기존 1.x 및 2.0 이미지에 영향을 미칩니다. 이러한 이미지는 지원 종료되었으며 더 이상 보안 패치를 받지 않으며 클러스터 생성에서 차단됩니다.

기술 및 호환성 문제

다음 질문에서는 변경사항이 Python 패키지 설치, Conda 사용, 이미지 호환성에 미치는 영향을 다룹니다.

이 변경사항이 `pip install` 또는 `dataproc:pip.packages`에 영향을 미치나요?

아니요. pip를 사용한 표준 Python 패키지 설치 또는 Managed Service for Apache Spark 클러스터 속성 dataproc:pip.packages은 Python 패키지 색인 (PyPI)에서 직접 가져옵니다. PyPI는 Conda와 완전히 독립적이며 어떤 방식으로도 영향을 받지 않습니다.

조직에서 Anaconda 또는 Conda 패키지를 계속 사용할 수 있나요?

예. Conda를 계속 사용하여 환경을 관리할 수 있습니다. 하지만 저장소 채널을 명시적으로 제공해야 합니다. 초기화 작업을 사용하여 커뮤니티 지원 conda-forge 채널을 가리키거나 (-c conda-forge 추가) 조직의 비공개 라이선스 Anaconda 저장소 미러를 가리킬 수 있습니다.

스크립트가 업데이트되지 않으면 어떤 오류가 발생하나요?

채널이 없는 이미지에서 conda install PACKAGE를 실행하면 Conda는 채널이 구성되지 않았거나 요청된 패키지를 기본 검색 경로에서 찾을 수 없다는 오류를 반환합니다. 예를 들면 PackagesNotFoundError: The following packages are not available from current channels입니다.

측면 소수 이미지란 무엇이며 왜 사용해야 하나요?

측면 하위 이미지 (예: 1.5 트랙의 경우 1.5.92, 2.0 트랙의 경우 2.0.161)는 핵심 빅데이터 생태계 구성요소(Hadoop, Spark, Hive, Presto, Java 런타임)가 해당 트랙의 이전 출시와 동일하게 유지되지만 기본 Conda 채널이 삭제된 이미지 출시입니다. 측면 하위 부 버전을 업그레이드하려면 Spark 작업의 코드를 변경할 필요가 없습니다.

배포 및 생태계

다음 질문에서는 변경사항이 서버리스 워크로드, Google Kubernetes Engine (GKE) 배포, 관리형 조정 서비스에 미치는 영향을 다룹니다.

이 변경사항이 Managed Service for Apache Spark 서버리스에 미치는 영향은 무엇인가요?

2026년 8월 25일부터 새로 제출된 서버리스 배치 워크로드는 사전 구성된 Conda 채널이 포함되지 않은 기본 런타임 이미지에서 실행됩니다. 커스텀 컨테이너 이미지 또는 Conda 환경 tarball을 사용하여 종속 항목을 패키징하는 경우 빌드 정의에서 --channel conda-forge 또는 비공개 채널을 지정해야 합니다.

이 변경사항이 Google Kubernetes Engine의 Managed Service for Apache Spark에 미치는 영향은 무엇인가요?

GKE의 Managed Service for Apache Spark 이미지가 사전 구성된 Conda 채널 (예: 런타임 이미지 3.5-dataproc-28 및 후속 출시)을 삭제하도록 업데이트되었습니다. conda install를 실행하는 맞춤 컨테이너 Dockerfile은 명시적 --channel를 전달하도록 업데이트해야 합니다.

Managed Service for Apache Airflow 또는 Cloud Data Fusion과 같은 관리형 조정자가 영향을 받나요?

Apache Spark용 기본 제공 관리형 서비스 클러스터 생성 태스크를 호출하는 Managed Airflow 또는 Cloud Data Fusion에서 관리하는 기본 표준 파이프라인은 워크플로가 플래그가 지정되지 않은 conda install 명령어를 실행하거나 지원 중단된 1.x 또는 2.0 이미지를 고정하는 커스텀 초기화 작업에 의존하지 않는 한 영향을 받지 않습니다.

지원 및 도움

다음 질문에서는 마이그레이션에 대한 도움을 받을 수 있는 위치를 설명합니다.

이전에 대한 기술 지원은 어디에서 받을 수 있나요?

기술 문제 해결 및 허용 목록 요청은 dataproc-msa-support@google.com에 문의하거나 Cloud Customer Care에 케이스를 여세요.
엔터프라이즈 마이그레이션 지원의 경우 Google Cloud PSO에서 구조화된 현대화 패키지를 제공하고, Wipro 및 HCL을 비롯한 인증된 시스템 통합업체 (SI) 파트너는 파트너 서비스 자금 (PSF)을 사용할 수 있는 전담 마이그레이션 서비스를 제공합니다.