Apache Spark용 관리형 서비스에서 CMEK 사용

기본적으로 Managed Service for Apache Spark는 저장된 고객 콘텐츠를 암호화합니다. Managed Service for Apache Spark는 사용자 측의 추가 작업 없이 자동으로 암호화를 처리합니다. 이 옵션을 Google 기본 암호화라고 합니다.

암호화 키를 제어하려면 Managed Service for Apache Spark를 포함한 CMEK 통합 서비스와 함께 Cloud KMS에서 고객 관리 암호화 키(CMEK)를 사용하면 됩니다. Cloud KMS 키를 사용하면 보호 수준, 위치, 순환 일정, 사용 및 액세스 권한, 암호화 경계를 관리할 수 있습니다. Cloud KMS를 사용하면 키 사용을 추적하고 감사 로그를 보며 키 수명 주기를 제어할 수도 있습니다. Google에서 데이터를 보호하는 대칭 키 암호화 키(KEK)를 소유하고 관리하는 대신 사용자가 Cloud KMS에서 이러한 키를 제어하고 관리할 수 있습니다.

CMEK로 리소스를 설정한 후 Managed Service for Apache Spark 리소스에 액세스하는 환경은 Google 기본 암호화를 사용하는 것과 유사합니다. 암호화 옵션에 대한 자세한 내용은 고객 관리 암호화 키(CMEK)를 참조하세요.

CMEK 사용

이 섹션의 단계에 따라 CMEK를 사용하여 Managed Service for Apache Spark가 영구 디스크 및 Managed Service for Apache Spark 스테이징 버킷에 작성하는 데이터를 암호화합니다.

Cloud Key Management Service를 사용하여 키링과 키를 만들고 관리하거나 Cloud KMS Autokey를 사용하여 키링과 키를 간편하게 자동 생성할 수 있습니다.

Cloud KMS Autokey 사용

  1. 프로젝트가 포함된 폴더에서 Autokey를 사용 설정합니다.
  2. 키 핸들을 만듭니다. 키 핸들을 만들 때 dataproc.googleapis.com/Batch 또는 dataproc.googleapis.com/Session를 --resource-type로 지정합니다. Autokey는 키를 생성하고 키 핸들에 할당합니다.
  3. 다음 수동으로 키 만들기 및 사용 섹션의 4단계와 5단계에 따라 서비스 계정에 권한을 부여하고 일괄 또는 세션 워크로드를 구성합니다. 워크로드를 제출할 때 kmsKey 필드에서 키 리소스 이름 대신 키 핸들 리소스 이름을 지정합니다.

키 수동 생성 및 사용

다음 단계에 따라 Cloud KMS 키를 수동으로 만들고 Managed Service for Apache Spark에서 사용합니다.

  1. Cloud Key Management Service(Cloud KMS)를 사용하여 키를 만듭니다.

  2. 리소스 이름을 복사합니다.

    리소스 이름을 복사합니다.
    리소스 이름은 다음과 같이 구성됩니다. 
    projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

  3. Compute Engine, Managed Service for Apache Spark, Cloud Storage 서비스 에이전트 서비스 계정에서 키를 사용하도록 설정합니다.

    1. Cloud KMS 키를 사용하여 리소스 보호 > 필요한 역할을 참고하여 Cloud KMS CryptoKey 암호화/복호화 역할을 Compute Engine 서비스 에이전트 서비스 계정에 할당합니다. 이 서비스 계정이 Google Cloud 콘솔의 IAM 페이지에 나열되지 않은 경우 Google 제공 역할 부여 포함을 클릭하여 나열합니다.

    2. Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 Cloud KMS CryptoKey 암호화/복호화 역할을 할당합니다. Google Cloud CLI를 사용하여 역할을 할당할 수 있습니다.

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
 --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts.iam.gserviceaccount.com \
 --role roles/cloudkms.cryptoKeyEncrypterDecrypter

      다음을 바꿉니다.

      KMS_PROJECT_ID: Cloud KMS를 실행하는 Google Cloud 프로젝트의 ID. 이 프로젝트는 Managed Service for Apache Spark 리소스를 실행하는 프로젝트일 수도 있습니다.

      PROJECT_NUMBER: Managed Service for Apache Spark 리소스를 실행하는 Google Cloud 프로젝트의 프로젝트 번호 (프로젝트 ID 아님)

    3. Managed Service for Apache Spark 리소스를 실행하는 프로젝트에서 Cloud KMS API를 사용 설정합니다.

    4. Managed Service for Apache Spark 서비스 에이전트 역할이 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결되어 있지 않은 경우 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결된 커스텀 역할에 serviceusage.services.use 권한을 추가합니다. Managed Service for Apache Spark 서비스 에이전트 역할이 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결되어 있으면 이 단계를 건너뜁니다.

    5. 단계에 따라 버킷에 키를 추가합니다.

  4. 배치 워크로드를 제출하는 경우에는 다음 단계를 따릅니다.

    1. 배치 kmsKey 매개변수에 키를 지정합니다.
    2. 배치 stagingBucket 매개변수에 Cloud Storage 버킷 이름을 지정합니다.

  5. 대화형 세션 또는 런타임 프로필 (세션 템플릿)을 만들 때 암호화 키와 스테이징 버킷을 구성합니다.

    1. 키를 지정합니다.Google Cloud 콘솔의 런타임 프로필 만들기 페이지에서 추가 구성 아래의 네트워크 및 보안을 수정하고 암호화 아래의 Cloud KMS 키를 선택한 후 키를 선택합니다. 또는 세션 또는 세션 템플릿 kmsKey 매개변수에 키를 지정합니다.

    2. Cloud Storage 버킷 이름을 지정합니다. Google Cloud 콘솔의 런타임 프로필 만들기 페이지에서 추가 구성 아래의 런타임 구성을 수정하고 스테이징 버킷 필드에서 버킷을 선택합니다. 또는 세션 또는 세션 템플릿 stagingBucket 매개변수에서 버킷을 지정합니다.