Apache Spark용 관리형 서비스에서 CMEK 사용

기본적으로 Apache Spark용 관리형 서비스는 저장된 고객 콘텐츠를 암호화합니다. Managed Service for Apache Spark는 사용자 측의 추가 작업 없이 자동으로 암호화를 처리합니다. 이 옵션을 Google 기본 암호화라고 합니다.

암호화 키를 제어하려면 Managed Service for Apache Spark를 포함한 CMEK 통합 서비스와 함께 Cloud KMS에서 고객 관리 암호화 키(CMEK)를 사용하면 됩니다. Cloud KMS 키를 사용하면 보호 수준, 위치, 순환 일정, 사용 및 액세스 권한, 암호화 경계를 관리할 수 있습니다. Cloud KMS를 사용하면 키 사용을 추적하고 감사 로그를 보며 키 수명 주기를 제어할 수도 있습니다. Google에서 데이터를 보호하는 대칭 키 암호화 키(KEK)를 소유하고 관리하는 대신 사용자가 Cloud KMS에서 이러한 키를 제어하고 관리할 수 있습니다.

CMEK로 리소스를 설정한 후 Managed Service for Apache Spark 리소스에 액세스하는 환경은 Google 기본 암호화를 사용하는 것과 유사합니다. 암호화 옵션에 대한 자세한 내용은 고객 관리 암호화 키(CMEK)를 참조하세요.

Apache Spark용 관리 서비스를 사용하면 데이터가 기본 서버리스 인프라의 디스크와 Cloud Storage 스테이징 버킷에 저장됩니다. 이 데이터는 Google에서 생성한 데이터 암호화 키(DEK)와 키 암호화 키(KEK)를 사용하여 암호화됩니다. KEK를 제어하려면 기본 저장 데이터 암호화 대신 고객 관리 암호화 키 (CMEK)를 사용하면 됩니다. CMEK를 사용하면 키를 만들고 액세스 권한을 관리할 수 있으며, DEK 및 데이터의 복호화를 방지하기 위해 액세스 권한을 취소할 수 있습니다.

CMEK 사용

이 섹션의 단계에 따라 CMEK를 사용하여 Managed Service for Apache Spark가 영구 디스크 및 Managed Service for Apache Spark 스테이징 버킷에 작성하는 데이터를 암호화합니다.

2021년 4월 23일부터:

• Apache Spark용 관리형 서비스에서도 CMEK를 사용하여 일괄 작업 인수를 암호화합니다. 이 동작을 사용 설정하려면 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 Cloud KMS CryptoKey 암호화/복호화 IAM 역할을 할당해야 합니다. Managed Service for Apache Spark 서비스 에이전트 역할이 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결되어 있지 않은 경우 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결된 커스텀 역할에 serviceusage.services.use 권한을 추가합니다 . Managed Service for Apache Spark 리소스를 실행하는 프로젝트에서 Cloud KMS API를 사용 설정해야 합니다.
• batches.list는 복호화할 수 없는 작업 인수가 있는 배치를 나열하는 unreachable 필드를 반환합니다. 연결할 수 없는 배치에 대한 자세한 정보는 batches.get 요청을 통해 얻을 수 있습니다.
• 키(CMEK)는 암호화된 리소스와 동일한 위치에 있어야 합니다. 예를 들어 us-central1 리전에서 실행되는 배치를 암호화하는 데 사용되는 CMEK도 us-central1 리전에 있어야 합니다.

Cloud Key Management Service를 사용하여 키링과 키를 만들고 관리하거나 Cloud KMS Autokey를 사용하여 키링과 키를 간편하게 자동 생성할 수 있습니다.

Cloud KMS Autokey 사용

1. 프로젝트가 포함된 폴더에서 Autokey를 사용 설정합니다.
2. 키 핸들 만들기 키 핸들을 만들 때 dataproc.googleapis.com/Batch 또는 dataproc.googleapis.com/Session을 --resource-type로 지정합니다. Autokey는 키를 생성하고 키 핸들에 할당합니다.
3. 다음 수동으로 키 만들기 및 사용하기 섹션의 4단계와 5단계에 따라 서비스 계정에 권한을 부여하고 일괄 또는 세션 워크로드를 구성합니다. 워크로드를 제출할 때 kmsKey 필드에 키 리소스 이름 대신 키 핸들 리소스 이름을 지정합니다.

키 수동으로 만들기 및 사용

다음 단계에 따라 Cloud KMS 키를 수동으로 만들고 Managed Service for Apache Spark와 함께 사용하세요.

1. Cloud Key Management Service(Cloud KMS)를 사용하여 키를 만듭니다.

2. 리소스 이름을 복사합니다.

   

   리소스 이름은 다음과 같이 구성됩니다.

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Compute Engine, Managed Service for Apache Spark, Cloud Storage 서비스 에이전트 서비스 계정에서 키를 사용하도록 설정합니다.

   1. Cloud KMS 키를 사용하여 리소스 보호 > 필요한 역할을 참고하여 Cloud KMS CryptoKey 암호화/복호화 역할을 Compute Engine 서비스 에이전트 서비스 계정에 할당합니다. 이 서비스 계정이 Google Cloud 콘솔의 IAM 페이지에 나열되지 않은 경우 Google 제공 역할 부여 포함을 클릭하여 나열합니다.

   2. Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 Cloud KMS CryptoKey 암호화/복호화 역할을 할당합니다. Google Cloud CLI를 사용하여 역할을 할당할 수 있습니다.

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:[e-mail] \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      다음을 바꿉니다.

      KMS_PROJECT_ID: Cloud KMS를 실행하는 Google Cloud 프로젝트의 ID. 이 프로젝트는 Apache Spark용 관리형 서비스 리소스를 실행하는 프로젝트일 수도 있습니다.

      PROJECT_NUMBER: Managed Service for Apache Spark 리소스를 실행하는 Google Cloud 프로젝트의 프로젝트 번호 (프로젝트 ID 아님)

   3. Managed Service for Apache Spark 리소스를 실행하는 프로젝트에서 Cloud KMS API를 사용 설정합니다.

   4. Managed Service for Apache Spark 서비스 에이전트 역할이 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결되어 있지 않은 경우 Managed Service for Apache Spark 서비스 에이전트 서비스 계정에 연결된 커스텀 역할에 serviceusage.services.use 권한을 추가합니다. Apache Spark용 관리형 서비스 서비스 에이전트 역할이 Apache Spark용 관리형 서비스 서비스 에이전트 서비스 계정에 연결되어 있으면 이 단계를 건너뜁니다.

   5. 단계에 따라 버킷에 키를 추가합니다.

4. 배치 워크로드를 제출하는 경우에는 다음 단계를 따릅니다.

   1. 일괄 kmsKey 매개변수에 키를 지정합니다.
   2. 일괄 stagingBucket 매개변수에 Cloud Storage 버킷 이름을 지정합니다.

5. 대화형 세션 또는 세션 템플릿을 만드는 경우:

   1. 세션 kmsKey 매개변수에 키를 지정합니다.
   2. 세션 stagingBucket 매개변수에 Cloud Storage 버킷 이름을 지정합니다.