É possível usar o recurso de Computação confidencial para criar um cluster do Serviço Gerenciado para Apache Spark com VMs confidenciais para fornecer criptografia de memória in-line.
Requisitos
Um cluster com VMs confidenciais precisa atender aos seguintes requisitos:
- As instâncias mestre e de worker precisam usar um tipo de máquina compatível com a tecnologia de Computação Confidencial selecionada.
As máquinas compatíveis associadas a cada tecnologia incluem:
- SEV:
c4d,c3d,c2d,n2d,g4-standard-48 - SEV_SNP::
n2d - TDX:
c3-standard-*,a3-highgpu-1g - NVIDIA
g4-standard-48
- SEV:
- O cluster precisa usar uma das imagens que tenham suporte do Ubuntu.
- O cluster precisa ser criado em uma zona do Compute Engine que ofereça suporte
à plataforma de CPU exigida pela tecnologia de Computação confidencial selecionada. Consulte Ver zonas compatíveis.
- Execute o seguinte comando para listar as CPUs que tenham suporte em uma
zona do Compute Engine:
gcloud compute zones describe ZONE --format="value(availableCpuPlatforms)"
- Execute o seguinte comando para listar as CPUs que tenham suporte em uma
zona do Compute Engine:
Criar um cluster com VMs confidenciais
Use o console Google Cloud , a Google Cloud CLI ou a API do Serviço Gerenciado para Apache Spark para criar um cluster que use VMs confidenciais.
Console doGoogle Cloud
Para criar um cluster que use VMs confidenciais, siga estas etapas:
- Abra a página Criar um cluster do Apache Spark no Compute Engine no console do Google Cloud .
- Em Defina seu cluster, selecione uma zona compatível.
- Em Configurações avançadas - Infraestrutura, selecione um tipo de máquina de nó mestre e nó de trabalho compatível.
- Em Configurações avançadas - Segurança, selecione "Ativar computação confidencial".
- Confirme ou especifique outras configurações do cluster e clique em Criar.
CLI do Google Cloud
Para criar um cluster que use VMs confidenciais, use o
comando gcloud dataproc clusters create com a
flag --confidential-compute-type.
gcloud dataproc clusters create CLUSTER_NAME \ --confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY (such asSEV,SEV_SNP, orTDX) \ --image-version=UBUNTU_IMAGE_VERSION \ --zone=ZONE \ --master-machine-type=MACHINE_TYPE \ --worker-machine-type=MACHINE_TYPE \ other args ...
API REST
Para criar um cluster que use VMs confidenciais, inclua
o ConfidentialInstanceConfig
como parte de uma
solicitação
clusters.create. Defina confidentialInstanceType como a tecnologia selecionada, como SEV, SEV_SNP ou TDX.