Use o recurso de Computação Confidencial para criar um cluster do serviço gerenciado para Apache Spark com VMs confidenciais para fornecer criptografia de memória inline.
Requisitos
Um cluster com VMs confidenciais precisa atender aos seguintes requisitos:
- As instâncias mestre e de worker precisam usar um tipo de máquina compatível com a
tecnologia de Computação Confidencial selecionada.
As máquinas compatíveis associadas a cada tecnologia incluem:
- SEV:
c4d,c3d,c2d,n2d,g4-standard-48 - SEV_SNP:
n2d - TDX:
c3-standard-*,a3-highgpu-1g - NVIDIA
g4-standard-48
- SEV:
- O cluster precisa usar uma das imagens compatíveis do Ubuntu.
- O cluster precisa ser criado em uma zona do Compute Engine que seja compatível com
a plataforma de CPU exigida pela tecnologia de Computação Confidencial selecionada. Consulte Zonas.
- Execute o seguinte comando para listar as CPUs compatíveis em uma
zona do Compute Engine:
gcloud compute zones describe ZONE --format="value(availableCpuPlatforms)"
- Execute o seguinte comando para listar as CPUs compatíveis em uma
zona do Compute Engine:
Criar um cluster com VMs confidenciais
Use o Google Cloud console, a Google Cloud CLI ou a API Serviço Gerenciado para Apache Spark para criar um cluster que use VMs confidenciais.
Console doGoogle Cloud
Para criar um cluster que use VMs confidenciais, conclua as seguintes etapas:
- Abra a página Criar um cluster do Apache Spark no Compute Engine no console do Google Cloud .
- Em Definir o cluster, selecione uma zona compatível.
- Em Configurações avançadas - Infraestrutura, selecione um tipo de máquina de nó mestre e nó de trabalho compatível.
- Em Configurações avançadas - Segurança, selecione "Ativar computação confidencial".
- Confirme ou especifique outras configurações do cluster e clique em Criar.
CLI do Google Cloud
Para criar um cluster que use VMs confidenciais, use o
comando gcloud dataproc clusters create com a
flag --confidential-compute-type.
gcloud dataproc clusters create CLUSTER_NAME \ --confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY (such asSEV,SEV_SNP, orTDX) \ --image-version=UBUNTU_IMAGE_VERSION \ --zone=ZONE \ --master-machine-type=MACHINE_TYPE \ --worker-machine-type=MACHINE_TYPE \ other args ...
API REST
Para criar um cluster que use VMs confidenciais, inclua
ConfidentialInstanceConfig
como parte de uma solicitação
clusters.create. Defina confidentialInstanceType como a tecnologia selecionada, como SEV, SEV_SNP ou TDX.