Puedes usar la función Confidential Computing para crear un clúster de Managed Service para Apache Spark con Confidential VMs para proporcionar encriptación de memoria intercalada.
Requisitos
Un clúster con Confidential VMs debe cumplir con los siguientes requisitos:
- Las instancias de principal y de trabajador deben usar un tipo de máquina compatible con la
tecnología de Confidential Computing seleccionada.
Entre las máquinas compatibles asociadas con cada tecnología, se incluyen las siguientes:
- SEV:
c4d,c3d,c2d,n2d,g4-standard-48 - SEV_SNP:
n2d - TDX:
c3-standard-*,a3-highgpu-1g - NVIDIA
g4-standard-48
- SEV:
- El clúster debe usar una de las imágenes de Ubuntu compatibles.
- El clúster se debe crear en una zona de Compute Engine que admita
la plataforma de CPU que requiere la tecnología de Confidential Computing seleccionada; consulta Zonas.
- Puedes ejecutar el siguiente comando para enumerar las CPU compatibles en una
zona de Compute Engine:
gcloud compute zones describe ZONE --format="value(availableCpuPlatforms)"
- Puedes ejecutar el siguiente comando para enumerar las CPU compatibles en una
zona de Compute Engine:
Crea un clúster con Confidential VMs
Puedes usar la consola de Google Cloud , Google Cloud CLI o la API de Managed Service para Apache Spark para crear un clúster que use Confidential VMs.
Consola deGoogle Cloud
Para crear un clúster que use Confidential VMs, completa los siguientes pasos:
- Abre la página Crea un clúster de Apache Spark en Compute Engine en la consola de Google Cloud .
- En Define tu clúster, selecciona una zona compatible.
- En Configuraciones avanzadas: Infraestructura, selecciona un tipo de máquina de nodo principal y nodo trabajador compatible.
- En Configuración avanzada: Seguridad, selecciona "Habilitar Confidential Computing".
- Confirma o especifica otros parámetros de configuración del clúster y, luego, haz clic en Crear.
Google Cloud CLI
Para crear un clúster que use Confidential VMs, usa el
comando gcloud dataproc clusters create con la
marca --confidential-compute-type.
gcloud dataproc clusters create CLUSTER_NAME \ --confidential-compute-type=CONFIDENTIAL_COMPUTING_TECHNOLOGY (such asSEV,SEV_SNP, orTDX) \ --image-version=UBUNTU_IMAGE_VERSION \ --zone=ZONE \ --master-machine-type=MACHINE_TYPE \ --worker-machine-type=MACHINE_TYPE \ other args ...
API de REST
Para crear un clúster que use Confidential VMs, incluye
ConfidentialInstanceConfig
como parte de una solicitud
clusters.create. Establece confidentialInstanceType en la tecnología seleccionada, como SEV, SEV_SNP o TDX.