"Servicio administrado para Apache Spark" es el nuevo nombre del producto que antes se conocía como "Dataproc en Compute Engine" (implementación de clústeres) y "Google Cloud Serverless for Apache Spark" (implementación sin servidores).

Configuración de red de Managed Service para Apache Spark

En este documento, se describen los requisitos para la configuración de red de Managed Service para Apache Spark.

Requisitos de las subredes de la nube privada virtual

En este documento, se describen los requisitos de red de la nube privada virtual para las cargas de trabajo por lotes y las sesiones interactivas de Managed Service para Apache Spark.

Acceso privado a Google

Las cargas de trabajo por lotes y las sesiones interactivas de Managed Service para Apache Spark se ejecutan en VMs con solo direcciones IP internas y en una subred regional con el Acceso privado a Google (PGA) habilitado automáticamente en la subred.

Si no especificas una subred, Managed Service para Apache Spark selecciona la subred default en la región de la carga de trabajo por lotes o de la sesión como la subred para una carga de trabajo por lotes o una sesión.

Si tu carga de trabajo requiere acceso a Internet o a una red externa, por ejemplo, para descargar recursos como modelos de AA desde PyTorch Hub o Hugging Face, puedes configurar Cloud NAT para permitir el tráfico saliente con IPs internas en tu red de VPC.

Conectividad de subred abierta

La subred de VPC para la región seleccionada para la carga de trabajo por lotes o la sesión interactiva de Managed Service for Apache Spark debe permitir la comunicación interna en todos los puertos entre las instancias de VM dentro de la subred.

Para evitar que los secuencias de comandos maliciosos de una carga de trabajo afecten a otras, Managed Service para Apache Spark implementa medidas de seguridad predeterminadas.

El siguiente comando de Google Cloud CLI asocia un firewall de red a una subred que permite las comunicaciones internas de entrada entre VMs con todos los protocolos en todos los puertos:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Notas:

SUBNET_RANGES: Consulta Permite conexiones de entrada internas entre VMs. La red de VPC default en un proyecto con la regla de firewall default-allow-internal, que permite la comunicación de entrada en todos los puertos (tcp:0-65535, udp:0-65535 y icmp protocols:ports), cumple con el requisito de conectividad de subred abierta. Sin embargo, esta regla también permite la entrada de cualquier instancia de VM en la red.

Usa etiquetas de red para limitar la conectividad. En producción, la práctica recomendada es limitar las reglas de firewall a las direcciones IP que usan tus cargas de trabajo de Spark.

Política de firewall del sistema regional creada automáticamente

Para satisfacer el requisito de conectividad de subred abierta, las cargas de trabajo por lotes y las sesiones interactivas de Managed Service para Apache Spark que usan la versión de tiempo de ejecución 3.0 o posterior crean automáticamente una política de firewall del sistema regional dataproc-firewall-policy-[network-id]-region o dataproc-fw-[network-id]-region en la subred de VPC del lote o la sesión. Esta política contiene las siguientes reglas de entrada y salida.

Nombre	Objetivo	Prioridad	Dirección	Acción	Origen y destino	Protocolo y puertos
`dataproc-allow-internal-ingress-rule-[subnetworkId]`	Permite toda la comunicación interna necesaria solo desde otras VMs de Managed Service para Apache Spark etiquetadas dentro de la misma subred.	4	INGRESO	PERMITIR	`srcSecureTag`: Es el valor de la etiqueta segura para esta subred. `targetSecureTags`:Es el valor de la etiqueta segura para esta subred.	tcp:0-65535, udp:0-65535, icmp protocols:ports
`dataproc-allow-internal-egress-rule-[subnetworkId]`	Permite que las VMs de Managed Service for Apache Spark descarguen paquetes, por ejemplo, pip y apt-get, y accedan a las APIs de Google con el Acceso privado a Google.	5	EGRESS	PERMITIR	`destIpRanges`: 0.0.0.0/0. `targetSecureTags`:Es el valor de la etiqueta segura para esta subred.	tcp:0-65535, udp:0-65535, icmp protocols:ports

Notas:

Managed Service para Apache Spark aprovisiona un proyecto de usuario asociado con el proyecto del usuario para almacenar etiquetas seguras. Managed Service para Apache Spark crea una etiqueta segura para la subred en el proyecto de usuario y la adjunta a las VMs de Managed Service para Apache Spark, lo que garantiza que la política de firewall del sistema creada solo se aplique a las VMs de Managed Service para Apache Spark.
La política de firewall del sistema creada automáticamente no es compatible con la VPC compartida.

Managed Service para Apache Spark y redes de VPC-SC

Con los Controles del servicio de VPC, los administradores de redes pueden definir un perímetro de seguridad alrededor de los recursos de los servicios administrados por Google para controlar la comunicación hacia esos servicios y entre ellos.

Ten en cuenta las siguientes estrategias cuando uses redes de VPC-SC con Managed Service para Apache Spark:

Configura la conectividad privada.
Crea una imagen de contenedor personalizada que preinstale dependencias fuera del perímetro de VPC-SC y, luego, envía una carga de trabajo por lotes de Spark que use tu imagen de contenedor personalizada.

Para obtener más información, consulta Controles del servicio de VPC: Managed Service para Apache Spark.