Configuración de red de Serverless para Apache Spark

En este documento, se describen los requisitos necesarios para la configuración de red de Google Cloud Serverless for Apache Spark.

Requisitos de la subred de la nube privada virtual

En este documento, se explican los requisitos de la red de la nube privada virtual para Google Cloud las cargas de trabajo por lotes y las sesiones interactivas de Serverless for Apache Spark.

Acceso privado a Google

Las cargas de trabajo por lotes y las sesiones interactivas de Serverless for Apache Spark se ejecutan en VMs con solo direcciones IP internas y en una subred regional con Acceso privado a Google (PGA) habilitado automáticamente en la subred.

Si no especificas una subred, Serverless for Apache Spark selecciona la default subred en la región de la carga de trabajo o la sesión por lotes como la subred para una carga de trabajo o sesión por lotes.

Si tu carga de trabajo requiere acceso a la red externa o a Internet para descargar recursos como modelos de AA de PyTorch Hub o Hugging Face, puedes configurar Cloud NAT para permitir el tráfico saliente con IPs internas en tu red de VPC.

Conectividad de subred abierta

La subred de VPC para la región seleccionada para la carga de trabajo por lotes o la sesión interactiva de Serverless for Apache Spark debe permitir la comunicación interna de la subred en todos los puertos entre las instancias de VM.

Nota: Para evitar que las secuencias de comandos maliciosas de una carga de trabajo afecten a otras, Serverless for Apache Spark implementa medidas de seguridad predeterminadas.

El siguiente comando de Google Cloud CLI adjunta un firewall de red a una subred que permite las comunicaciones internas de entrada entre las VMs con todos los protocolos en todos los puertos:

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Notas:

• SUBNET_RANGES: Consulta Permite conexiones de entrada internas entre VMs. La red de VPC default en un proyecto con la default-allow-internal regla de firewall, que permite la comunicación de entrada en todos los puertos (tcp:0-65535, udp:0-65535, y icmp protocols:ports), cumple con el requisito de conectividad de subred abierta. Sin embargo, esta regla también permite la entrada de cualquier instancia de VM en la red.

  Usa etiquetas de red para limitar la conectividad. En producción, la práctica recomendada es limitar las reglas de firewall a las direcciones IP que usan tus cargas de trabajo de Spark.

Serverless for Apache Spark y redes de VPC-SC

Con Controles del servicio de VPC, los administradores de red pueden definir un perímetro de seguridad alrededor de los recursos de los servicios administrados por Google para controlar la comunicación entre esos servicios.

Ten en cuenta las siguientes estrategias cuando uses redes de VPC-SC con Serverless for Apache Spark:

• Configura la conectividad privada.

• Crea una imagen de contenedor personalizada que preinstale dependencias fuera del perímetro de VPC-SC y, luego, envía una carga de trabajo por lotes de Spark que use tu imagen de contenedor personalizada.

Para obtener más información, consulta Controles del servicio de VPC: Serverless for Apache Spark.