Configuration du réseau Serverless pour Apache Spark

Ce document décrit les exigences nécessaires à la configuration réseau de Google Cloud Serverless pour Apache Spark.

Exigences concernant les sous-réseaux de cloud privé virtuel

Ce document décrit les exigences concernant le réseau de cloud privé virtuel pour Google Cloud les charges de travail par lot et les sessions interactives Serverless pour Apache Spark.

Accès privé à Google

Les charges de travail par lot et les sessions interactives Serverless pour Apache Spark s'exécutent sur des VM avec des adresses IP internes uniquement et sur un sous-réseau régional avec l'accès privé à Google (PGA) automatiquement activé sur le sous-réseau.

Si vous ne spécifiez pas de sous-réseau, Serverless pour Apache Spark sélectionne le default sous-réseau dans la région de la charge de travail par lot ou de la session comme sous-réseau pour une charge de travail par lot ou de la session.

Si votre charge de travail nécessite un accès au réseau externe ou à Internet, par exemple pour télécharger des ressources telles que des modèles ML à partir de PyTorch Hub ou Hugging Face, vous pouvez configurer Cloud NAT pour autoriser le trafic sortant à l'aide d'adresses IP internes sur votre réseau VPC.

Connectivité de sous-réseau ouvert

Le sous-réseau VPC de la région sélectionnée pour la charge de travail par lot ou la session interactive Serverless pour Apache Spark doit autoriser la communication interne du sous-réseau sur tous les ports entre les instances de VM.

**Remarque** : Pour empêcher que des scripts malveillants d'une charge de travail n'affectent d'autres charges de travail, Serverless pour Apache Spark déploie des mesures de sécurité par défaut.

La commande Google Cloud CLI suivante associe un pare-feu réseau à un sous-réseau qui autorise les communications d'entrée internes entre les VM à l'aide de tous les protocoles sur tous les ports :

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

Remarques :

• SUBNET_RANGES: Consultez Autoriser les connexions d'entrée internes entre les VM. Le réseau VPC default d'un projet avec la default-allow-internal règle de pare-feu, qui autorise la communication d'entrée sur tous les ports (tcp:0-65535, udp:0-65535, et icmp protocols:ports), répond à l'exigence de connectivité de sous-réseau ouvert. Toutefois, cette règle autorise également l'entrée de n'importe quelle instance de VM sur le réseau.

  Utilisez des tags réseau pour limiter la connectivité. En production, il est recommandé de limiter les règles de pare-feu aux adresses IP utilisées par vos charges de travail Spark.

Serverless pour Apache Spark et réseaux VPC-SC

Avec VPC Service Controls, VPC Service Controls permet aux administrateurs réseau de définir un périmètre de sécurité autour des ressources des services gérés par Google afin de contrôler les communications avec et entre ces services.

Notez les stratégies suivantes lorsque vous utilisez des réseaux VPC-SC avec Serverless pour Apache Spark :

• Configurez la connectivité privée.

• Créez une image de conteneur personnalisée qui pré-installe les dépendances en dehors du périmètre VPC-SC, puis envoyez une charge de travail par lot Spark qui utilise votre image de conteneur personnalisée.

Pour en savoir plus, consultez VPC Service Controls – Serverless pour Apache Spark.