Mise en cache du cluster

La mise en cache des clusters Managed Service pour Apache Spark vous permet d'accélérer l'exécution des jobs en stockant localement les données Cloud Storage fréquemment consultées sur les nœuds du cluster. Ce cache local réduit la latence de lecture et minimise les requêtes API Cloud Storage pour les charges de travail répétitives.

Lorsque vous activez la mise en cache des clusters Managed Service pour Apache Spark, le cluster met en cache les données Cloud Storage fréquemment consultées par vos jobs Spark.

Avantages

  • Amélioration des performances : la mise en cache peut améliorer les performances des jobs en réduisant le temps nécessaire pour récupérer les données du stockage.
  • Réduction des coûts de stockage : étant donné que les données actives sont mises en cache sur le disque local, moins d'appels d'API sont effectués vers le stockage pour récupérer les données.
  • Applicabilité des jobs Spark : lorsque la mise en cache du cluster est activée sur un cluster, elle s'applique à tous les jobs Spark exécutés sur le cluster, qu'ils soient envoyés à Managed Service pour Apache Spark ou exécutés indépendamment sur le cluster.

Limites et exigences

  • La mise en cache ne s'applique qu'aux jobs Managed Service pour Apache Spark.
  • Seules les données Cloud Storage sont mises en cache.
  • La mise en cache ne s'applique qu'aux clusters qui répondent aux exigences suivantes :

Activer la mise en cache du cluster

Vous pouvez activer la mise en cache du cluster lorsque vous créez un cluster Managed Service pour Apache Spark à l'aide de la console Google Cloud , de Google Cloud CLI ou de l'API Dataproc.

ConsoleGoogle Cloud

  1. Ouvrez la page Créer un cluster de la console Google Cloud .
  2. Cliquez sur Configuration supplémentaire pour développer cette section.
  3. Modifiez Personnalisation et autres.
  4. Dans le panneau qui s'ouvre, dans la section Propriétés du cluster, cliquez sur + Ajouter des propriétés.
  5. Sélectionnez dataproc dans la liste Préfixe, puis ajoutez la clé dataproc.cluster.caching.enabled et la valeur true.

gcloud CLI

Exécutez la commande gcloud dataproc clusters create localement dans une fenêtre de terminal ou dans Cloud Shell à l'aide de la propriété de cluster dataproc:dataproc.cluster.caching.enabled=true.

Exemple :

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...

API REST

Définissez SoftwareConfig.properties pour inclure la propriété de cluster "dataproc:dataproc.cluster.caching.enabled": "true" dans une requête clusters.create.