Résoudre les erreurs de mémoire insuffisante de la VM

Cette page fournit des informations sur les erreurs de mémoire saturée (OOM, Out Of Memory) de Managed Service pour Apache Spark sur les VM Compute Engine, et explique comment résoudre ces erreurs.

Effets des erreurs de mémoire insuffisante

Lorsque les VM Managed Service pour Apache Spark rencontrent des erreurs de mémoire insuffisante (OOM), les effets incluent les conditions suivantes :

  • Les VM de nœud maître et de nœud de calcul se figent pendant un certain temps.

  • Les erreurs de mémoire insuffisante des VM maîtres entraînent l'échec des jobs avec des erreurs "tâche non acquise".

  • Les erreurs de mémoire saturée des VM de nœud de calcul entraînent la perte du nœud sur YARN HDFS, ce qui retarde l'exécution des jobs Managed Service pour Apache Spark.

Commandes de mémoire YARN

Apache YARN fournit les types de contrôles de mémoire suivants :

  • Basé sur l'interrogation (ancien)
  • Strict
  • Elastic

Par défaut, Managed Service pour Apache Spark ne définit pas yarn.nodemanager.resource.memory.enabled pour activer les contrôles de mémoire YARN, pour les raisons suivantes :

  • Un contrôle strict de la mémoire peut entraîner l'arrêt des conteneurs lorsque la mémoire est suffisante, si la taille des conteneurs n'est pas configurée correctement.
  • Les exigences de contrôle de la mémoire élastique peuvent avoir un impact négatif sur l'exécution des jobs.
  • Les contrôles de mémoire YARN peuvent ne pas empêcher les erreurs de mémoire insuffisante lorsque les processus consomment de la mémoire de manière agressive.

Protection de la mémoire de Managed Service pour Apache Spark

Lorsqu'une VM de cluster Managed Service pour Apache Spark subit une pression de mémoire, la protection de la mémoire de Managed Service pour Apache Spark arrête les processus ou les conteneurs jusqu'à ce que la condition de mémoire insuffisante soit supprimée.

Managed Service pour Apache Spark fournit une protection de la mémoire pour les nœuds de cluster suivants dans les versions d'image Managed Service pour Apache Spark suivantes :

Rôle 1.5 2.0 2.1 2.2
VM maître 1.5.74+ 2.0.48+ tous tous
VM de nœud de calcul Non disponible 2.0.76+ 2.1.24+ tous
VM du pool de pilotes Non disponible 2.0.76+ 2.1.24+ tous

Identifier et confirmer les arrêts de protection de la mémoire

Vous pouvez utiliser les informations suivantes pour identifier et confirmer les arrêts de jobs dus à une pression de mémoire.

Arrêts de processus

  • Les processus arrêtés par la protection de la mémoire de Managed Service pour Apache Spark se terminent avec le code 137 ou 143.

  • Lorsque Managed Service pour Apache Spark met fin à un processus en raison d'une pression sur la mémoire, les actions ou conditions suivantes peuvent se produire :

    • Managed Service pour Apache Spark incrémente la métrique cumulative dataproc.googleapis.com/node/problem_count et définit reason sur ProcessKilledDueToMemoryPressure. Consultez Collecte des métriques de ressources Managed Service pour Apache Spark.
    • Managed Service pour Apache Spark écrit un journal google.dataproc.oom-killer avec le message suivant : "A process is killed due to memory pressure: process name. Pour afficher ces messages, activez Logging, puis utilisez le filtre de journaux suivant :
      resource.type="cloud_dataproc_cluster"
      resource.labels.cluster_name="CLUSTER_NAME"
      resource.labels.cluster_uuid="CLUSTER_UUID"
      jsonPayload.message:"A process is killed due to memory pressure:"
      

Arrêt des jobs du nœud maître ou du pool de nœuds de pilote

  • Lorsqu'un job de nœud maître ou de pool de nœuds de pilote Managed Service pour Apache Spark se termine en raison d'une pression de mémoire, le job échoue avec le code d'erreur Driver received SIGTERM/SIGKILL signal and exited with INT. Pour afficher ces messages, activez Logging, puis utilisez le filtre de journaux suivant :

    resource.type="cloud_dataproc_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    resource.labels.cluster_uuid="CLUSTER_UUID"
    jsonPayload.message:"Driver received SIGTERM/SIGKILL signal and exited with"
        

    • Vérifiez le journal google.dataproc.oom-killer ou dataproc.googleapis.com/node/problem_count pour confirmer que la protection de la mémoire de Managed Service pour Apache Spark a arrêté le job (voir Arrêts de processus).

    Solutions :

    • Si le cluster dispose d'un pool de pilotes, augmentez driver-required-memory-mb pour qu'il corresponde à l'utilisation réelle de la mémoire du job.
    • Si le cluster ne dispose pas d'un pool de pilotes, recréez-le en réduisant le nombre maximal de jobs simultanés exécutés sur le cluster.
    • Utilisez un type de machine de nœud maître avec une mémoire accrue.

Arrêts de conteneurs YARN de nœuds de calcul

  • Managed Service pour Apache Spark écrit le message suivant dans le gestionnaire de ressources YARN : container id exited with code EXIT_CODE. Pour afficher ces messages, activez Logging, puis utilisez le filtre de journaux suivant :

    resource.type="cloud_dataproc_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    resource.labels.cluster_uuid="CLUSTER_UUID"
    jsonPayload.message:"container" AND "exited with code" AND "which potentially signifies memory pressure on NODE
    
  • Si un conteneur s'est arrêté avec le code code INT, vérifiez le journal google.dataproc.oom-killer ou dataproc.googleapis.com/node/problem_count pour confirmer que la protection de la mémoire de Managed Service pour Apache Spark a arrêté le job (voir Arrêts de processus).

    Solutions :

    • Vérifiez que les tailles des conteneurs sont correctement configurées.
    • Envisagez de réduire yarn.nodemanager.resource.memory-mb. Cette propriété contrôle la quantité de mémoire utilisée pour planifier les conteneurs YARN.
    • Si les conteneurs de jobs échouent systématiquement, vérifiez si le décalage des données entraîne une utilisation accrue de conteneurs spécifiques. Si tel est le cas, repartitionnez le job ou augmentez la taille des nœuds de calcul pour répondre aux besoins de mémoire supplémentaires.

Ajuster la protection de la mémoire Linux sur le nœud maître (avancé)

Les nœuds maîtres Managed Service pour Apache Spark utilisent l'utilitaire earlyoom pour éviter les blocages du système en libérant de la mémoire lorsque la mémoire disponible est extrêmement faible. La configuration par défaut convient à de nombreuses charges de travail. Toutefois, vous devrez peut-être ajuster la configuration si votre nœud maître dispose d'une grande quantité de mémoire et qu'il consomme rapidement de la mémoire.

Dans les scénarios où la sollicitation de la mémoire est élevée, le système peut entrer dans un état d'écrasement, où il passe la majeure partie de son temps à gérer la mémoire et ne répond plus. Cela peut se produire si rapidement que earlyoom ne parvient pas à agir en fonction de ses paramètres par défaut ou avant que la réponse OOM du noyau ne soit appelée.

Avant de commencer

  • Il s'agit d'une option de réglage avancée. Avant d'ajuster les paramètres earlyoom, donnez la priorité à d'autres solutions, telles que l'utilisation d'une VM maître avec plus de mémoire, la réduction de la simultanéité des jobs ou l'optimisation de l'utilisation de la mémoire des jobs.

Personnaliser les paramètres de earlyoom

La configuration earlyoom par défaut utilise une quantité fixe de mémoire libre comme déclencheur. Sur les machines virtuelles disposant d'une grande quantité de RAM, par exemple 32GB ou plus, cette quantité fixe peut représenter une petite fraction de la mémoire totale. Le système est donc susceptible de subir des pics soudains d'utilisation de la mémoire.

Pour personnaliser les paramètres earlyoom, connectez-vous au nœud maître et modifiez le fichier de configuration.

  1. Connectez-vous à votre nœud maître via SSH.

  2. Ouvrez le fichier de configuration pour le modifier :

    sudo nano /etc/default/earlyoom
    
  3. Ajustez le seuil de mémoire minimal. Recherchez la ligne EARLYOOM_ARGS. L'option -M <kbytes> définit la quantité minimale de mémoire libre en Kio que earlyoom tente de maintenir. La valeur par défaut est -M 65536, ce qui correspond à 64 MiB.

    Pour un nœud maître disposant d'une mémoire importante, augmentez cette valeur. Par exemple, pour définir le seuil sur 1 GiB (1048576 KiB), modifiez la ligne comme suit :

    EARLYOOM_ARGS="-r 15 -M 1048576 -s 1"
    

    Remarques :

    • -r : intervalle de rapport de mémoire en secondes
    • -s : seuil d'espace d'échange pour déclencher earlyoom
  4. Redémarrez le service earlyoom pour appliquer les modifications :

    sudo systemctl restart earlyoom