Fehlerbehebung bei VM-Fehlern aufgrund von fehlendem Arbeitsspeicher

Auf dieser Seite finden Sie Informationen zu Fehlern aufgrund von unzureichendem Arbeitsspeicher (OOM) in Managed Service for Apache Spark auf Compute Engine-VMs sowie Schritte zur Fehlerbehebung und Behebung von OOM-Fehlern.

Auswirkungen von OOM-Fehlern

Wenn auf Managed Service for Apache Spark-VMs Fehler aufgrund von unzureichendem Arbeitsspeicher (OOM) auftreten, hat dies folgende Auswirkungen:

  • Master- und Worker-VMs werden für einen bestimmten Zeitraum eingefroren.

  • OOM-Fehler auf Master-VMs führen dazu, dass Jobs mit dem Fehler „Aufgabe nicht erfasst“ fehlschlagen.

  • OOM-Fehler auf Worker-VMs führen zu einem Verlust des Knotens auf YARN HDFS, was die Ausführung von Managed Service for Apache Spark-Jobs verzögert.

YARN-Speichersteuerung

Apache YARN bietet die folgenden Arten von Speichersteuerungen:

  • Abfragebasiert (alt)
  • Strikt
  • Elastic

Standardmäßig wird yarn.nodemanager.resource.memory.enabled von Managed Service for Apache Spark nicht festgelegt, um die YARN-Arbeitsspeichersteuerung zu aktivieren. Das hat folgende Gründe:

  • Eine strikte Arbeitsspeichersteuerung kann dazu führen, dass Container beendet werden, wenn genügend Arbeitsspeicher vorhanden ist, die Containergrößen jedoch nicht richtig konfiguriert sind.
  • Anforderungen an die elastische Arbeitsspeichersteuerung können sich negativ auf die Jobausführung auswirken.
  • YARN-Speichersteuerungen können Fehler aufgrund fehlenden Arbeitsspeichers möglicherweise nicht verhindern, wenn Prozesse aggressiv Arbeitsspeicher verbrauchen.

Speicherschutz für Managed Service for Apache Spark

Wenn eine Managed Service for Apache Spark-Cluster-VM unter Speicherdruck steht, beendet der Managed Service for Apache Spark-Arbeitsspeicherschutz Prozesse oder Container, bis die OOM-Bedingung entfernt wurde.

Managed Service for Apache Spark bietet Speicherschutz für die folgenden Clusterknoten in den folgenden Managed Service for Apache Spark-Image-Versionen:

Rolle 1,5 2.0 2.1 2.2
Master-VM 1.5.74+ 2.0.48+ Alle Alle
Worker-VM Nicht verfügbar 2.0.76+ 2.1.24+ Alle
Treiberpool-VM Nicht verfügbar 2.0.76+ 2.1.24+ Alle

Beendigungen des Speicherschutzes identifizieren und bestätigen

Anhand der folgenden Informationen können Sie Jobbeendigungen aufgrund von Speicherauslastung identifizieren und bestätigen.

Prozessbeendigungen

  • Prozesse, die durch den Speicherschutz von Managed Service for Apache Spark beendet werden, werden mit dem Code 137 oder 143 beendet.

  • Wenn Managed Service for Apache Spark einen Prozess aufgrund von Speicherdruck beendet, können die folgenden Aktionen oder Bedingungen auftreten:

    • Managed Service for Apache Spark erhöht den kumulativen Messwert dataproc.googleapis.com/node/problem_count und setzt reason auf ProcessKilledDueToMemoryPressure. Weitere Informationen finden Sie unter Ressourcenmesswerte für Managed Service for Apache Spark erfassen.
    • Managed Service for Apache Spark schreibt ein google.dataproc.oom-killer-Log mit der Nachricht: "A process is killed due to memory pressure: process name. Wenn Sie diese Nachrichten aufrufen möchten, aktivieren Sie Logging und verwenden Sie dann den folgenden Logfilter:
      resource.type="cloud_dataproc_cluster"
      resource.labels.cluster_name="CLUSTER_NAME"
      resource.labels.cluster_uuid="CLUSTER_UUID"
      jsonPayload.message:"A process is killed due to memory pressure:"
      

Beendigung von Jobs auf Masterknoten- oder Treiberknotenpools

  • Wenn ein Job im Masterknoten- oder Treiberknotenpool von Managed Service for Apache Spark aufgrund von Speichermangel beendet wird, schlägt der Job mit dem Fehlercode Driver received SIGTERM/SIGKILL signal and exited with INT fehl. Wenn Sie diese Nachrichten aufrufen möchten, aktivieren Sie Logging und verwenden Sie dann den folgenden Logfilter:

    resource.type="cloud_dataproc_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    resource.labels.cluster_uuid="CLUSTER_UUID"
    jsonPayload.message:"Driver received SIGTERM/SIGKILL signal and exited with"
        

    • Prüfen Sie das google.dataproc.oom-killer-Log oder die dataproc.googleapis.com/node/problem_count, um zu bestätigen, dass der Managed Service for Apache Spark-Arbeitsspeicherschutz den Job beendet hat (siehe Prozessbeendigungen).

    Lösungen:

    • Wenn der Cluster einen Treiberpool hat, erhöhen Sie driver-required-memory-mb auf die tatsächliche Arbeitsspeichernutzung des Jobs.
    • Wenn der Cluster keinen Treiberpool hat, erstellen Sie den Cluster neu und verringern Sie die maximale Anzahl gleichzeitiger Jobs, die auf dem Cluster ausgeführt werden.
    • Verwenden Sie einen Maschinentyp für den Masterknoten mit mehr Arbeitsspeicher.

Beendigung von YARN-Containern auf Worker-Knoten

  • Managed Service for Apache Spark schreibt die folgende Nachricht in den YARN-Ressourcenmanager: container id exited with code EXIT_CODE. Wenn Sie diese Nachrichten aufrufen möchten, aktivieren Sie Logging und verwenden Sie dann den folgenden Logfilter:

    resource.type="cloud_dataproc_cluster"
    resource.labels.cluster_name="CLUSTER_NAME"
    resource.labels.cluster_uuid="CLUSTER_UUID"
    jsonPayload.message:"container" AND "exited with code" AND "which potentially signifies memory pressure on NODE
    
  • Wenn ein Container mit code INT beendet wurde, prüfen Sie das google.dataproc.oom-killer-Log oder die dataproc.googleapis.com/node/problem_count, um festzustellen, ob der Job durch den Speicherschutz von Managed Service for Apache Spark beendet wurde (siehe Prozessbeendigungen).

    Lösungen:

    • Prüfen Sie, ob die Containergrößen richtig konfiguriert sind.
    • Sie sollten yarn.nodemanager.resource.memory-mb verringern. Dieses Attribut steuert die Menge an Arbeitsspeicher, die für die Planung von YARN-Containern verwendet wird.
    • Wenn Jobcontainer immer wieder fehlschlagen, prüfen Sie, ob eine Datenverzerrung zu einer erhöhten Nutzung bestimmter Container führt. Wenn ja, partitionieren Sie den Job neu oder erhöhen Sie die Worker-Größe, um zusätzliche Arbeitsspeicheranforderungen zu erfüllen.

Linux-Speicherschutz auf dem Masterknoten optimieren (erweitert)

Managed Service for Apache Spark-Masterknoten verwenden das Dienstprogramm earlyoom, um Systemabstürze zu verhindern, indem Speicher freigegeben wird, wenn der verfügbare Speicher kritisch niedrig ist. Die Standardkonfiguration ist für viele Arbeitslasten geeignet. Möglicherweise müssen Sie die Konfiguration jedoch anpassen, wenn Ihr Masterknoten über viel Arbeitsspeicher verfügt und der Arbeitsspeicher schnell verbraucht wird.

In Szenarien mit hoher Speicherauslastung kann das System in einen Zustand des „Thrashing“ geraten, in dem es die meiste Zeit mit der Speicherverwaltung verbringt und nicht mehr reagiert. Dies kann so schnell geschehen, dass earlyoom basierend auf den Standardeinstellungen keine Maßnahmen ergreift oder nicht reagiert, bevor die OOM-Antwort des Kernels aufgerufen wird.

Hinweis

  • Dies ist eine erweiterte Abstimmungsoption. Bevor Sie die earlyoom-Einstellungen anpassen, sollten Sie andere Lösungen priorisieren, z. B. die Verwendung einer Master-VM mit mehr Arbeitsspeicher, die Reduzierung der Job-Nebenläufigkeit oder die Optimierung der Job-Arbeitsspeichernutzung.

earlyoom-Einstellungen anpassen

In der Standardkonfiguration von earlyoom wird eine feste Menge an verfügbarem Arbeitsspeicher als Trigger verwendet. Auf virtuellen Maschinen mit einem großen Arbeitsspeicher (RAM), z. B. 32GB oder mehr, kann dieser feste Betrag einen kleinen Teil des Gesamtarbeitsspeichers ausmachen. Dadurch ist das System anfällig für plötzliche Spitzen bei der Arbeitsspeichernutzung.

Wenn Sie die earlyoom-Einstellungen anpassen möchten, stellen Sie eine Verbindung zum Masterknoten her und ändern Sie die Konfigurationsdatei.

  1. Stellen Sie eine SSH-Verbindung zum Masterknoten her.

  2. Öffnen Sie die Konfigurationsdatei zur Bearbeitung:

    sudo nano /etc/default/earlyoom
    
  3. Passen Sie den Mindestschwellenwert für den Arbeitsspeicher an. Suchen Sie die Zeile EARLYOOM_ARGS. Mit der Option -M <kbytes> wird die Mindestmenge an verfügbarem Arbeitsspeicher in KiB festgelegt, die earlyoom versucht, beizubehalten. Der Standardwert ist -M 65536, also 64 MiB.

    Erhöhen Sie diesen Wert für einen Masterknoten mit viel Arbeitsspeicher. Wenn Sie den Schwellenwert beispielsweise auf 1 GiB (1048576 KiB) festlegen möchten, ändern Sie die Zeile so:

    EARLYOOM_ARGS="-r 15 -M 1048576 -s 1"
    

    Hinweise:

    • -r: Intervall für Speicherbericht in Sekunden
    • -s: Der Schwellenwert für den Auslagerungsspeicher, um earlyoom auszulösen
  4. Starten Sie den Dienst earlyoom neu, um die Änderungen zu übernehmen:

    sudo systemctl restart earlyoom