API-Anfragen schlagen mit dem Fehler „502 Bad Gateway“ und „Unexpected EOF at target“ fehl

Diese Seite gilt für Apigee und Apigee Hybrid.

Apigee Edge-Dokumentation aufrufen

Dieses Playbook kann verwendet werden, um Fehler vom Typ „502 Bad Gateway Unexpected EOF“ sowohl für Apigee als auch für Apigee Hybrid zu diagnostizieren und zu beheben.

Symptom

Die Clientanwendung erhält als Antwort auf API-Aufrufe den HTTP-Statuscode 502 mit der Meldung „Bad Gateway“. Der HTTP-Statuscode 502 bedeutet, dass der Client (in diesem Fall Apigee) keine gültige Antwort von den Backend-Servern empfängt, die die Anfrage eigentlich ausführen sollten.

Fehlermeldungen

Bei API-Aufrufen der Clientanwendung wurde der folgende Antwortcode zurückgegeben:

HTTP/1.1 502 Bad Gateway

Außerdem wird möglicherweise die folgende Fehlermeldung angezeigt:

{ 
    "fault": { 
        "faultstring": "Unexpected EOF at target", 
        "detail": { 
            "errorcode":"messaging.adaptors.http.flow.UnexpectedEOFAtTarget", 
            "reason":"TARGET_READ_UNEXPECTED_EOF" 
          } 
      } 
}

Allgemeine Diagnoseschritte

Zur Diagnose des Fehlers können Sie eine der folgenden Methoden verwenden:

  • API-Monitoring
  • Fehler an der Sitzung beheben
  • Ingress-Logs
  • Laufzeitlogs

API-Monitoring

Diagnostizieren Sie den Fehler mit API Monitoring.

Rufen Sie in der Google Cloud Console die Seite Apigee > Proxy-Entwicklung > API-Monitoring auf.

Zum API-Monitoring

Gehen Sie auf der Seite API-Monitoring so vor, um die 502-Fehler zu untersuchen:

  1. Rufen Sie in der Apigee-Benutzeroberfläche des Kundenprojekts das Dashboard Untersuchen auf.
  2. Achten Sie darauf, dass im Drop-down-Menü Grafiken oben mindestens Fehlercode nach Statuscode und Fehlerquelle nach Proxy ausgewählt sind und dass der richtige Zeitraum ausgewählt ist, in dem die 502-Fehler aufgetreten sind.
  3. Klicken Sie auf das Feld in der Matrix, wenn eine große Anzahl von 502-Fehlern angezeigt wird.
  4. Auf der rechten Seite sehen Sie die Details der 502-Fehler, die etwa so aussehen:
Das API Monitoring-Dashboard mit 502-Fehlern, bei denen Fehlercode und Fehlerquelle hervorgehoben sind.
API-Monitoringansicht mit Hervorhebung des Fehlercodes und der Fehlerquelle.

Hier sehen Sie die folgenden Informationen:

  • Der Fehlercode lautet messaging.adaptors.http.flow.UnexpectedEOFAtTarget.
  • Fehlerquelle ist target

Dies weist darauf hin, dass der 502-Fehler durch das Ziel aufgrund eines unerwarteten EOF verursacht wird.

Fehler an der Sitzung beheben

So diagnostizieren Sie den Fehler mithilfe einer Fehlerbehebungssitzung:

  1. Führen Sie eine neue Fehlerbehebungssitzung aus, während Sie einen API-Aufruf ausführen, um den Fehler „502 Bad Gateway“ zu reproduzieren.
  2. Wählen Sie eine der fehlgeschlagenen Anfragen aus und sehen Sie sich den Trace an.
  3. Navigieren Sie durch die verschiedenen Phasen des Traces und suchen Sie nach der Stelle, an der der Fehler aufgetreten ist.
  4. Der Fehler sollte nach dem Senden der Anfrage an den Zielserver angezeigt werden (der Screenshot zeigt die Debug-Version 1):
Debug-Sitzungstrace mit dem Fehler „Unexpected EOF at target“ (Unerwartetes Dateiende am Ziel) und hervorgehobenen Eigenschaften.
Trace der Debugging-Sitzung mit Hervorhebung der Fehlerdetails.

Prüfen Sie die Property error in der Phase, in der der Fehler aufgetreten ist, wie im Screenshot oben zu sehen ist. Der Wert sollte die Meldung „Unexpected EOF at target“ enthalten.

Sie können den Wert von X-Apigee.fault-source und X-Apigee.fault-code auch in der AX-Phase (Analytics Data Recorded) im Trace ermitteln. Wenn die Werte von X-Apigee.fault-source und X-Apigee.fault-code mit den Werten in der folgenden Tabelle übereinstimmen, können Sie bestätigen, dass der 502-Fehler vom Zielserver stammt:

Antwortheader Wert
fault-source target
fault-code messaging.adaptors.http.flow.UnexpectedEOFAtTarget

Istio Ingressgateway-Logs (nur Hybrid)

Eine weitere Methode zur Diagnose von 502-Fehlern vom Typ „Unerwartetes EOF am Ziel“ besteht darin, die Ingress-Logs auf 502-Fehler zu prüfen. In den Ingress-Logs sollten die Werte von x_apigee_fault_code als messaging.adaptors.http.flow.UnexpectedEOFAtTarget und x_apigee_fault_source als target angezeigt werden.

Mögliche Ursachen

Eine typische Ursache für den Fehler „502 Bad Gateway“ ist der Fehler „Unexpected EOF“, der folgende Ursachen haben kann:

Ursache Beschreibung
Falsch konfigurierter Zielserver Der Zielserver ist nicht ordnungsgemäß für die Unterstützung von TLS/SSL-Verbindungen in Apigee konfiguriert.
Backend schließt Verbindung abrupt Der Backend-Server kann die Verbindung abrupt schließen, während Apigee Daten sendet oder auf eine Antwort vom Backend-Server wartet.
Falsch konfigurierte Keep-Alive-Zeitüberschreitung Auf Apigee und auf dem Backend-Server sind falsch konfigurierte Zeitüberschreitungen für Keep-Alive-Verbindungen vorhanden.
NAT-Nutzung mit AWS-NLB-Ziel mit zonenübergreifendem Load Balancing und IP-Beibehaltung (Nur Apigee X) NAT-Nutzung mit AWS NLB-Ziel mit zonenübergreifendem Load Balancing und IP-Beibehaltung

Ursache: Falsch konfigurierter Zielserver

Der Zielserver ist nicht ordnungsgemäß für die Unterstützung von TLS/SSL-Verbindungen konfiguriert.

Diagnose

  1. Dieses Problem wird wahrscheinlich durch eine falsche Konfiguration des Zielservers verursacht, wenn in der Debugging-Sitzung für die fehlgeschlagene API-Anfrage Folgendes angezeigt wird:
    • Der Fehler „502 Bad Gateway“ wird angezeigt, sobald die Zielanfrage für den Ablauf gestartet wird.
    • Im error.class wird messaging.adaptors.http.flow.UnexpectedEOF angezeigt.
    {
      "properties": {
        "error.class": "messaging.adaptors.http.flow.UnexpectedEOF",
        "error.cause": "java.io.EOFException: eof unexpected"
      }
    }
    
    {
      "properties": {
        "error.class": "messaging.adaptors.http.flow.UnexpectedEOF",
        "error.cause": "java.io.EOFException: eof unexpected"
      }
    }
    
  2. Zielserverdefinition mit dem Apigee Management API-Aufruf abrufen
export TOKEN=$(gcloud auth print-access-token); 
curl -s -H "Authorization: Bearer $TOKEN" https://apigee.googleapis.com/v1/organizations/{org_name}/environments/{env_name}/targetservers/{target_server}

Beispiel für eine fehlerhafte TargetServer-Definition:

{ 
  "name": "bad-targetserver", 
  "host": "my-apigee-example.sample.appspot.com", 
  "port": 443, 
  "isEnabled": true, 
  "protocol": "HTTP" 
}

Die abgebildete TargetServer-Definition ist ein Beispiel für eine typische Fehlkonfiguration, die so erklärt wird:

Angenommen, der Zielserver my-apigee-example.sample.appspot.com ist so konfiguriert, dass er sichere (HTTPS-)Verbindungen über Port 443 akzeptiert. Wenn Sie sich jedoch die Definition des Zielservers ansehen, gibt es keine anderen Attribute/Flags, die darauf hinweisen, dass er für sichere Verbindungen vorgesehen ist. Dadurch werden API-Anfragen, die an den jeweiligen Zielserver gesendet werden, in Apigee X als HTTP-Anfragen (nicht sicher) behandelt. Apigee X initiiert daher nicht den TLS/SSL-Handshake mit diesem Zielserver.

Da der Zielserver so konfiguriert ist, dass er nur HTTPS-Anfragen (TLS/SSL) auf Port 443 akzeptiert, lehnt er die Anfrage von Apigee X ab oder schließt die Verbindung. Als Ergebnis erhalten Sie einen UnexpectedEOFAtTarget-Fehler in apigee-runtime. Die apigee-runtime sendet „502 Bad Gateway“ als Antwort an den Client.

Lösung

Achten Sie immer darauf, dass der Zielserver gemäß Ihren Anforderungen konfiguriert ist. Wenn Sie im obigen Beispiel Anfragen an einen sicheren (HTTPS TLS/SSL) Zielserver senden möchten, müssen Sie die sSLInfo-Attribute mit dem Flag enabled auf „true“ setzen. Es ist zwar zulässig, die sSLInfo-Attribute für einen Zielserver in der Zielendpunktdefinition selbst hinzuzufügen, es wird jedoch empfohlen, die SSLInfo-Attribute als Teil der Zielserverdefinition hinzuzufügen, um Verwirrung zu vermeiden. Sie können alle erforderlichen Attribute direkt auf dem Zielserver aktivieren, wie unten gezeigt:

TargetServer-UI mit aktiviertem SSL-Schalter aktualisieren
Dialogfeld „Zielserver aktualisieren“ mit aktivierter Option „SSL aktivieren“

Wenn für den Backend-Dienst unidirektionale SSL-Kommunikation erforderlich ist, müssen Sie TLS/SSL in der Zielserverdefinition aktivieren, indem Sie die sSLInfo-Attribute einfügen, in denen das enabled-Flag auf „true“ gesetzt ist. Der API-Aufruf zum Abrufen des Zielservers sollte Daten wie unten zurückgeben:

{
    "name": "bad-targetserver",
    "host": "my-apigee-example.sample.appspot.com",
    "port": 443,
    "isEnabled": true,
    "sSLInfo": {
        "enabled": true
    },
    "protocol": "HTTP"
}

Wenn das Zertifikat des Zielservers in Apigee X validiert werden muss, muss auch das truststore mit dem Zertifikat des Zielservers wie unten gezeigt enthalten sein:

{
    "name": "bad-targetserver",
    "host": "my-apigee-example.sample.appspot.com",
    "port": 443,
    "isEnabled": true,
    "sSLInfo": {
        "enabled": true,
        "trustStore": "ref://my-reference"
    },
    "protocol": "HTTP"
}

Wenn für den Backend-Dienst bidirektionale SSL-Kommunikation erforderlich ist, müssen Sie die Attribute sSLInfo mit den Flags clientAuthEnabled, keystore, keyAlias und truststore entsprechend festlegen, wie unten dargestellt:

{
    "name": "bad-targetserver",
    "host": "my-apigee-example.sample.appspot.com",
    "port": 443,
    "isEnabled": true,
    "sSLInfo": {
        "enabled": true,
        "clientAuthEnabled": true,
        "keyStore": "ref://test-ref",
        "keyAlias": "my-alias-2",
        "trustStore": "ref://my-reference"
    },
    "protocol": "HTTP"
}

Ursache: Back-End schließt Verbindung abrupt

Nachdem eine TCP-Verbindung hergestellt wurde, kann der Backend-Server diese Verbindung abrupt schließen, während Apigee Daten sendet oder auf eine Antwort wartet. Dies löst eine EOF-Ausnahme in der Apigee-Laufzeitumgebung aus.

Diagnose

Verwenden Sie API-Monitoring, Debugging-Sitzungen oder Ingress-Logs, wie in den allgemeinen Diagnoseschritten beschrieben, um die Nachrichten-ID, den Fehlercode und die Fehlerquelle für den 502-Fehler zu ermitteln.

Das folgende Log ist ein Beispiel für ein Istio-Gateway-Log (nur Hybrid), das erstellt wird, wenn das Backend die Verbindung abrupt schließt (das Beispiel wurde etwas gekürzt). Beachten Sie insbesondere x_apigee_fault_code mit der Ausnahme UnexpectedEOFAtTarget, x_apigee_fault_source mit dem target und status mit dem HTTP-Statuscode 502:

{ 
    "dynamic_data": { 
      "x_apigee_fault_flag": "false", 
      "x_apigee_target_latency": "3335", 
      "x_apigee_dp_color": "1-11-0-apigee-8", 
      "x_apigee_fault_revision": "/organizations/test-org/environments/test-env/apiproxies/eof-test/revisions/5", 
      "x_apigee_fault_code": "messaging.adaptors.http.flow.UnexpectedEOFAtTarget", 
      "x_apigee_tracking_id": "b65eb01ec690656918d39cc767eb6aad", 
      "x_apigee_organization": "test-org", 
      "x_apigee_fault_source": "target", 
      "x_apigee_message_id": "123abc45-6def-789a-bc1-23def456abc78", 
      "x_envoy_upstream_service_time": "3558", 
      "x_apigee_region": "us-east1", 
      "x_apigee_fault_policy": "null/null", 
      "x_apigee_environment": "test-env", 
      "x_apigee_proxy": "/organizations/test-org/environments/test-env/apiproxies/eof-test/revisions/5", 
      "x_apigee_proxy_basepath": "/eof-test" 
    }, 
    "start_time": "2023-12-13T07:08:03.054Z", 
    "request_time": 3562, 
    "host": "203.0.113.10.nip.io", 
    "request_method": "GET", 
    "apigee_tracking_id": "b65eb01ec690656918d39cc767eb6aad", 
    "upstream_address": "10.1.1.2:8443", 
    "status": 502, 
    "upstream_response_time": 3560, 
    "x_forwarded_for": "198.51.100.10,203.0.113.10,198.51.100.11", 
    "request_protocol": "HTTP/1.1", 
    "status_details": "via_upstream", 
    "remote_address": "192.0.2.10:45752", 
    "tls_protocol": "TLSv1.2", 
    "request_id": "ce871b05-e62d-44a9-b15d-cb2f3553fd7f", 
    "bytes_received": 0, 
    "upstream_response_flags": "-" 
}

Notieren Sie sich das x_apigee_message_id im Istio-Gateway-Log (nur Hybrid) oder rufen Sie das message_id aus einer anderen Quelle ab, z.B. der Debugging-Sitzung, und suchen Sie in den Apigee-Laufzeitlogs (nur Hybrid) nach dem 502-Istio-Log.

Im Log-Explorer wird die EOF-Ausnahme angezeigt
Log-Explorer-Ansicht mit der EOF-Ausnahme in den Apigee-Laufzeitlogs.

Das folgende Beispiel-Log zeigt die java.io.EOFException:

{
  "insertId": "2xo6ibes68n88g38",
  "jsonPayload": {
    "level": "SEVERE",
    "logger": "HTTP.CLIENT",
    "className": "com.apigee.protocol.http.HTTPClient$Context$3",
    "message": "ClientChannel[Connected: Remote:203.0.113.20:8080 Local:10.1.1.2:25480]@148915 useCount=0 bytesRead=0 bytesWritten=1303 age=3334ms lastIO=3163ms isOpen=true.onExceptionRead",
…
    "thread": "NIOThread@0",
    "exceptionStackTrace": "java.io.EOFException: eof unexpected\n\tat com.apigee.nio.channels.PatternInputChannel.doRead(PatternInputChannel.java:31)\n\tat com.apigee.nio.channels.InputChannel.read(InputChannel.java:95)\n\tat com.apigee.protocol.http.io.MessageReader.onRead(MessageReader.java:87)\n\tat com.apigee.nio.channels.DefaultNIOSupport$DefaultIOChannelHandler.onIO(DefaultNIOSupport.java:44)\n\tat com.apigee.nio.handlers.NIOThread.run(NIOThread.java:195)\n",
    "method": "onException"
  },
…
}

Im obigen Beispiel sehen Sie, dass der java.io.EOFException: eof unexpected-Fehler aufgetreten ist, als die Apigee-Laufzeit versucht hat, eine Antwort vom Backend-Server zu lesen. Diese Ausnahme gibt an, dass das Dateiende (End of File, EOF) oder das Streamende unerwartet erreicht wurde.

Das bedeutet, dass die Verbindung von apigee-runtime zum Backend-Server erfolgreich hergestellt wurde und entweder die API-Anfrage gesendet wurde oder auf die Antwort vom Backend gewartet oder diese gelesen wurde. Der Backend-Server hat die Verbindung jedoch aus irgendeinem Grund abrupt beendet, bevor die apigee-runtime die erwartete Antwort erhalten oder die vollständige Antwort lesen konnte.

So erhalten Sie den endgültigen Beweis dafür, dass der Backend-Server die Verbindung abrupt beendet hat:

  1. Normalerweise wird dieser Fehler dadurch verursacht, dass der Backend-Server mit [FIN,ACK] antwortet, sobald apigee-runtime die Anfrage an den Backend-Server sendet. Prüfen Sie die Backend-Serverlogs auf Fehler oder Informationen, die dazu geführt haben könnten, dass der Backend-Server die Verbindung abrupt beendet hat. Wenn Sie Fehler oder Informationen finden, gehen Sie zum Abschnitt „Lösung“ und beheben Sie das Problem auf Ihrem Backend-Server. Wenn Sie auf Ihrem Backend-Server keine Fehler oder Informationen finden, erfassen Sie die Paketerfassung für den ersten Hop direkt nach Apigee.
  2. (Nur Hybrid) Möglicherweise möchten Sie auch die Paketerfassung in der apigee-runtime durchführen. Folgen Sie dazu dem Community-Artikel tcpdump durchführen. Nur für GKE können Sie https://cloud.google.com/container-optimized-os/docs/how-to/toolbox folgen.
  3. Sehen Sie sich das folgende tcpdump-Beispiel an. Dies ist ein Beispiel für einen tcpdump, der aufgenommen wurde, als der Fehler „502 Bad Gateway Error UnexpectedEOFAtTarget“ aufgetreten ist:
    TCPDump mit einem frühen FIN, ACK vom Backend-Server vor der vollständigen Antwort.
    Beispiel für einen tcpdump, bei dem das Backend vorzeitig ein FIN, ACK sendet.
  4. In der TCPDump-Ausgabe sehen Sie die folgende Abfolge von Ereignissen:
    • Mit den Paketen 2354 bis 2372 wird die Verbindung zwischen apigee-runtime und dem Backend-Server erfolgreich hergestellt.
    • In Paket 2512 antwortet der Backend-Server mit [FIN,ACK]. Die drei Sekunden, die zwischen Paket 2372 von Apigee und [FIN, ACK] von Paket 2512 vom Backend vergehen, sind darauf zurückzuführen, dass in diesem Beispiel das Backend drei Sekunden lang inaktiv ist, bevor es die Verbindung schließt.
    • Im Paket 2516 antwortet die Apigee-Laufzeit mit [FIN,ACK] auf den Backend-Server.
    • Schließlich werden die Verbindungen mit einem [RST] von Apigee geschlossen.
    • Da Apigee entweder noch die Anfrage sendet oder auf die Antwort vom Backend-Server wartet bzw. diese liest, wird das plötzliche [FIN,ACK] vom Backend-Server von Apigee nicht erwartet. Daher löst die apigee-runtime die Ausnahme java.io.EOFException: eof unexpected aus.

Lösung

Wichtig ist, dass es sich hierbei nicht um einen typischen Verbindungszeitüberschreitungsfehler (Statuscode 503) handelt, da die TCP-Verbindung erfolgreich hergestellt wurde. Es handelt sich auch nicht um einen Fehler vom Typ „Dienst nicht verfügbar“ (Statuscode 504), da die Verbindung über ein [FIN, ACK] vom Backend aus erfolgreich geschlossen wurde (obwohl die Apigee-Laufzeit zu diesem Zeitpunkt kein [FIN, ACK] erwartet hat). Das kann passieren, wenn es ein Netzwerkproblem auf dem Backend-Server oder einen Fehler im Backend-Code gibt. Der Kunde muss sein Netzwerkbetriebsteam und sein Back-End-Serverteam kontaktieren, um dieses Problem weiter zu untersuchen und es auf dem Back-End-Server oder dem Netzwerk-Hop zu beheben.

Ursache: Falsch konfiguriertes Keep-Alive-Zeitlimit

Bevor Sie prüfen, ob dies die Ursache für die 502-Fehler ist, lesen Sie bitte die folgenden Konzepte.

Persistente Verbindungen in Apigee

Apigee X folgt standardmäßig dem HTTP/1.1-Standard und verwendet persistente Verbindungen für die Kommunikation mit dem Ziel-Backend-Server. Nichtflüchtige Verbindungen können die Leistung steigern, da eine bereits hergestellte TCP- und (falls zutreffend) TLS/SSL-Verbindung wiederverwendet werden kann. Dadurch wird der Latenzaufwand verringert. Die Dauer, für die eine Verbindung aufrechterhalten werden muss, wird über das Attribut „Keep-Alive-Zeitlimit“ gesteuert. In der TargetEndpoint-Konfiguration von Apigee heißt dieses Attribut keepalive.timeout.millis.

Sowohl der Backend-Server als auch die Apigee-Laufzeit verwenden Keep-Alive-Timeouts, um Verbindungen zueinander offen zu halten. Wenn innerhalb des Keep-Alive-Timeouts keine Daten empfangen werden, kann der Backend-Server oder die Apigee-Laufzeit die Verbindung zum anderen schließen.

Für API-Proxys, die in einer apigee-runtime in Apigee X bereitgestellt werden, ist standardmäßig ein Keep-Alive-Zeitlimit von 60 Sekunden festgelegt, sofern es nicht überschrieben wird. Wenn 60 Sekunden lang keine Daten empfangen werden, schließt Apigee die Verbindung zum Backend-Server. Der Backend-Server behält auch ein Keep-Alive-Zeitlimit bei. Wenn dieses abläuft, schließt der Backend-Server die Verbindung zur Apigee-Laufzeit.

Auswirkungen einer falschen Konfiguration des Keep-Alive-Timeouts

Wenn entweder Apigee oder der Backend-Server mit falschen Keep-Alive-Zeitüberschreitungen konfiguriert ist, führt dies zu einer Race-Bedingung, bei der der Backend-Server als Reaktion auf eine Anfrage für eine Ressource ein unerwartetes End Of File (FIN) sendet.

Wenn das Keep-Alive-Zeitlimit beispielsweise im API-Proxy oder in apigee-runtime mit einem Wert konfiguriert ist, der größer oder gleich dem Zeitlimit des Upstream-Backend-Servers ist, kann die folgende Race-Bedingung auftreten. Wenn der apigee-runtime bis kurz vor dem Schwellenwert für das Keep-Alive-Zeitlimit des Backend-Servers keine Daten empfängt, aber eine Anfrage eingeht und über die bestehende Verbindung an den Backend-Server gesendet wird, kann dies zu einem 502 Bad Gateway-Fehler aufgrund eines unerwarteten EOF-Fehlers führen, wie unten beschrieben:

  • Angenommen, das Keep-Alive-Zeitlimit, das sowohl für die Apigee-Laufzeit als auch für den Backend-Server festgelegt ist, beträgt 60 Sekunden und bis 59 Sekunden nach der Verarbeitung der vorherigen Anfrage durch die jeweilige Apigee-Laufzeit ist keine neue Anfrage eingegangen.
  • Die Apigee-Laufzeit verarbeitet die im 59. Sekunde eingegangene Anfrage über die vorhandene Verbindung (da das Keep-Alive-Zeitlimit noch nicht abgelaufen ist) und sendet die Anfrage an den Backend-Server.
  • Bevor die Anfrage jedoch beim Backend-Server eingeht, wurde der Keep-Alive-Timeout-Grenzwert auf dem Backend-Server überschritten.
  • Die Anfrage der apigee-runtime nach einer Ressource ist unterwegs, aber der Backend-Server versucht, die Verbindung zu schließen, indem er ein FIN-Paket an die apigee-runtime sendet.
  • Während der apigee-runtime auf den Empfang der Daten wartet, wird stattdessen das unerwartete FIN empfangen und die Verbindung wird beendet.
  • Dies führt zu einem unerwarteten EOF und anschließend wird vom apigee-runtime ein 502-Fehler an den Client zurückgegeben.

In diesem Fall ist der 502-Fehler aufgetreten, weil sowohl auf dem Apigee-Runtime- als auch auf dem Backend-Server derselbe Keep-Alive-Zeitüberschreitungswert von 60 Sekunden konfiguriert war. Dieses Problem kann auch auftreten, wenn für das Keep-Alive-Zeitlimit in „apigee-runtime“ ein höherer Wert als auf dem Backend-Server konfiguriert ist.

Diagnose

Verwenden Sie API-Monitoring, Debugging-Sitzungen oder Ingress-Logs, wie in den allgemeinen Diagnoseschritten beschrieben, um die Nachrichten-ID, den Fehlercode und die Fehlerquelle für den 502-Fehler zu ermitteln.

Das folgende Log ist ein Beispiel für ein Istio-Gateway-Log (nur Hybrid), das erstellt wird, wenn das Backend die Verbindung abrupt schließt (das Beispiel wurde etwas gekürzt). Beachten Sie insbesondere x_apigee_fault_code mit der Ausnahme UnexpectedEOFAtTarget, x_apigee_fault_source mit dem target und status mit dem HTTP-Statuscode 502:

{
...
    "dynamic_data": {
      "x_apigee_fault_flag": "false",
      "x_apigee_target_latency": "3335",
      "x_apigee_dp_color": "1-11-0-apigee-8",
      "x_apigee_fault_revision": "/organizations/my-org/environments/test-env/apiproxies/eof-test/revisions/5",
      "x_apigee_fault_code": "messaging.adaptors.http.flow.UnexpectedEOFAtTarget",
      "x_apigee_tracking_id": "b65eb01ec690656918d39cc767eb6aad",
      "x_apigee_organization": "my-org",
      "x_apigee_fault_source": "target",
      "x_apigee_message_id": "951a6d91-1c83-4cd0-bd0d-5d69d0310b1e1",
      "x_envoy_upstream_service_time": "3558",
      "x_apigee_region": "us-east1",
      "x_apigee_fault_policy": "null/null",
      "x_apigee_environment": "test-env",
      "x_apigee_proxy": "/organizations/my-org/environments/test-env/apiproxies/eof-test/revisions/5",
      "x_apigee_proxy_basepath": "/eof-test"
    },
    "start_time": "2023-12-13T07:08:03.054Z",
    "request_time": 3562,
    "host": "203.0.113.10.nip.io",
    "request_method": "GET",
    "apigee_tracking_id": "b65eb01ec690656918d39cc767eb6aad",
    "upstream_address": "10.1.1.2:8443",
    "status": 502,
    "upstream_response_time": 3560,
    "x_forwarded_for": "198.51.100.10,203.0.113.10,198.51.100.11",
    "request_protocol": "HTTP/1.1",
    "status_details": "via_upstream",
    "remote_address": "192.0.2.10:45752",
    "tls_protocol": "TLSv1.2",
    "request_id": "ce871b05-e62d-44a9-b15d-cb2f3553fd7f",
"bytes_received": 0,
    "upstream_response_flags": "-"
  },
  "resource": {
...
    }
  },
  "timestamp": "2023-12-13T07:08:06.867811686Z",
  "severity": "INFO",
  "labels": {
..
  },
...
}

Notieren Sie sich das x_apigee_message_id im Istio-Gateway-Log (nur Hybrid) oder rufen Sie das message_id aus einer anderen Quelle ab, z.B. der Debugging-Sitzung, und suchen Sie in den Apigee-Laufzeitlogs (nur Hybrid) nach dem 502-Istio-Log. Sie können Istio-Logs mit apigee-runtime-Logs abgleichen. Die Abfrage an Apigee Runtime gibt Logs etwa in folgender Weise zurück:

Im Log-Explorer wird die EOF-Ausnahme angezeigt
Log-Explorer-Ansicht mit der EOF-Ausnahme in den Apigee-Laufzeitlogs.

Das folgende Logbeispiel zeigt den java.io.EOFException

{
  "insertId": "2xo6ibes68n88g38",
  "jsonPayload": {
    "level": "SEVERE",
    "logger": "HTTP.CLIENT",
    "className": "com.apigee.protocol.http.HTTPClient$Context$3",
    "message": "ClientChannel[Connected: Remote:203.0.113.20:8080 Local:10.1.1.2:25480]@148915 useCount=7 bytesRead=0 bytesWritten=1303 age=3334ms lastIO=3163ms isOpen=true.onExceptionRead",
…
    "thread": "NIOThread@0",
    "exceptionStackTrace": "java.io.EOFException: eof unexpected\n\tat com.apigee.nio.channels.PatternInputChannel.doRead(PatternInputChannel.java:31)\n\tat com.apigee.nio.channels.InputChannel.read(InputChannel.java:95)\n\tat com.apigee.protocol.http.io.MessageReader.onRead(MessageReader.java:87)\n\tat com.apigee.nio.channels.DefaultNIOSupport$DefaultIOChannelHandler.onIO(DefaultNIOSupport.java:44)\n\tat com.apigee.nio.handlers.NIOThread.run(NIOThread.java:195)\n",
    "method": "onException"
  },
…
}

}

Der Fehler java.io.EOFException: eof unexpected gibt an, dass die apigee-runtime ein EOF empfangen hat, während sie noch auf eine Antwort vom Backend-Server gewartet hat.

Das Attribut useCount=7 in der Fehlermeldung gibt an, dass die apigee-runtime diese Verbindung etwa sieben Mal wiederverwendet hat. Das Attribut bytesWritten=1303 gibt an, dass die apigee-runtime die Anfragenutzlast von 1.303 Byte an den Backend-Server gesendet hat. Es wurden jedoch null Byte zurückgegeben, als der unerwartete EOF-Fehler auftrat.

Das zeigt, dass die apigee-runtime dieselbe Verbindung mehrmals wiederverwendet hat. Bei dieser Gelegenheit wurden Daten gesendet, aber kurz darauf wurde ein EOF empfangen, bevor Daten empfangen wurden. Das bedeutet, dass die Wahrscheinlichkeit hoch ist, dass das Keep-Alive-Zeitlimit des Backend-Servers kürzer oder gleich dem im API-Proxy festgelegten Zeitlimit ist.

Mit tcpdump können Sie das Problem weiter untersuchen.

  1. Wenn Sie auf Ihrem Backend-Server keine Fehler oder Informationen finden, erfassen Sie die Paketerfassung für den ersten Hop direkt nach Apigee mit dem folgenden Befehl:
    tcpdump -i any -s 0 host <BACKEND_HOSTNAME> -w <FILENAME>
  2. (Nur Hybrid) Möglicherweise möchten Sie die Paketerfassung auch in der apigee-runtime durchführen. Folgen Sie dazu dem Community-Artikel How to take a tcpdump (So führen Sie einen tcpdump durch). Nur für GKE können Sie https://cloud.google.com/container-optimized-os/docs/how-to/toolbox folgen.
  3. Analysieren Sie die erfassten tcpdump-Daten:
  4. TCPDump mit einer erfolgreichen Anfrage, gefolgt von einem FIN, ACK bei der Wiederverwendung der Verbindung.
    Beispiel für einen tcpdump, der ein Keep-Alive-Zeitlimitproblem zeigt.

Im obigen tcpdump-Beispiel sehen Sie Folgendes:

  • Im Paket 5992 hat der Backend-Server eine GET-Anfrage erhalten.
  • Im Paket 6064 wird mit „200 OK“ geantwortet.
  • Im Paket 6084 hat der Backend-Server eine weitere GET-Anfrage erhalten.
  • In Paket 6154 wird mit „200 OK“ geantwortet.
  • Im Paket 6228 hat der Backend-Server eine dritte GET-Anfrage erhalten.
  • Dieses Mal gibt der Backend-Server ein FIN, ACK an die apigee-runtime zurück (Paket 6285), wodurch die Verbindung geschlossen wird.

Dieselbe Verbindung wurde in diesem Beispiel zweimal erfolgreich wiederverwendet. Bei der dritten Anfrage leitet der Backend-Server jedoch das Schließen der Verbindung ein, während die apigee-runtime auf die Daten vom Backend-Server wartet. Das deutet darauf hin, dass das Keep-Alive-Zeitlimit des Backend-Servers wahrscheinlich kürzer oder gleich dem im API-Proxy festgelegten Wert ist.

Keep-Alive-Zeitüberschreitung auf Apigee und dem Backend-Server vergleichen

  1. Standardmäßig verwendet Apigee X einen Wert von 60 Sekunden für das Keep-Alive-Zeitlimit.
  2. Es ist jedoch möglich, dass der Kunde den Standardwert im API-Proxy überschrieben hat. Sie können dies überprüfen, indem Sie die spezifische TargetEndpoint-Definition im fehlerhaften API-Proxy prüfen, der 502-Fehler zurückgibt. Hier sehen Sie ein Beispiel für eine TargetEndpoint-Konfiguration, in der die Keep-Alive-Zeitüberschreitung mit einem Wert von 30 Sekunden (30.000 Millisekunden) überschrieben wird:
  3. <TargetEndpoint name="default"> 
     <HTTPTargetConnection> 
        <URL>https://mocktarget.apigee.net/json</URL> 
        <Properties> 
          <Property name="keepalive.timeout.millis">30000</Property> 
        </Properties> 
      </HTTPTargetConnection> 
    </TargetEndpoint>
  4. Prüfen Sie als Nächstes die auf Ihrem Backend-Server konfigurierte Keep-Alive-Zeitüberschreitung. Angenommen, Ihr Backend-Server ist mit einem Wert von 25 Sekunden konfiguriert.
  5. Wenn Sie feststellen, dass der Wert der Keep-Alive-Timeout-Eigenschaft in Apigee höher ist als der Wert der Keep-Alive-Timeout-Eigenschaft auf dem Backend-Server (wie im obigen Beispiel), ist dies die Ursache für 502-Fehler.

Lösung

Achten Sie darauf, dass das Keep-Alive-Zeitüberschreitungsattribut auf Apigee (im API-Proxy und in der apigee-runtime-Komponente) immer niedriger ist als auf dem Backend-Server.

  1. Ermitteln Sie den Wert, der für das Keep-Alive-Zeitlimit auf dem Backend-Server festgelegt ist.
  2. Konfigurieren Sie einen geeigneten Wert für die Keep-Alive-Zeitüberschreitungseigenschaft im API-Proxy oder in apigee-runtime, sodass die Keep-Alive-Zeitüberschreitungseigenschaft niedriger ist als der auf dem Backend-Server festgelegte Wert. Verwenden Sie dazu die Schritte, die unter Anti-Pattern: Nichtflüchtige HTTP-Verbindungen (wiederverwendbare Keep-Alive-Verbindungen) deaktivieren beschrieben sind.

Ursache: NAT-Nutzung mit AWS-NLB-Ziel mit zonenübergreifendem Load Balancing und IP-Beibehaltung

(Nur Apigee X) Wenn Sie AWS NLB als Ziel verwenden, kann das folgende Problem auftreten:

Angenommen, AWS NLB hat drei IPs:

203.0.113.1:443 (AZ 1)
203.0.113.2:443 (AZ 2)
203.0.113.3:443 (AZ 3)

Apigee X stellt die folgende Verbindung her:

  • 192.0.2.10:30009 -> 203.0.113.1:443
  • 192.0.2.10:30009 -> 203.0.113.1:443 (vorhanden)
  • 192.0.2.10:30009 -> 203.0.113.2:443 (neu)

Das ist ein gültiges Verhalten.

Das Problem tritt auf, wenn 203.0.113.1:443 und 203.0.113.2:443 auf dasselbe NLB-Backend verweisen. In diesem Fall empfängt das Backend Pakete, die zu zwei verschiedenen Verbindungen gehören, aber von derselben Quelle stammen. Dadurch werden beide Verbindungen getrennt.

Die erste Verbindung kann mit demselben EOF-Fehler fehlschlagen, obwohl auch andere Fehler möglich sind.

Diagnose

Prüfen Sie, ob alle der folgenden Bedingungen erfüllt sind:

Wenn ja, sollte das Problem sporadisch auftreten. Da Probleme anhand der oben genannten Bedingungen diagnostiziert werden können, ist die Datei „.pcap“ nicht erforderlich. Es ist jedoch möglich, sie im Zielnetzwerk-Capture, aber nicht im Apigee-Capture zu erkennen.

.pcap-Diagnose für Ziel

So finden Sie sie in der Zielerfassung in Wireshark:

  1. Nach dem Port der betroffenen Verbindung filtern, z.B. „tcp.port == 30009“
  2. Klicken Sie mit der rechten Maustaste auf die Spalte > „Spalteneinstellungen“. Fügen Sie eine Spalte vom Typ „Benutzerdefiniert“ hinzu. Feld: tcp.seq_raw. Es werden Rohdaten-Sequenznummern angezeigt.
  3. Suchen Sie nach neuen Sequenznummern für Pakete mit der Apigee-Quell-IP. Wenn Sie beispielsweise eine Rohfolgenummer sehen, die mit 384… beginnt und plötzlich zu 376… wechselt, ohne dass es einen gültigen Anwendungsfall für die Wiederverwendung eines Ports gibt, handelt es sich um eine in Konflikt stehende Verbindung.

Lösung

Deaktivieren Sie zonenübergreifendes Load-Balancing oder Beibehalten der Client-IP.

Cloud NAT verhält sich hier korrekt. Das Problem liegt an der NLB-Architektur. Bei Apigee können keine Änderungen vorgenommen werden.

Erfassen von Diagnoseinformationen erforderlich

Wenn das Problem auch nach Befolgen der obigen Anweisungen weiterhin besteht, sammeln Sie die folgenden Diagnoseinformationen und wenden Sie sich dann an den Google Cloud Customer Care:

  • Google Cloud-Projekt-ID
  • Apigee-Organisation
  • API-Proxy und ‑Version
  • Eine heruntergeladene Datei für die Fehlerbehebungssitzung für einen fehlgeschlagenen API-Aufruf.
  • Backend-Serverprotokolle, die dem Zeitpunkt der Fehler entsprechen.
  • Eine tcpdump-Paketerfassung vom Message Processor oder vom Backend-Server während des Fehlers.