Probleme bei der Trafficverwaltung in Cloud Service Mesh beheben
In diesem Abschnitt werden häufig auftretende Probleme bei Cloud Service Mesh und deren Behebung beschrieben. Weitere Informationen finden Sie unter Support.
API-Server-Verbindungsfehler in istiod-Logs
Istiod kann keine Verbindung zum apiserver herstellen, wenn Fehler angezeigt werden, die in etwa so aussehen:
error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused
Sie können den regulären Ausdruck /error.*cannot list resource/ verwenden, um diesen Fehler in den Logs zu finden.
Dieser Fehler ist in der Regel nur vorübergehend. Wenn Sie die Proxylogs mit kubectl erreicht haben, ist das Problem möglicherweise bereits behoben. Dieser Fehler wird normalerweise durch Ereignisse verursacht, die den API-Server vorübergehend nicht verfügbar machen, z. B. wenn ein API-Server, der sich nicht in einer Hochverfügbarkeitskonfiguration befindet, für ein Upgrade oder eine Autoscaling-Änderung neu gestartet wird.
Der istio-init-Container stürzt ab
Dieses Problem kann auftreten, wenn die iptables-Regeln des Pods nicht auf den Netzwerk-Namespace des Pods angewendet werden. Mögliche Ursachen:
- Unvollständige Installation von istio-cni
- Unzureichende Arbeitslast-Pod-Berechtigungen (fehlende
CAP_NET_ADMIN-Berechtigung)
Wenn Sie das Istio-CNI-Plug-in verwenden, prüfen Sie, ob Sie die Anleitung vollständig befolgt haben. Prüfen Sie, ob der Container istio-cni-node bereit ist, und sehen Sie sich die Logs an. Wenn das Problem weiterhin besteht, stellen Sie eine Secure Shell (SSH) zum Hostknoten her und suchen Sie in den Knotenlogs nach nsenter-Befehlen. Prüfen Sie, ob Fehler vorhanden sind.
Wenn Sie das Istio-CNI-Plug-in nicht verwenden, prüfen Sie, ob der Arbeitslast-Pod die Berechtigung CAP_NET_ADMIN hat, die automatisch vom Sidecar-Injektor festgelegt wird.
Die Verbindung wurde nach dem Start des Pods abgelehnt
Wenn ein Pod gestartet wird und connection refused für die Verbindung mit einem Endpunkt versucht, könnte das Problem sein, dass der Anwendungscontainer vor dem isto-proxy-Container gestartet wurde. In diesem Fall sendet der Anwendungscontainer die Anfrage an istio-proxy, aber die Verbindung wird abgelehnt, da istio-proxy den Port noch nicht überwacht.
In diesem Fall haben Sie folgende Möglichkeiten:
Ändern Sie den Startcode Ihrer Anwendung so, dass kontinuierlich Anfragen an den
istio-proxy-Systemdiagnose gesendet werden, bis die Anwendung den Code 200 empfängt. Der Endpunkt "health"istio-proxyist:http://localhost:15020/healthz/readyFügen Sie Ihrer Anwendung einen Mechanismus für Wiederholungsanfragen hinzu.
Die Ausgabe beim Auflisten von Gateways ist leer
Symptom: Wenn Sie Gateways mit kubectl get gateway --all-namespaces auflisten, nachdem Sie ein Cloud Service Mesh-Gateway erfolgreich erstellt haben, gibt der Befehl No resources found zurück.
Dieses Problem kann unter GKE 1.20 und höher auftreten, da der GKE-Gateway-Controller die GKE-Ressource Gateway.networking.x-k8s.io/v1alpha1 automatisch in Clustern installiert. Problemumgehung:
Prüfen Sie, ob der Cluster mehrere benutzerdefinierte Gateway-Ressourcen enthält:
kubectl api-resources | grep gatewayBeispielausgabe:
gateways gw networking.istio.io/v1beta1 true Gateway gatewayclasses gc networking.x-k8s.io/v1alpha1 false GatewayClass gateways gtw networking.x-k8s.io/v1alpha1 true Gateway
Wenn in der Liste andere Einträge als Gateways mit dem
apiVersionnetworking.istio.io/v1beta1angezeigt werden, verwenden Sie im Befehlkubectlden vollständigen Ressourcennamen oder die erkennbaren Kurznamen. Führen Sie beispielsweisekubectl get gwoderkubectl get gateways.networking.istio.ioanstelle vonkubectl get gatewayaus, damit die Istio-Gateways aufgelistet werden.
Weitere Informationen zu diesem Problem finden Sie unter Kubernetes-Gateways und Istio-Gateways.
Envoy-Proxy hängt bei der Initialisierung
Wenn die Debugging-Logs darauf hindeuten, dass der Envoy-Proxy während der Initialisierung hängen bleibt, können Sie mit dem folgenden Befehl ermitteln, was den Prozess blockiert:
kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump
Fehlerbehebung bei 5xx-HTTP-Antwortfehlern
Beim Zugriff auf Anwendungen über das Istio-Ingress-Gateway können 5xx-HTTP-Antwortfehler auftreten. Gehen Sie so vor, um das Problem zu diagnostizieren und zu beheben:
- Steuerungsebene identifizieren
- Mögliche Fehlkonfigurationen prüfen
- Pod-Erkennung prüfen
- Zugriffslogs analysieren
Steuerungsebene identifizieren
Bestimmen Sie die Version und Konfiguration der Steuerungsebene, da verschiedene Versionen die Diagnoseprozesse beeinflussen können. Führen Sie den folgenden Befehl aus, um den Status der verwalteten Steuerungsebene zu prüfen:
gcloud container fleet mesh describe --project PROJECT_ID
Der Status ACTIVE gibt an, dass die verwaltete Steuerungsebene normal ausgeführt wird.
Mögliche Fehlkonfigurationen prüfen
Häufige Fehlkonfigurationen können zu Routingfehlern führen:
- Namespace-Konflikt: Der
VirtualServicemuss sich im selben Namespace wie der GKE-Backend-Dienst befinden. - Gateway-Referenz stimmt nicht überein: Die
VirtualServicemuss explizit auf die richtigeGatewayverweisen. Wenn dieVirtualServicebeispielsweise aufistio-system/istio-ingressgatewayverweist, sich das Gateway aber im Namespacedefaultbefindet, wird der Traffic nicht korrekt weitergeleitet.
Pod-Erkennung prüfen
Prüfen Sie, ob der Anwendungs-Pod vom Mesh-Netzwerk korrekt erkannt wird:
istioctl proxy-config endpoints POD_NAME
Zugriffslogs analysieren
Aktivieren Sie Zugriffslogs, um festzustellen, ob Fehler von der Backend-Anwendung oder dem Proxy stammen. Zu den Schlüsselfeldern gehören RESPONSE_FLAGS, UPSTREAM_LOCAL_ADDRESS und RESPONSE_CODE.
Wenn die Logs auf Upstream-Fehler hinweisen, führen Sie einen direkten curl-Test für den GKE-Dienst von einem Pod im selben Namespace aus. Wenn die curl-Anfrage denselben 5xx-Fehler zurückgibt, stammt das Problem von der Backend-Anwendung selbst.
Fehlerbehebung bei SSL-Zertifikatsproblemen
SSL-Zertifikatsfehler am Istio Ingress-Gateway können durch abgelaufene Zertifikate, Protokollkonflikte oder falsche Secret-Konfigurationen verursacht werden.
SSL-Fehler identifizieren
Prüfen Sie die Logs des Istio-Ingress-Gateway-Pods:
kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE
Zertifikate und Schlüssel überprüfen
Prüfen Sie mit MD5-Hashes, ob das Zertifikat und der private Schlüssel gültig sind und übereinstimmen:
openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5
Prüfen Sie, ob das Zertifikat abgelaufen ist und ob der allgemeine Name (Common Name, CN) oder der alternative Antragstellername (Subject Alternative Name, SAN) mit der Domain übereinstimmt.
TLS-Protokoll und Secret-Konfiguration prüfen
Prüfen Sie die TLS-Version und die Cipher Suites in der Gateway-CRD. Achten Sie darauf, dass sich das Kubernetes-Secret mit dem Zertifikat und dem Schlüssel im selben Namespace wie das Ingress-Gateway befindet und dass der credentialName mit dem Secret-Namen übereinstimmt.
Fehlerbehebung bei zeitweiligen Zeitüberschreitungen bei externen Endpunkten
Bei Anfragen an externe Endpunkte (z. B. NLB von Drittanbietern), die in mehrere IP-Adressen aufgelöst werden, können gelegentlich Zeitüberschreitungen auftreten.
Mögliche Ursache: ServiceEntry-Auflösung
Wenn spec.resolution auf DNS gesetzt ist, verwendet Istio „Strict DNS“, wodurch das Load Balancing über alle aufgelösten IP-Adressen erfolgt. Einige NLBs unterstützen dies nicht.
Lösung
Legen Sie die Auflösung auf dem ServiceEntry auf DNS_ROUND_ROBIN fest, um das Problem zu beheben.
Fehlerbehebung bei Zeitüberschreitungen oder gestuften Latenzspitzen
Wenn mehrere Cluster bei derselben Flotte registriert sind, können zeitweise Zeitüberschreitungen, 503-Fehler mit UF-Antwort-Flags oder Latenzspitzen auftreten.
Mögliche Ursache: falsch konfigurierte clusterübergreifende Endpunkterkennung
Bei der automatischen Verwaltung ist die clusterübergreifende Endpunkterkennung (multicluster_mode: connected) standardmäßig aktiviert. Wenn mehrere Cluster in derselben Flotte diese Option aktiviert haben, wird der Traffic zwischen ihnen per Load Balancing verteilt. Wenn zwischen den Clustern keine VPC-Firewallregeln (Virtual Private Cloud) konfiguriert sind, kommt es zu einer Zeitüberschreitung.
Lösung
Deaktivieren Sie die Multi-Cluster-Endpunkterkennung auf eigenständigen Clustern oder öffnen Sie Pod-zu-Pod-Firewallregeln, um dieses Problem zu beheben. Weitere Informationen finden Sie unter Clusterübergreifende Zeitüberschreitungen, hohe Latenz oder unerwarteter clusterübergreifender Traffic.
Fehlerbehebung bei ungleichmäßiger Traffic-Verteilung
Wenn der Traffic nicht gleichmäßig auf die Anwendungs-Pods verteilt wird, prüfen Sie Folgendes:
- Pod-Zustand: Prüfen Sie, ob alle Anwendungspods während des Ungleichgewichts fehlerfrei waren.
- Load-Balancing-Algorithmus: Prüfen Sie die
DestinationRule-Konfiguration für die EinstellungloadBalancer(z.B.consistentHashoderROUND_ROBIN). - Ort-Load-Balancing: Prüfen Sie, ob
localityLbSettingaktiviert ist. Beachten Sie, dass dies mit derTRAFFIC_DIRECTOR-Steuerungsebene nicht unterstützt wird.
Fehlerbehebung bei Problemen mit der Dienstweitergabe und Kontingenten
Wenn neue Dienste oder Netzwerkkonfigurationen nicht im Mesh-Netzwerk berücksichtigt werden, kann dies daran liegen, dass im Flottenprojekt Ressourcenkontingente erreicht wurden.
Symptome
- Netzwerkkonfigurationen (z. B.
VirtualServiceoderDestinationRule) werden nicht an Sidecar-Proxys übertragen. - Neue Dienste werden im Mesh als „unsichtbar“ angezeigt, obwohl sie korrekt definiert sind.
Schritte zur Identifizierung und Behebung
- Ressourcenkontingente prüfen: Prüfen Sie, ob das Flottenprojekt sein Kontingent für
BackendService-Ressourcen erreicht hat. Prüfen Sie dazu das Kontingent für globale interne Traffic Director-Backend-Dienste im Flottenprojekt. Cloud Service Mesh erstellt in der Regel einenBackendServicepro Kubernetes-Dienstport. - Skalierungseinschränkungen prüfen: Achten Sie darauf, dass Ihre Konfiguration die unterstützten Skalierungseinschränkungen für Cloud Service Mesh nicht überschreitet.
- Kontingente erhöhen: Wenn Kontingente erreicht wurden, fordern Sie eine Erhöhung für die betroffene Ressource im Flottenprojekt an, um die normale Dienstweitergabe wiederherzustellen.
Fehlerbehebung bei der VirtualService-Bewertung
Wenn sich eine VirtualService nicht wie erwartet verhält, denken Sie daran, dass Routen in der Reihenfolge ausgewertet werden, in der sie aufgeführt sind. Wenn Sie mehrere virtuelle Dienste für denselben Host haben, werden ihre Routen zusammengeführt. Die Routen von „älteren“ virtuellen Diensten werden priorisiert und daher vor Routen von „neueren“ Diensten in der zusammengeführten Liste platziert. Dies untermauert die Regel „Erste Übereinstimmung“.
Fehlerbehebung beim Load Balancing von Orten
Standardmäßig leitet das lokale Load Balancing den Client-Traffic an Endpunkte in derselben Zone (der primären Zone oder Priorität 0) weiter. Envoy leitet Traffic nur dann an Failover-Zonen (Priorität 1 oder höher) weiter, wenn Endpunkte in der primären Zone fehlerhaft oder nicht verfügbar sind.
Wenn Sie Ihre Endpunkte nicht so skalieren, dass die gesamte zonale Last verarbeitet wird, oder wenn Sie den Traffic auf mehrere Zonen aufteilen möchten, haben Sie folgende Möglichkeiten:
- Skalieren Sie die Pods in den jeweiligen Zonen, um die lokale Trafficlast zu bewältigen.
- Deaktivieren Sie die Einstellung für das Ort-Load-Balancing.
Einstellungen für das Load Balancing von Orten identifizieren
Beim Load Balancing für die Lokalisierung werden Endpunkte anhand von Knotentopologielabels gruppiert. Verwenden Sie die folgenden Befehle, um Knotenlabels zu prüfen und Einstellungen zu überprüfen:
Prüfen Sie die Knotentopologielabels:
kubectl get nodes -o custom-columns=NAME:.metadata.name,\ REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\ ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"Prüfen Sie bei GKE-DestinationRules die Standorteinstellungen:
kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
Suchen Sie in der Ausgabe nach
localityLbSetting: enabled: true.So prüfen Sie Envoy-Proxy-Endpunkte, Prioritäten und Status:
istioctl proxy-config endpoints POD_NAME.NAMESPACE \ --cluster "outbound|PORT||SERVICE_FQDN" -o jsonSuchen Sie in der Endpunktkonfiguration nach dem Feld
priority.So rufen Sie die detaillierte Konfiguration der aktiven Cluster auf:
istioctl proxy-config cluster POD_NAME.NAMESPACE \ --fqdn SERVICE_FQDN -o json