Risoluzione dei problemi di gestione del traffico in Cloud Service Mesh
Questa sezione descrive i problemi più comuni di Cloud Service Mesh e spiega come risolverli. Se hai bisogno di ulteriore assistenza, consulta Richiedi assistenza.
Errori di connessione al server API nei log di istiod
Istiod non può contattare apiserver se visualizzi errori simili ai seguenti:
error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused
Puoi utilizzare la stringa di espressione regolare /error.*cannot list resource/ per trovare questo errore nei log.
Questo errore è in genere temporaneo e, se hai raggiunto i log del proxy utilizzando kubectl, il problema potrebbe essere già stato risolto. Questo errore è solitamente causato da eventi che rendono temporaneamente non disponibile il server API, ad esempio quando un server API che non è in una configurazione ad alta affidabilità si riavvia per un upgrade o una modifica della scalabilità automatica.
Il container istio-init si arresta in modo anomalo
Questo problema può verificarsi quando le regole iptables del pod non vengono applicate allo spazio dei nomi di rete del pod. Ciò può essere causato da:
- Un'installazione istio-cni incompleta
- Autorizzazioni insufficienti per i pod del workload (autorizzazione
CAP_NET_ADMINmancante)
Se utilizzi il plug-in Istio CNI, verifica di aver seguito completamente le istruzioni. Verifica che il container istio-cni-node sia pronto e controlla i log. Se il problema persiste, stabilisci una connessione Secure Shell (SSH) al nodo host e cerca nei log del nodo i comandi nsenter per verificare se sono presenti errori.
Se non utilizzi il plug-in Istio CNI, verifica che il pod del workload disponga dell'autorizzazione CAP_NET_ADMIN, che viene impostata automaticamente dall'iniettore sidecar.
Connessione rifiutata dopo l'avvio del pod
Quando un pod si avvia e riceve connection refused durante il tentativo di connessione a un endpoint, il problema potrebbe essere che il container dell'applicazione è stato avviato prima del container isto-proxy. In questo caso, il container dell'applicazione invia la richiesta a istio-proxy, ma la connessione viene rifiutata perché istio-proxy non è ancora in ascolto sulla porta.
In questo caso, puoi:
Modifica il codice di avvio dell'applicazione per inviare richieste continue all'endpoint di integrità
istio-proxyfinché l'applicazione non riceve un codice 200. L'endpoint di integritàistio-proxyè:http://localhost:15020/healthz/readyAggiungi un meccanismo di richiesta di nuovo tentativo al workload dell'applicazione.
L'elenco dei gateway restituisce un valore vuoto
Sintomo: quando elenchi i gateway utilizzando kubectl get gateway --all-namespaces dopo aver creato correttamente un gateway Cloud Service Mesh, il comando restituisce No resources found.
Questo problema può verificarsi su GKE 1.20 e versioni successive perché il controller GKE Gateway installa automaticamente la risorsa GKE Gateway.networking.x-k8s.io/v1alpha1 nei cluster. Per risolvere il problema:
Controlla se nel cluster sono presenti più risorse personalizzate del gateway:
kubectl api-resources | grep gatewayOutput di esempio:
gateways gw networking.istio.io/v1beta1 true Gateway gatewayclasses gc networking.x-k8s.io/v1alpha1 false GatewayClass gateways gtw networking.x-k8s.io/v1alpha1 true Gateway
Se l'elenco mostra voci diverse dai gateway con
networking.istio.io/v1beta1apiVersion, utilizza il nome completo della risorsa o i nomi brevi distinguibili nel comandokubectl. Ad esempio, eseguikubectl get gwokubectl get gateways.networking.istio.ioanzichékubectl get gatewayper assicurarti che i gateway Istio siano elencati.
Per ulteriori informazioni su questo problema, consulta Gateway Kubernetes e gateway Istio.
Il proxy Envoy si blocca durante l'inizializzazione
Se i log di debug indicano che il proxy Envoy si blocca durante l'inizializzazione, puoi utilizzare il seguente comando per identificare cosa blocca il processo:
kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump
Risoluzione dei problemi relativi agli errori di risposta HTTP 5xx
Potresti riscontrare errori di risposta HTTP 5xx quando accedi alle applicazioni tramite il gateway Istio Ingress. Segui questi passaggi per diagnosticare e risolvere il problema.
- Identifica il control plane
- Verifica potenziali errori di configurazione
- Verifica il rilevamento dei pod
- Analizza i log di accesso
Identifica il control plane
Determina la versione e la configurazione del control plane, poiché versioni diverse possono influire sui processi di diagnostica. Per verificare lo stato del control plane gestito, esegui questo comando:
gcloud container fleet mesh describe --project PROJECT_ID
Uno stato ACTIVE indica che il control plane gestito funziona normalmente.
Verifica potenziali errori di configurazione
Errori di configurazione comuni possono causare errori di routing:
- Mancata corrispondenza dello spazio dei nomi:
VirtualServicedeve trovarsi nello stesso spazio dei nomi del servizio GKE di backend. - Mancata corrispondenza del riferimento al gateway:
VirtualServicedeve fare riferimento esplicitamente aGatewaycorretto. Ad esempio, seVirtualServicefa riferimento aistio-system/istio-ingressgateway, ma il gateway si trova nello spazio dei nomidefault, il traffico non verrà instradato correttamente.
Verifica il rilevamento dei pod
Assicurati che il pod dell'applicazione venga rilevato correttamente dal mesh:
istioctl proxy-config endpoints POD_NAME
Analizza i log degli accessi
Attiva i log degli accessi per determinare se gli errori provengono dall'applicazione di backend o dal proxy. I campi chiave includono RESPONSE_FLAGS, UPSTREAM_LOCAL_ADDRESS e
RESPONSE_CODE.
Se i log indicano errori upstream, esegui un test curl diretto al servizio GKE da un pod nello stesso spazio dei nomi. Se la richiesta curl restituisce lo stesso errore 5xx, il problema ha origine dall'applicazione di backend stessa.
Risoluzione dei problemi relativi ai certificati SSL
Gli errori del certificato SSL nel gateway Istio Ingress possono essere causati da certificati scaduti, mancate corrispondenze dei protocolli o configurazioni dei secret errate.
Identifica gli errori SSL
Esamina i log del pod del gateway in entrata Istio:
kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE
Verifica i certificati e le chiavi
Assicurati che il certificato e la chiave privata siano validi e corrispondano utilizzando gli hash MD5:
openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5
Verifica che il certificato non sia scaduto e che il Common Name (CN) o il Subject Alternative Name (SAN) corrispondano al dominio.
Controlla il protocollo TLS e la configurazione del secret
Verifica la versione TLS e le suite di crittografia nella CRD Gateway. Assicurati che il secret di Kubernetes contenente il certificato e la chiave si trovi nello stesso spazio dei nomi del gateway in entrata e che credentialName corrisponda al nome del secret.
Risoluzione dei problemi relativi ai timeout intermittenti verso endpoint esterni
Potrebbero verificarsi timeout intermittenti quando vengono effettuate richieste a endpoint esterni (come NLB di terze parti) che vengono risolti in più indirizzi IP.
Possibile causa: risoluzione ServiceEntry
Se spec.resolution è impostato su DNS, Istio utilizza il "DNS rigido", che bilancia il carico su tutti gli indirizzi IP risolti. Alcuni NLB non supportano questa funzionalità.
Risoluzione
Per risolvere il problema, imposta la risoluzione su ServiceEntry su DNS_ROUND_ROBIN.
Risolvi i problemi relativi a timeout o picchi di latenza graduali
Quando più cluster sono registrati nello stesso parco risorse, possono verificarsi timeout intermittenti, errori 503 con flag di risposta UF o picchi di latenza.
Possibile causa: configurazione errata del rilevamento degli endpoint tra cluster
La gestione automatica attiva il rilevamento degli endpoint tra cluster (multicluster_mode: connected) per impostazione predefinita. Quando questa opzione è abilitata per più cluster nello stesso parco risorse, il traffico viene bilanciato tra i cluster, il che causa un timeout se le regole firewall del virtual private cloud (VPC) non sono configurate tra i cluster.
Risoluzione
Per risolvere il problema, disattiva il rilevamento degli endpoint multi-cluster nei cluster autonomi o apri le regole firewall da pod a pod. Per maggiori dettagli, consulta Timeout tra cluster, latenza elevata o traffico tra cluster imprevisto.
Risoluzione dei problemi relativi alla distribuzione non uniforme del traffico
Se il traffico non è distribuito in modo uniforme tra i pod dell'applicazione, controlla quanto segue:
- Integrità dei pod: assicurati che tutti i pod dell'applicazione fossero integri durante lo squilibrio.
- Algoritmo di bilanciamento del carico: esamina la configurazione di
DestinationRuleper l'impostazioneloadBalancer(ad es.consistentHashoROUND_ROBIN). - Bilanciamento del carico per località: verifica se
localityLbSettingè abilitato. Tieni presente che questa operazione non è supportata con il control planeTRAFFIC_DIRECTOR.
Risoluzione dei problemi relativi alla propagazione dei servizi e alle quote
Se i nuovi servizi o le nuove configurazioni di rete non vengono applicati nel mesh, è possibile che siano state raggiunte le quote delle risorse nel progetto del parco risorse.
Sintomi
- Le configurazioni di Networking (come
VirtualServiceoDestinationRule) non vengono inviate ai proxy sidecar. - I nuovi servizi appaiono "invisibili" al mesh, nonostante siano definiti correttamente.
Procedura per identificare e risolvere il problema
- Controlla le quote delle risorse: verifica se il progetto del parco risorse ha raggiunto la quota per le risorse
BackendServicecontrollando la quota dei servizi di backend di Traffic Director interni globali nel progetto del parco risorse. Cloud Service Mesh in genere crea unBackendServiceper porta di servizio Kubernetes. - Esamina i limiti di scalabilità: assicurati che la configurazione rientri nei limiti di scalabilità supportati per Cloud Service Mesh.
- Aumenta le quote: se le quote sono state raggiunte, richiedi un aumento per la risorsa interessata nel progetto del parco risorse per ripristinare la normale propagazione del servizio.
Risoluzione dei problemi di valutazione di VirtualService
Se un VirtualService non si comporta come previsto, ricorda che le route vengono valutate nell'ordine in cui sono elencate. Quando hai più servizi virtuali per lo stesso host, i relativi percorsi vengono uniti. Le route dei servizi virtuali "più vecchi" hanno la priorità, quindi vengono posizionate prima delle route di quelli "più recenti" nell'elenco unito. Questo rafforza la regola della "prima corrispondenza".
Risoluzione dei problemi di bilanciamento del carico per le località
Per impostazione predefinita, il bilanciamento del carico di località indirizza il traffico client agli endpoint nella stessa zona (la zona principale o Priorità 0). Envoy instrada il traffico alle zone di failover (priorità 1 o superiore) solo quando gli endpoint nella zona principale non sono integri o non sono disponibili.
Se non scali gli endpoint per gestire l'intero carico della zona o se preferisci suddividere il traffico tra le zone, esegui una delle seguenti operazioni:
- Scala i pod nelle rispettive zone per gestire il carico di traffico locale.
- Disattiva l'impostazione di bilanciamento del carico per le località.
Identifica le impostazioni di bilanciamento del carico per le località
Il bilanciamento del carico per le località si basa sulle etichette della topologia dei nodi per raggruppare gli endpoint. Per verificare le etichette dei nodi e controllare le impostazioni, utilizza i seguenti comandi:
Verifica le etichette della topologia dei nodi:
kubectl get nodes -o custom-columns=NAME:.metadata.name,\ REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\ ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"Per le risorse DestinationRule di GKE, controlla le impostazioni di località:
kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
Cerca
localityLbSetting: enabled: truenell'output.Per controllare gli endpoint, le priorità e l'integrità del proxy Envoy:
istioctl proxy-config endpoints POD_NAME.NAMESPACE \ --cluster "outbound|PORT||SERVICE_FQDN" -o jsonCerca il campo
prioritynella configurazione dell'endpoint.Per visualizzare la configurazione dettagliata dei cluster attivi:
istioctl proxy-config cluster POD_NAME.NAMESPACE \ --fqdn SERVICE_FQDN -o json