Como resolver problemas de gerenciamento de tráfego no Cloud Service Mesh
Nesta seção, explicamos problemas comuns do Cloud Service Mesh e como resolvê-los. Se você precisar de mais ajuda, consulte Como receber suporte.
Erros de conexão do servidor de API nos registros do istiod
O Istiod não consegue entrar em contato com apiserver se você vir erros semelhantes aos seguintes:
error k8s.io/client-go@v0.18.0/tools/cache/reflector.go:125: Failed to watch *crd.IstioSomeCustomResource`…dial tcp 10.43.240.1:443: connect: connection refused
Use a string de expressão regular /error.*cannot list resource/ para
encontrar esse erro nos registros.
Esse erro geralmente é transitório e, se você alcançou os registros de proxy usando
kubectl, o problema pode já ter sido resolvido. Esse erro geralmente é causado
por eventos que tornam o servidor da API temporariamente indisponível, como quando um servidor de API
que não está em uma configuração de alta disponibilidade é reinicializado para
uma atualização ou upgrade.
Falha do contêiner istio-init
Esse problema pode ocorrer quando as regras de iptables do pod não são aplicadas ao namespace de rede do pod. Isso pode ser causado por:
- Uma instalação incompleta do istio-cni
- Permissões insuficientes do pod da carga de trabalho (permissão
CAP_NET_ADMINausente)
Se você usa o plug-in CNI do Istio, verifique se seguiu as instruções por completo. Verifique se o contêiner istio-cni-node está pronto e confira os
registros. Se o problema persistir, estabeleça um shell seguro (SSH) no nó host, procure os registros do nó para os comandos nsenter e veja se há algum erro.
Se você não usar o plug-in CNI do Istio, verifique se o pod de carga de trabalho tem a permissão CAP_NET_ADMIN, que é definida automaticamente pelo injetor de sidecar.
Conexão recusada após o início do pod
Quando um pod é iniciado e recebe connection refused ao tentar se conectar a um
endpoint, o problema pode ser que o contêiner do aplicativo foi iniciado antes
do contêiner isto-proxy. Nesse caso, o contêiner do aplicativo envia a
solicitação para istio-proxy, mas a conexão é recusada porque istio-proxy
ainda não está detectando na porta.
Nesse caso, você pode:
Modifique o código de inicialização do seu aplicativo para fazer solicitações contínuas ao endpoint de integridade
istio-proxyaté que o aplicativo receba um código 200. O endpoint de integridadeistio-proxyé:http://localhost:15020/healthz/readyAdicione um mecanismo de solicitação de nova tentativa à sua carga de trabalho do aplicativo.
A listagem de gateways retorna vazia
Sintoma: ao listar gateways usando kubectl get gateway --all-namespaces
depois de criar um gateway do Cloud Service Mesh, o comando retorna
No resources found.
Esse problema pode acontecer no GKE 1.20 e posterior porque o controlador de gateway do GKE
instala automaticamente o recurso Gateway.networking.x-k8s.io/v1alpha1 do GKE
nos clusters. Para solucionar o problema, siga estas etapas:
Verifique se há vários recursos personalizados de gateway no cluster:
kubectl api-resources | grep gatewayExemplo de saída:
gateways gw networking.istio.io/v1beta1 true Gateway gatewayclasses gc networking.x-k8s.io/v1alpha1 false GatewayClass gateways gtw networking.x-k8s.io/v1alpha1 true Gateway
Se a lista mostrar entradas diferentes de Gateways com
apiVersionnetworking.istio.io/v1beta1, use o nome completo do recurso ou os nomes curtos distintivos no comandokubectl. Por exemplo, executekubectl get gwoukubectl get gateways.networking.istio.ioem vez dekubectl get gatewaypara verificar se os gateways do istio estão listados.
Para mais informações sobre esse problema, consulte Gateways do Kubernetes e gateways do Istio.
Proxy do Envoy travando na inicialização
Se os registros de depuração indicarem que o proxy do Envoy está travando durante a inicialização, use o seguinte comando para identificar o que está bloqueando o processo:
kubectl -n <ns> -c istio-proxy exec -it POD_NAME -- /usr/local/bin/pilot-agent request POST /init_dump
Como resolver erros de resposta HTTP 5xx
É possível que ocorram erros de resposta HTTP 5xx ao acessar aplicativos pelo gateway de entrada do Istio. Siga estas etapas para diagnosticar e resolver o problema.
- Identificar o plano de controle
- Verificar possíveis configurações incorretas
- Verificar a descoberta de pods
- Analisar registros de acesso
Identificar o plano de controle
Determine a versão e a configuração do plano de controle, porque versões diferentes podem influenciar os processos de diagnóstico. Para verificar o estado do plano de controle gerenciado, execute o seguinte comando:
gcloud container fleet mesh describe --project PROJECT_ID
Um estado ACTIVE indica que o plano de controle gerenciado está em execução normalmente.
Verificar possíveis configurações incorretas
Configurações incorretas comuns podem causar falhas de roteamento:
- Incompatibilidade de namespace: o
VirtualServiceprecisa estar no mesmo namespace que o serviço de back-end do GKE. - Incompatibilidade de referência do gateway: o
VirtualServiceprecisa referenciar explicitamente oGatewaycorreto. Por exemplo, se oVirtualServicefizer referência aistio-system/istio-ingressgateway, mas o gateway estiver no namespacedefault, o tráfego não será roteado corretamente.
Verificar a descoberta de pods
Verifique se o pod do aplicativo foi descoberto corretamente pela malha:
istioctl proxy-config endpoints POD_NAME
Analisar registros de acesso
Ative os registros de acesso para determinar se os erros se originam do aplicativo de back-end
ou do proxy. Os campos principais incluem RESPONSE_FLAGS, UPSTREAM_LOCAL_ADDRESS e
RESPONSE_CODE.
Se os registros indicarem erros upstream, faça um teste direto de curl para o
serviço do GKE em um pod no mesmo namespace. Se a solicitação curl
retornar o mesmo erro 5xx, o problema se origina do próprio aplicativo
de back-end.
Solução de problemas de certificados SSL
Os erros de certificado SSL no gateway de entrada do Istio podem ser causados por certificados expirados, incompatibilidades de protocolo ou configurações de secret incorretas.
Identificar erros de SSL
Analise os registros do pod do gateway de entrada do Istio:
kubectl logs -l app=istio-ingressgateway -n GATEWAY_NAMESPACE
Verificar certificados e chaves
Verifique se o certificado e a chave privada são válidos e se correspondem usando hashes MD5:
openssl x509 -noout -modulus -in CERTIFICATE.CRT | openssl md5
openssl rsa -noout -modulus -in PRIVATE_KEY | openssl md5
Confirme se o certificado não expirou e se o nome comum (CN, na sigla em inglês) ou o nome alternativo do sujeito (SAN, na sigla em inglês) corresponde ao domínio.
Verificar o protocolo TLS e a configuração do secret
Verifique a versão do TLS e os pacotes de criptografia na CRD Gateway. Verifique se o secret do Kubernetes que contém o certificado e a chave está no mesmo namespace que o gateway de entrada e se o credentialName corresponde ao nome do secret.
Solução de problemas de tempos limite intermitentes em endpoints externos
Podem ocorrer tempos limite intermitentes quando as solicitações são feitas para endpoints externos (como NLB de terceiros) que são resolvidos para vários endereços IP.
Causa potencial: resolução de ServiceEntry
Se spec.resolution estiver definido como DNS, o Istio usará o "DNS estrito", que equilibra a carga em todos os endereços IP resolvidos. Alguns NLBs não são compatíveis com isso.
Resolução
Para resolver isso, defina a resolução em ServiceEntry como DNS_ROUND_ROBIN.
Resolver problemas de tempos limite ou picos de latência escalonados
Tempos limite intermitentes, erros 503 com flags de resposta UF ou picos de latência
podem ocorrer quando vários clusters são registrados na mesma frota.
Causa em potencial: descoberta de endpoint entre clusters configurada incorretamente
O gerenciamento automático ativa a descoberta de endpoints entre clusters
(multicluster_mode: connected) por padrão. Quando vários clusters na mesma
frota têm essa opção ativada, o tráfego é balanceado entre eles, o que expira
se as regras de firewall da nuvem privada virtual (VPC) não estiverem configuradas entre os
clusters.
Resolução
Para resolver esse problema, desative a descoberta de endpoints de vários clusters em clusters independentes ou abra regras de firewall de pod para pod. Para mais detalhes, consulte Tempos limite entre clusters, alta latência ou tráfego inesperado entre clusters.
Solução de problemas de distribuição de tráfego desigual
Se o tráfego não for distribuído de maneira uniforme entre os pods do aplicativo, verifique o seguinte:
- Integridade do pod: verifique se todos os pods do aplicativo estavam íntegros durante o desequilíbrio.
- Algoritmo de balanceamento de carga: revise a configuração
DestinationRulepara a configuraçãoloadBalancer(por exemplo,consistentHashouROUND_ROBIN). - Balanceamento de carga de localidade: verifique se
localityLbSettingestá ativado. Isso não é compatível com o plano de controleTRAFFIC_DIRECTOR.
Solução de problemas de propagação de serviço e cotas
Se novos serviços ou configurações de rede não estiverem sendo refletidos na malha, pode ser porque as cotas de recursos foram atingidas no projeto da frota.
Sintomas
- As configurações de rede (como
VirtualServiceouDestinationRule) não estão sendo enviadas para proxies sidecar. - Os novos serviços aparecem "invisíveis" para a malha, apesar de estarem definidos corretamente.
Etapas para identificar e resolver
- Verifique as cotas de recursos: verifique se o projeto da frota atingiu a cota de recursos
BackendServiceverificando a cota de serviços de back-end do Traffic Director interno global no projeto da frota. O Cloud Service Mesh normalmente cria umBackendServicepor porta de serviço do Kubernetes. - Revise as limitações de escalonamento: verifique se a configuração permanece dentro das limitações de escalonamento compatíveis com o Cloud Service Mesh.
- Aumentar as cotas: se as cotas forem atingidas, solicite um aumento para o recurso afetado no projeto da frota para restaurar a propagação normal do serviço.
Solução de problemas de avaliação do VirtualService
Se um VirtualService não estiver se comportando como esperado, lembre-se de que as rotas são
avaliadas na ordem em que estão listadas. Quando você tem vários serviços virtuais
para o mesmo host, as rotas deles são mescladas. As rotas de serviços virtuais "mais antigos" são priorizadas e, portanto, colocadas antes das rotas de serviços "mais novos" na lista mesclada. Isso reforça a regra de "primeira correspondência".
Solução de problemas de balanceamento de carga de localidade
Por padrão, o balanceamento de carga de localidade direciona o tráfego do cliente para endpoints na mesma zona (a zona principal ou Prioridade 0). O Envoy só encaminha o tráfego para zonas de failover (prioridade 1 ou mais alta) quando os endpoints na zona principal não estão íntegros ou estão indisponíveis.
Se você não escalonar os endpoints para lidar com toda a carga zonal ou se preferir dividir o tráfego entre as zonas, faça o seguinte:
- Escalone os pods nas respectivas zonas para lidar com a carga de tráfego local.
- Desative a configuração de balanceamento de carga de localidade.
Identificar as configurações de balanceamento de carga de localidade
O balanceamento de carga de localidade depende de rótulos de topologia de nó para agrupar endpoints. Para verificar os rótulos de nós e as configurações, use os seguintes comandos:
Verifique os rótulos de topologia do nó:
kubectl get nodes -o custom-columns=NAME:.metadata.name,\ REGION:.metadata.labels."topology\\.kubernetes\\.io/region",\ ZONE:.metadata.labels."topology\\.kubernetes\\.io/zone"Para DestinationRules do GKE, inspecione as configurações de localidade:
kubectl get destinationrule DESTINATION_RULE_NAME -o yaml
Procure
localityLbSetting: enabled: truena saída.Para verificar os endpoints, as prioridades e a integridade do proxy do Envoy:
istioctl proxy-config endpoints POD_NAME.NAMESPACE \ --cluster "outbound|PORT||SERVICE_FQDN" -o jsonProcure o campo
priorityna configuração do endpoint.Para ver a configuração detalhada dos clusters ativos:
istioctl proxy-config cluster POD_NAME.NAMESPACE \ --fqdn SERVICE_FQDN -o json